liguodongiot--llm-action
wehub-resource-sync
1.6 KiB
1.6 KiB
https://huggingface.co/blog/mlabonne/decoding-strategies
基于 transformers 的 generate() 方法实现多样化文本生成：参数含义和算法原理解读
Text generation strategies Decoding strategies
参考文档：
- 如何生成文本: 通过 Transformers 用不同的解码方法生成文本 | How to generate text: using different decoding methods for language generation with Transformers
- 大语言模型生成过程中参数与解码策略原理及其代码实现
https://huggingface.co/docs/transformers/v4.44.0/en/generation_strategies
https://huggingface.co/docs/transformers/v4.36.1/en/generation_strategies
Setting Top-K, Top-P and Temperature in LLMs
继续一个初始句子的生成。Maximization和 top-k 截断方法会导致大量的重复（用蓝色突出显示），而带温度和不带温度的采样往往会导致不连贯（用红色突出显示）。核采样在很大程度上避免了这两个问题。