LLM中的解码(Decoding) 解码是LLM中生成文本的过程,通常指的是将模型生成的数字表示(例如概率分布)转换为实际的文本输出的过程。 解码生成文本的过程是一个迭代的过程,在每一步的解码中,通过选择词汇的分布概率,生成一个词汇,然后将此词汇附加到之前的文本后面再次输入模型,生成下一个词汇。 在词汇分布选择方面,常见的方法包括: Greedy Decoding:每次选择概率最高的单词作为输出。虽然这种方法速度快,但可能会导致生成 数据运维 2024-06-13 大猫