一、温度(Temperature)参数详解
在调用MiMo这类大语言模型(LLM)的API时,temperature 是我们最常接触也最核心的可调参数之一。从技术上讲,它控制着模型输出的随机性和创造性。模型在生成下一个词时,会计算出一个概率分布,temperature 参数就是对这个原始概率分布进行一个缩放调整。
我们可以将这个过程想象成在一个“可能性地形”上选择下一步。temperature 值越低(如 0.1),地形越“陡峭”,模型会极度倾向于选择概率最高的那个“山顶”(即最可能的词),输出结果因此变得确定、保守,甚至重复。反之,temperature 值越高(如 1.0 或 1.5),地形越“平缓”,那些原本概率较低的“山谷”也有机会被选中,输出因此更具多样性和意外性。
提示: temperature 的取值范围通常是 0 到 2 之间,但并非线性。0 附近对概率的缩放影响巨大,而大于 1.5 的值可能会导致输出变得不连贯、不合逻辑。一个常见的默认值是 0.7,它在创造性和逻辑性之间取得了不错的平衡。
二、Top-p(核采样)与Top-k采样
除了温度,另外两个关键参数是 top_p 和 top_k,它们从另一个维度对生成过程进行干预。top_k 采样非常直接:模型只从概率最高的 K 个词中进行随机选择,其余词的概率直接置零。例如 top_k=50,就只考虑最可能的50个词。
top_p(也叫核采样)则更加动态和智能。它会将所有候选词按概率从高到低排序,并依次累加概率,直到累计概率首次超过设定的阈值 p(例如 0.9)。然后,模型只在这些被选中的“核”内进行随机采样。这种方法的好处是,候选词的数量会自适应于概率分布的陡峭程度:当模型非常