在调用大模型 API 时，仅仅设计好 `prompt` 有时还不够，输出结果的“风格”和“稳定性”往往取决于几个关键参数的微调。`temperature`、`top_p` 和 `top_k` 是其中最核心的“采样参数”，它们共同决定了模型如何从候选词中做出选择。本文将结合个人实践，聊聊如何理解和调优这些参数。

在调用大模型 API 时，仅仅设计好 prompt 有时还不够，输出结果的“风格”和“稳定性”往往取决于几个关键参数的微调。temperature、top_p 和 top_k 是其中最核心的“采样参数”，它们共同决定了模型如何从候选词中做出选择。本文将结合个人实践，聊聊如何理解和调优这些参数。

一、理解 `temperature`：给模型的“创造力”调温

temperature 参数是控制生成结果随机性的开关，它的值通常是一个介于 0 到 2 之间的浮点数。你可以把它想象成给模型的“大脑”调节兴奋度。

当 temperature 设置得很低（例如接近 0）时，模型会变得非常“保守”和“确定”。在每一步生成时，它会几乎 always 选择概率最高的那个词。这就像一个严格遵守规则的答题机器，输出结果高度一致、可预测，非常适合需要事实性、准确性的任务，比如数学计算、代码生成或摘要提取。

而当 temperature 设置得较高（例如 1.0 或更高）时，模型的“创造力”被激发，它会更敢于选择那些概率不是最高、但也在候选范围内的词。这会导致输出结果更加多样、发散，有时甚至出人意料，适合创意写作、头脑风暴或生成多样化内容的场景。过高的温度也可能导致输出变得语无伦次或不连贯。

二、`top_p` 与 `top_k`：在概率分布中划定“候选圈”

如果 temperature 调控的是候选词概率分布的“尖锐”或“平坦”程度，那么 top_p 和 top_k 则是在这个分布上划定一个“候选词圈”。

0：在每一步，模型会从所有可能的下一个词中，挑选出概率最高的 k 个词，然后根据它们重新计算后的概率分布进行随机采样。例如，设置 top_k=50 意味着模型只会在最可能的50个词里进行选择，其余的词会被直接忽略。这提供了一个硬性的筛选边界。
0（又称 nucleus sampling）：这个方法更智能。它会将所有候选词按概率从高到低排序，然后从第一个词开始累加概率，直到总概率之和达到设定的阈值 p（例如 0.9），这些词就构成了最终的“候选圈”。top_p=1 表示不进行筛选，考虑所有词；top_p=0.9 则意味着模型会动态地选择一个概率和至少占总和90%的最小词集进行采样。

提示：top_k 是固定大小的“圈”，而 top_p 是根据概率分布动态调整大小的“圈”。在实际使用中，top_p 通常被认为比 top_k 更灵活和稳定。

三、协同调优：如何组合使用这些参数

这些参数并非孤立存在，它们与 temperature 共同作用，塑造最终的输出。理解它们的协同关系是关键。

一种常见的调优策略是：先使用 temperature 控制整体的随机性“基调”，然后使用 top_p 或 top_k 来进行精细的“修剪”，避免生成过于离谱的词。例如，将 temperature 设为 0.7 以获得适度的创造性，同时将 top_p 设为 0.9 来确保词汇选择始终在一个相对合理的高概率范围内，防止因温度升高而引入过多低质量的噪音词。

对于大多数日常应用，通常建议调整 0 和 1 中的一个，而将另一个固定在默认值（例如，固定 top_p=1.0 只调 temperature），这能简化调参过程并更容易预测变化。避免同时设置 top_k 和 top_p，因为它们的功能有重叠。

四、实战示例：Python 代码中的参数设置

下面是一个使用 Python 调用假设的 MiMo API 的示例，展示了如何设置这些关键参数：

import openai # 假设MiMo API兼容此接口风格

def generate_with_params(prompt, temperature=0.7, top_p=1.0, top_k=None, max_tokens=150):
    """
    调用API并演示参数设置
    """
    # 构建API请求参数
    params = {
        "model": "mimo-chat",
        "messages": [{"role": "user", "content": prompt}],
        "temperature": temperature,  # 控制随机性
        "top_p": top_p,             # 核采样阈值
        "max_tokens": max_tokens
    }
    
    # 如果设置了top_k，则添加到参数中（注意：并非所有API都支持top_k）
    if top_k is not None:
        params["top_k"] = top_k
    
    # 调用API
    response = openai.ChatCompletion.create(**params)
    return response.choices[0].message['content']

# 示例1：追求稳定、准确的回答
stable_response = generate_with_params(
    prompt="简述机器学习中过拟合的概念。",
    temperature=0.2,  # 低温，高确定性
    top_p=1.0
)

# 示例2：鼓励创意写作
creative_response = generate_with_params(
    prompt="写一个关于人工智能和猫咪的简短科幻故事开头。",
    temperature=1.2,  # 高温，高创造性
    top_p=0.95        # 配合中等严格的采样，避免完全胡言乱语
)

print("稳定回答:", stable_response)
print("创意故事:", creative_response)

五、不同场景下的参数推荐参考

没有“放之四海而皆准”的最佳参数，但有一些经过验证的实践模式可供参考：

事实性问答、文本摘要、代码生成：
目标：准确性、一致性。
推荐：temperature (0.0 ~ 0.4)，top_p (0.9 ~ 1.0)。

创意写作、诗歌生成、头脑风暴：
目标：新颖性、多样性。
推荐：temperature (0.7 ~ 1.3)，top_p (0.8 ~ 1.0)。

对话式AI、角色扮演：
目标：平衡趣味性与连贯性。
推荐：temperature (0.5 ~ 0.8)，top_p (0.9)。

重要提示：以上仅为起点。真正的调优必须在你的具体任务和数据上进行。建议通过小范围实验（A/B测试）来找到最适合你应用场景的参数组合。

六、调优心法与常见误区

在实践中，我发现一个核心心法：从最确定的状态开始，逐步增加随机性。也就是说，先从 temperature=0 或 temperature=0.3 这样的低值开始测试，如果觉得输出过于呆板或重复，再逐步调高 temperature 或微调 top_p。

需要避免的常见误区有两个。一是盲目追求高随机性，认为“创造力”越高越好，这往往会导致输出质量不稳定。二是忽视任务特性，为所有任务使用同一套参数。例如，用写诗的参数去解数学题，效果通常会很差。另一个隐性误区是认为调参能“修复”糟糕的 prompt，清晰、具体的指令永远是第一位的，参数只是精雕细琢的工具。

七、总结：构建你的调优工作流

掌握 temperature、top_p 和 top_k 等参数，等于获得了精细调控大模型输出风格的“旋钮”。一个高效的工作流应该是：

明确任务目标：你需要的是严谨的答案，还是开放的创意？
确定基准参数：从保守值（低温、高 top_p）开始。
进行实验迭代：基于小批量测试，有方向性地调整参数。
评估与固化：找到满足你需求的稳定参数组合，并记录下来。

最终，调参是一门科学与艺术相结合的实践。理解其原理能让你少走弯路，而真正的 mastery 则来自于在具体问题上反复、有目的的实验。

一、理解 temperature：给模型的“创造力”调温