核心概念：什么是生成过程中的“随机性”？

一、核心概念：什么是生成过程中的“随机性”？

在开始调参前，我们必须理解大语言模型（LLM）生成文本的基本原理。模型本质上是在给定上文（prompt）后，预测下一个最可能出现的词（token）。但“最可能出现”并非唯一选择，它实际上会为词表中的所有词计算出一个概率分布。例如，对于“今天天气真”，模型可能会预测“好”、“不错”、“糟糕”等词，并赋予它们不同的概率。

Temperature（温度） 这个参数，正是为了控制从这个概率分布中进行采样时的“随机性”或“创造性”。你可以把它想象成一个调节旋钮。当温度值很低（如接近0）时，模型会变得非常“保守”和确定，几乎总是选择概率最高的那个词，生成的文本会非常严谨但可能重复、缺乏新意。当温度值很高（如大于1）时，概率分布会变得更加“平坦”，高概率词和低概率词的差距被缩小，模型变得“大胆”且具有探索性，可能生成更富有创造性、意想不到的文本，但同时也增加了产生错误或无意义内容的风险。

二、温度的调优：在确定与创造之间寻找平衡

温度的核心作用是控制输出序列的多样性和随机性。理解了这一点，调优就有了方向。你需要根据你的应用场景来决定“旋钮”拧到哪里。

• 低温度（0.2 - 0.7）：适用于需要准确性、一致性和事实性的任务。例如：代码生成、数学解题、事实性问答、文本摘要。在这些场景下，我们希望模型输出最可靠、最符合逻辑的结果。
• 中温度（0.7 - 1.0）：这是大多数对话和创意写作任务的默认及常用区间。它在创造性和连贯性之间取得了良好的平衡，能生成自然流畅且有一定变化的文本。
• 高温度（1.0 - 1.5+）：适用于需要极高创造性、发散思维和打破常规的任务。例如：诗歌创作、头脑风暴、生成故事情节转折。但要小心，过高的温度可能导致文本语法混乱、逻辑跳跃或完全偏离主题。

关键提示：温度参数直接作用于模型的原始输出逻辑（logits），它改变的是所有可能下一个词的相对概率。在设置时，从一个中等值（如0.7）开始尝试，然后根据生成效果逐步调整。

三、不止温度：Top P 和 Top K 采样策略详解

温度并非唯一的控制阀。为了更精细地控制输出质量，我们通常还需要搭配 Top P 和 Top K 这两个“采样”参数。

Top K 采样 比较直观。它会在每一步只考虑概率最高的 K 个词，然后从这 K 个词中重新采样。例如，设 Top K = 50，那么模型只会从最可能的50个词里选择下一个词。这有效排除了那些概率极低的“噪音”词。然而，固定的 K 值可能不灵活：当概率分布很集中时（如只有一个词概率很高），K=50可能包含太多不合适的选项；当分布很平坦时，K=50又可能排除掉一些有价值的低概率创意词。

Top P (Nucleus) 采样 则是一种更动态的方法。它设定一个概率阈值 P（如0.9），然后从概率最高的词开始往下累加，一旦累计概率超过 P，就停止并只从这个“词核”（nucleus）集合中采样。这样，当模型很确定时（一个词概率为0.95），Top P可能只选这个词；当模型不确定时（几个词概率相近），Top P会保留更多选项。它比 Top K 更能适应不同的置信度场景。

四、三剑客组合：如何协同设置这些参数

在实际调用API时，Temperature、Top P 和 Top K 通常是一起使用的，它们共同塑造了最终的生成行为。一个常见的黄金法则是：优先调整其中一个核心参数，将其余两个保持默认或关闭状态。

一个稳健的调优策略是：

1. 首先，确定你的任务类型（如前文所述），选定一个合适的 Temperature 范围。
2. 如果希望输出更加集中和可控，可以开启 Top P（例如设为0.9）或 Top K（例如设为50），以过滤掉低概率的尾部选项。
3. 避免同时将 Temperature 设得很高，又将 Top P 或 Top K 设得很低，这可能导致参数效果相互冲突，使结果难以预测。

五、实战代码示例：通过 API 调用体验参数效果

理论说再多，不如亲手一试。下面是一个使用 Python 调用假设的 MiMo API 的示例，展示如何通过设置不同参数来影响生成结果。

import requests

def generate_with_params(prompt, temperature=0.7, top_p=1.0, top_k=50, max_tokens=100):
    """一个简单的参数化文本生成函数"""
    api_url = "https://api.mimo.llm.example.com/v1/generate"  # 假设的API端点
    headers = {"Authorization": "Bearer YOUR_API_KEY"}
    payload = {
        "prompt": prompt,
        "temperature": temperature,
        "top_p": top_p,
        "top_k": top_k,
        "max_tokens": max_tokens
    }
    response = requests.post(api_url, json=payload, headers=headers)
    return response.json().get("generated_text", "")

# 使用示例
prompt = "一首关于人工智能的七言绝句，主题是："
print("=== 低温度 (0.3) ===")
print(generate_with_params(prompt, temperature=0.3))  # 输出可能工整但较为保守
print("\n=== 高温度 (1.2) ===")
print(generate_with_params(prompt, temperature=1.2))  # 输出可能新奇但或许不合逻辑
print("\n=== 温度(0.7) + Top P(0.9) ===")
print(generate_with_params(prompt, temperature=0.7, top_p=0.9))  # 常用组合，平衡创造与质量

六、调优心法与常见陷阱

• 心法一：没有万能参数。最佳参数完全取决于你的具体提示词（Prompt）和期望的输出风格。A任务的最佳参数用在B任务上可能效果很差。
• 心法二：迭代优化。将参数调整视为一个实验过程。记录下不同参数组合下的生成结果，形成你自己的调优日志。
• 陷阱一：过度追求“创意”。将温度设得极高（>1.5）并期望模型总能产出金句，这往往会得到大量无意义的文本，增加后期筛选成本。
• 陷阱二：忽略输入质量。再好的调参也救不了一个模糊、有歧义的提示词。参数调优应建立在优秀的提示工程基础之上。

最后的核心建议：从保守开始，逐步放宽。先用低温度、开启Top P（如0.9）确保基本输出质量。然后，根据需要，逐步调高温度来增加多样性，观察输出是否朝你期望的方向改善。始终以“最终生成的文本是否满足任务需求”作为唯一的评判标准。