Token：大模型的“字词”单位 - 我的编程学习分享

一、Token：大模型的“字词”单位

当我们向ChatGPT、文心一言等大模型提问时，模型并不是直接阅读我们的“文字”。在模型内部，它处理的是更小的、标准化的语言单位，我们称之为 Token。一个Token可以是一个完整的汉字、一个英文单词、一个标点符号，或者是一个子词片段（比如英文“playing”可能被拆分为“play”和“ing”两个Token）。

这个设计源于自然语言处理（NLP）的技术实践。将文本切分为Token序列，是为了让模型能够统一处理不同语言、不同长度的输入，并且建立在固定的词表上进行高效的数值计算。你可以把它理解为模型世界里的“最小有效信息单元”。

二、为什么用Token而不是字符计数？

采用Token而非字符或单词来计费，主要有两个核心原因：技术统一性和计算成本衡量。

技术统一性：对于英文，“Hello”是一个单词，但模型可能将其视为1个Token；对于中文，“你好”是两个字符，但在某些分词规则下可能被视为1-2个Token。使用Token计费，为中英文等不同语言提供了一个相对公平的、基于模型内部实际处理量的计量标准。
计算成本衡量：大模型在处理文本时，其核心运算（如注意力机制）的计算复杂度和内存占用，与输入和输出的Token序列长度直接相关。Token越多，消耗的算力越大。因此，按Token收费本质上是按“算力消耗”收费，这比按字符或请求次数收费更能反映真实的服务成本。

三、一个Token长什么样？理解其构成

Token的具体形态取决于模型所使用的 分词器。不同厂商的模型可能采用不同的分词算法，因此同一段文本在不同模型中的Token数量可能不同。

以OpenAI的cl100k_base分词器（用于GPT-3.5/4）为例，它倾向于将常见单词作为一个Token，而将罕见词或长词拆分成更小的、有意义的片段。我们可以通过代码来直观感受：

import tiktoken

# 获取对应的分词器
enc = tiktoken.get_encoding("cl100k_base")

text_en = "Hello, let's explore tokenization!"
text_cn = "你好，让我们探索一下分词技术！"

tokens_en = enc.encode(text_en)
tokens_cn = enc.encode(text_cn)

print(f"英文文本: '{text_en}'")
print(f"Token ID序列: {tokens_en}")
print(f"Token数量: {len(tokens_en)}")
print("---")
print(f"中文文本: '{text_cn}'")
print(f"Token ID序列: {tokens_cn}")
print(f"Token数量: {len(tokens_cn)}")
# 输出示例：
# 英文文本: 'Hello, let's explore tokenization!'
# Token ID序列: [9906, 11, 1095, 596, 13488, 4037, 2065, 0]
# Token数量: 8
# ---
# 中文文本: '你好，让我们探索一下分词技术！'
# Token ID序列: [57668, 87913, 3922, 20175, 90962, 65459, 66937, 5229, 104446, 3091]
# Token数量: 10

从例子可以看出，中文因为字符本身信息密度高，一个汉字（如“探”）可能就占据一个Token，而像“tokenization”这样的英文长词则被拆解。理解这一点，有助于我们预估API调用的成本。

提示：并非所有API都提供详细的分词工具。通常，API提供商会在其文档中说明计费单位，并可能提供在线的Token计算器或估算公式。在实际开发中，你可以通过API返回的响应头中的usage字段获取精确的Token消耗。

四、计费原理：按Token，双向收费

大模型API的计费核心公式非常简单：费用 = 输入Token单价 × 输入Token数 + 输出Token单价 × 输出Token数。

这里有两个关键点：

双向收费：你不仅为模型生成的答案（输出）付费，也要为你的提问（输入）以及上下文背景（比如系统提示词、历史对话）付费。一个精心设计的、简洁的提示词能直接节约成本。
价格差异：通常，输出Token的价格远高于输入Token的价格。这是因为生成输出是计算最密集、最耗时的环节。例如，GPT-4的输入价格可能是输出的1/3甚至更低。这意味着，让模型长篇大论地回答，会比你提出一个复杂问题花费更多。

五、成本估算与优化实践

在实际项目中，精确控制成本需要在编码前进行估算。以下是一个简单的成本预估函数：

def estimate_cost(input_tokens, output_tokens, model="gpt-3.5-turbo"):
    """预估API调用成本（美元）"""
    # 价格示例（实际价格请以官方最新公告为准）
    price_map = {
        "gpt-3.5-turbo": {"input": 0.0015/1000, "output": 0.002/1000},
        "gpt-4": {"input": 0.03/1000, "output": 0.06/1000}
    }
    rates = price_map.get(model, price_map["gpt-3.5-turbo"])
    cost = (input_tokens * rates["input"]) + (output_tokens * rates["output"])
    return cost

# 假设一次GPT-3.5调用，输入500 tokens，输出1000 tokens
est_cost = estimate_cost(500, 1000, "gpt-3.5-turbo")
print(f"预估成本: ${est_cost:.6f}") # 预估成本: $0.002750

为了优化成本，可以采取以下策略：

精简提示：使用清晰、准确、无冗余的指令。避免包含大量无关背景信息。
限制输出：在API参数中设置max_tokens，防止模型生成过长、不必要的回复。
批量处理：将多个独立的问题或任务合并到一个请求中，利用分隔符让模型一次处理，可以减少重复的系统提示和上下文加载开销。
选用合适模型：对于简单任务，使用更轻量、更便宜的模型（如GPT-3.5-turbo）足以胜任。

六、总结与建议

理解Token和计费原理，是高效、经济地使用大模型API的基础。记住，Token是模型消化信息的基本单元，而费用则直接反映了你消耗的算力。

作为开发者，建议养成几个习惯：

在本地调试时，利用分词工具检查自己输入/输出的Token数量。
始终监控API响应中的usage字段，建立项目级别的成本日志。
在设计应用架构时，将“减少不必要的Token消耗”作为一个核心优化目标。

最后，各家模型的分词规则和定价策略处于动态变化中，务必以官方文档为准。掌握原理，你就能快速适应不同平台的计费模式，让大模型成为你既强大又可控的生产力工具。