小明打开 AI 工具，屏幕突然弹出提醒。
咦？它说我这段话有 843 个 token。可是我明明没写多少字啊！
哆啦A梦解释 AI Token
7 页知识漫画：从“为什么 AI 要数 token？”讲到上下文窗口、预测和成本。
哆啦A梦从口袋里拿出“文字切片灯”。
啪！
token 就是 AI 先把文字切成的小块，不一定是一个完整的词。
先记住一个核心句。
AI 不是直接“读整篇文章”，它先把文字变成很多 token，再继续处理。
AI 会 数 token。
“文字切片灯”照在一句话上。
unbelievable!
=>
un + believe + able + !
常见短词可能保持完整，长词、生词、符号可能会被拆开。
连空格和标点也可能参与。
Hello, world!
有些 token 甚至会带着前面的空格。
小明的误解被纠正。
所以“一个词 = 一个 token”只是粗略估算，不是规则！
口袋里出现一台“编号印章机”。
猫=>ID 4719
坐下=>ID 4362
每个 token 会对应模型词表里的一个数字编号。
数字编号进入 AI 的工作间。
模型真正处理的是这些编号背后的模式，而不是纸面上的字。
简单比喻
一句话
=>
一串带编号的拼图块
tokenization 就像把句子变成模型能搬动、能比较、能预测的小拼图。
小明想把一整本 PDF 都塞进模型。
它能一次记住全部资料吗？
PDF 第 1 页第 2 页第 3 页更多...
上下文窗口就是一次能看的工作空间。
资料越长，占用的 token 越多，窗口就越容易满。
如果资料太长怎么办？
可以摘要、分块、检索相关片段，或者使用更大的上下文窗口。
哆啦A梦盖住句子的结尾。
天空很蓝，太阳正在 ___
模型会根据上下文猜下一个 token。
选出一个，再继续猜下一个。
发光+。+下一个？
生成回答，就是这样一格一格往前接。
口袋道具变成“token 收费站”。
输入 token
提示词 + 资料
提示词 + 资料
读取
计费
计费
输出 token
模型写出的回答
模型写出的回答
为什么会变慢？
输入越长，模型要看的 token 越多；输出越长，模型要写的 token 越多。
实用习惯
给足必要资料，删掉无关材料，并清楚说明想要的输出长度。
哆啦A梦把所有道具收回口袋。
记住这三件事，你就能听懂大部分 token 讨论啦！
三个 takeaway
- token 是文字小块，不一定等于一个词。
- token 会变成 ID，模型用这些编号继续处理。
- 上下文窗口、成本、速度都和 token 数有关。
一个误解 + 下一个问题
误解：数单词就等于数 token。事实：分词器、空格、标点、语言都会影响数量。
下次可以继续问：attention 是怎么决定哪些 token 更重要的？
口袋注释
这是一个简化解释。不同模型使用的 tokenizer 不同，所以同一段文字的准确 token 数可能会变化；涉及计费和上下文限制时，以目标模型的官方 tokenizer 或 API 返回值为准。