上下文窗口(Context Window):AI 的"短期记忆"有多大
它一次能"看见"多少字。超过这个量,前面的内容会掉出去,而且它不会提醒你。
一句话定义:上下文窗口是一次对话里,模型能同时"看见"的文字总量,包含你发的和它回的。
一个比喻:像一张书桌。桌子就这么大,你放的书越多,越早放上去的越容易被挤到地上——而且它不会告诉你书掉了。
你能感知到的表现
- 聊到第三十轮,它开始忘了你开头说的要求
- 传一份 200 页的 PDF,它只答上了前几章的内容
- 你说"按我上面说的风格",它给的完全不是那个风格
这不是它"不认真",是那些内容真的不在它眼前了。
现在大概是多少
主流模型的上下文窗口在 几万到几十万 token 之间。粗略换算:1 个汉字约 1–2 个 token,所以 10 万 token 大约是十几万汉字,接近一本三百页的书。
但要注意:能装下不等于能用好。 内容太长时,中间部分的权重会下降。业界管这个叫"lost in the middle"——开头和结尾它记得清楚,中间容易漏。
实用做法
- 重要要求写在最前面,结尾再重复一次
- 长文档分节处理,不要一次塞三万字
- 长任务不要跨会话,中途断了就把已有成果贴回新会话
- 让它复述:“先复述一遍我的要求,再开始做”——复述错了,说明已经掉出窗口
什么时候会遇到它
- 传长 PDF、整本书、一整年的聊天记录
- 一次改一篇很长的稿子
- 连续几十轮对话后,它开始"前言不搭后语"