Grok 长文本实战测评：10万 Token 文档摘要的精度与幻觉控制

长上下文窗口已经成了大模型的标配卖点，但“能塞进去”和“能准确理解”是两码事。为了摸清 Grok 在真实长文本场景下的处理能力，我拿了一份 10 万 Token（约 7 万汉字）的技术文档做了三轮压力测试。

测试环境依然统一部署在 KULAAI（dl.877ai.cn）上。长文本测试最麻烦的就是 Prompt 和文档的反复上传，这个聚合平台让我能在 Grok、GPT-4o、Claude 之间一键切换，同一份文档不用重复上传，测试效率提升了不少，也避免了不同平台对文档预处理方式的差异干扰结果。

以下是三轮硬核测试的详细拆解。

测试文档与评估维度
测试文档选了一份真实的工程交付物：某大型 SaaS 平台的年度技术演进白皮书，包含架构设计、数据库迁移方案、API 版本变更记录、故障复盘报告，以及大量表格和代码片段。总长度约 10 万 Token。

评估维度分三个：

关键信息召回率： 文档中预埋了 20 个事实点，测试模型能否在摘要中准确覆盖

逻辑链完整性： 文档中包含 5 条跨章节的因果逻辑链，测试模型能否串联

幻觉控制： 统计摘要中出现但文档中不存在的信息数量

测试一：全文摘要提取
任务： “请为这份技术白皮书生成一份 800 字以内的摘要，涵盖核心架构变更、关键风险点和后续规划。”

Grok 的表现： Grok 的摘要首先让我注意到的，是它准确地复现了文档中的三个架构变更要点，并且按照文档内部的优先级做了排序。20 个预埋事实点中，Grok 准确召回了 18 个，漏掉的两个分别是一处脚注中的版本号和附录里的一个次要配置参数。

逻辑链方面，Grok 串联起了“数据库迁移 → API 版本不兼容 → 故障复盘中的根因”这条跨 3 个章节的因果链，在摘要中清晰地呈现了这个故障的来龙去脉。5 条因果链中正确串联了 4 条。

幻觉控制方面，Grok 的摘要中出现了 1 处轻微偏差——它把“建议在 Q2 完成迁移”写成了“计划在 Q2 完成迁移”，建议和计划的语气差异，在工程场景下是需要区分的。

对比：

GPT-4o： 召回了 17 个事实点，逻辑链串联了 3 条，0 处幻觉。表现依然稳健，但串联跨章节因果的能力略弱于 Grok。

Claude 3.5 Sonnet： 召回了 19 个事实点，5 条逻辑链全部串联正确，但出现了 2 处幻觉——它“补充”了文档中没有的某开源工具的具体版本号，属于典型的“知识库污染型幻觉”。

测试二：指定位置信息提取
任务： “文档的第三章和第六章分别讨论了数据库迁移方案，请对比这两个章节中的迁移策略差异，用表格输出。”

Grok 的表现： 这个任务考验的是“大海捞针”式的精确检索能力。Grok 正确地定位了第三章和第六章，提取出了两者的迁移策略——第三章讨论的是 MySQL 到 PostgreSQL 的在线迁移，第六章讨论的是分库分表后的数据再平衡。

表格输出结构清晰，五个对比维度（迁移工具、停机时间、回滚策略、数据一致性校验、风险等级）都准确对应了文档原文。唯一的问题是，表格中“停机时间”的数值单位写错了——文档中是“分钟”，Grok 写成了“秒”，差了 60 倍。

对比：

GPT-4o： 表格对比维度只有 4 个，漏掉了数据一致性校验，但给出的 4 个维度数据全部准确。

Claude： 表格最完整，6 个维度，数据全部准确，但在表格下方自发加了一段“建议”，其中包含文档中未提及的第三方工具推荐，又触发了幻觉问题。

测试三：矛盾信息识别
任务： “这份文档中，关于 API 限流策略，第二章和第五章存在一处矛盾。请找出这个矛盾并解释可能的原因。”

这个任务的设计灵感来自真实场景——大型文档中，前后章节由不同团队撰写，信息不一致是常态。能识别出这种矛盾的模型，才真正具备工程可用性。

Grok 的表现： Grok 准确地定位了矛盾点：第二章提到“API 限流阈值设定为每分钟 1000 次请求”，第五章的故障复盘中提到“限流阈值触发点为 800 次/分钟”，两个数值不一致。

Grok 进一步推测了可能原因：第二章是架构设计阶段的规划值，第五章是上线后根据实际压测结果调整的值，但设计文档未同步更新。这个推测完全正确——文档的附录中确实有一行小字注释提到了这个调整。

对比：

GPT-4o： 也找出了这个矛盾，但没有给出原因推测，只陈述了矛盾存在。

Claude： 找出了矛盾并给出了推测，但推测的方向偏了——它认为是“两个团队使用了不同的限流算法”，实际上文档明确说明用的是同一个滑动窗口算法。

综合评分
维度 Grok GPT-4o Claude 3.5
事实召回率 18/20 17/20 19/20
逻辑链串联 4/5 3/5 5/5
幻觉控制 1处 0处 2处
矛盾识别 完全正确 部分正确 方向有偏差
选型建议
跑完这三轮测试，Grok 在长文本处理上的能力画像逐渐清晰：

Grok 的优势在于逻辑串联和矛盾识别。 它不止是“提取信息”，而是会尝试理解信息之间的因果关系，这在需要跨章节理解的复杂文档中价值很大。幻觉控制处于中上水平，偶有轻微偏差但不至于产生事实性错误。

GPT-4o 的优势在于输出可信度。 0 处幻觉、精确的数据输出，是它在长文本场景下的最强竞争力。如果你的场景对准确性要求极高（法律文书、合同条款），GPT-4o 目前仍是最稳妥的选择。

Claude 的优势在于信息覆盖的全面性。 它会比别的模型多挖一层细节，但伴随而来的幻觉风险需要额外做校验层来兜底。

如果你正在选择长文本处理模型，建议根据场景做路由：高精度场景走 GPT-4o，复杂逻辑分析走 Grok，全面信息提取走 Claude 但必须加校验。在 KULAAI 上同时接入多个模型做 A/B 对比，是当前阶段性价比最高的方案。

你在长文本处理中遇到过最离谱的模型幻觉是什么？评论区聊聊。