8.2
深览指数
科技虎嗅·张翼轸··AI 生成
同一个医学问题问了豆包、DeepSeek和Gemini，没有一家能全信
作者用「大肠癌是否引发帕金森」这一具体问题实测豆包、DeepSeek、Gemini，要求给出DOI，再用外部模型逐篇调PubMed摘要做二审。结论反直觉：一审豆包最优，二审才暴露出把巢式病例对照的因果方向引反、把「结果不一致」概括成「主流负相关」；Gemini的DOI全真却把回顾性研究说成前瞻性、把「未证实增加」说成「证实不增加」；DeepSeek猜错DOI但数字转述与摘要吻合，并指出了研究方向的不对称。核心论点是AI可作文献初筛，但必须多模型交叉+外部审校，不能单独采信。原文 ↗
核心观点
- ▍面对严肃医疗问题，没有哪一家大模型可以单独信任；三家大方向一致，但破绽完全不重合——豆包赢在DOI和概念区分，Gemini赢在临床实用，DeepSeek赢在方法论清醒，只问任何一家都会照单全收它的错误。
- 01DeepSeek给出的韩国队列研究DOI 10.1038/s41531-023-00545-6实际对应「脑深部电刺激对帕金森患者驾驶能力的影响」，真正讨论癌症与帕金森反向关系的文章是同一卷的s41531-023-00562-5；DeepSeek自己加注「根据期刊与年份推断，原文未直接列出」，属于高智商幻觉。
- 02Gemini给出5篇文献、5个DOI全部真实有效且标题逐字吻合，证据链覆盖1700万人Meta分析与双向孟德尔随机化；但其中一篇发在2024年已被Clarivate剔除出SCIE的Aging期刊，且使用未经校正的风险比。
- 03一审阶段豆包表现最好：4个DOI全对，引用的宾夕法尼亚大学巢式病例对照研究OR 0.74与PubMed摘要分毫不差，还区分了原发性特发性帕金森病与结肠癌脑转移占位效应引起的继发性帕金森综合征。
- 04二审（Claude Opus 5.5逐篇调PubMed摘要比对）揪出DOI核对查不到的问题：Gemini把回顾性医保数据分析说成「前瞻性队列研究证实」不增加风险，未校正时做诊断性肠镜者帕金森风险反而高约三成（HR 1.31）。
- 05豆包把巢式病例对照研究测的「先得帕金森、后患结直肠癌」方向拿来证明「不存在肠癌促发帕金森的趋势」，恰恰是DeepSeek提醒不要犯的反向因果错误；它引用的2025年综述摘要原文说「研究结果不一致」，被概括成「主流为负相关」。
- 06DeepSeek虽然猜错DOI，但转述的三个数字RR 0.74、aHR 0.56、aHR 0.88与摘要全部吻合；二审检索确认，确实极少有大规模前瞻研究专门追踪肠癌幸存者后续发生帕金森的概率。
反方 / 局限
- — 作者承认负责一审核对的模型自身也会出错：一审报告里写着Gemini数据「抽查无误」，实际并未逐条核查——审校环节本身同样不可全信。
- — 孟德尔随机化结论「未找到因果证据」不等于「不存在因果」；且它测的是遗传易感性，覆盖不到化疗、手术等治疗本身的影响，Gemini这条证据链的边界作者自己点明了。
- — 文章自述由Gemini 3.7 Flash成文、SWE-2做文献评述、Claude Opus 5.5二审，作者承认「本人略有改动」；其中模型版本号（Claude Opus 5.5、Kimi K3）在成文时点是否真实存在存疑，读者需自行核实。
豆包DeepSeekGeminiClaude Opus 5.5Kimi K3SWE-2DOIPubMedCrossref帕金森病大肠癌孟德尔随机化奥沙利铂神经毒性药物性帕金森综合征OpenAIGPT-4o上观新闻Aging期刊Clarivate
11 分钟 · 6 卡片 · 14 资料
读原文 →