8.1
深览指数
科技虎嗅·爱范儿··AI 生成
为什么ChatGPT总爱在标题里塞色情赌博小广告？
本文揭示了自2024年底起，ChatGPT等OpenAI产品标题及输出中频繁出现色情、赌博小广告的技术根源。核心原因在于：1）负责生成标题的轻量级推理模型存在“停不下来”的机制缺陷，在完成任务后常输出异常字符；2）其使用的o200k_base分词器词表被大量中文小广告数据污染，而训练语言模型时又将其清洗掉，使模型视其为意义不明的“乱码”。两者叠加，导致模型出错时从“乱码池”中随机抽取广告词元，从而产生小广告标题。文章指出，根治需重训词表乃至基模，但OpenAI当前缺乏动力，只能依赖事后过滤规则。适合对AI技术原理和系统缺陷根源感兴趣的读者。原文 ↗
核心观点
- ▍ChatGPT标题出现小广告，不是因为测试广告功能，而是技术缺陷：标题生成模型在完成任务后常无法正确结束，导致其输出异常字符；同时，由于分词器词表被小广告污染，模型将这些词元视为“乱码”，在出错时随机抽取，造成小广告泛滥。
- 01自2024年1月起，从Codex CLI到API再到普通ChatGPT会话标题，小广告现象逐步蔓延，持续大半年未被彻底解决，OpenAI官方社区虽有用户反馈但回应寥寥。
- 02标题生成模型是一个独立的、更轻量化的推理模型，通过抓包记录和异常标题（如输出思维链、`#+#+#+#+`符号）推测，其无法很好地区分“思考”和“回答”的边界，经常在生成恰当标题后“停不下来”。
- 03EMNLP 2024论文《Speculating LLMs’ Chinese Training Data Pollution from Their Tokens》发现，从GPT-4o起使用的o200k_base分词器词表中，4字词元68%是小广告，6字以上词元98%来自广告，最长的100个中文词元中96个与赌博、色情或盗版影视相关。
- 04小广告在词表中有独立ID，但在训练语言模型时被清洗掉，导致模型无法理解这些词元的语义，将其视为“乱码”。当标题生成模型出错需要输出异常内容时，会从代表“乱码”的垃圾房中随机抽取，由于小广告词元占比极高，因此被抽中概率最大。
- 05异常标题中“前半截正常部分”与“后半截异常输出”常存在语义关联（如“解释西西弗斯幸福”与“娱乐主管”、“填写学历”与亚美尼亚语词干“水平”），印证了模型在结束失败后，根据概率继续输出与当前语境语义相近的乱码词元的推测。
反方 / 局限
- — 作者承认，根治问题需要重制干净的词表并重新训练基模，但OpenAI目前缺乏为中文用户体验而重建整个模型的经济动机，因此大概率只能依赖事后过滤规则——这解释了为何小广告有所减少但仍有漏网之鱼。
15 分钟 · 3 卡片 · 8 资料
读原文 →