7.9
深览指数
科技虎嗅·新智元··AI 生成
麻省理工：靠访谈让AI模拟真人，这条路能走多远？
麻省理工等机构通过HugAgent基准测试发现：基于长时间个人访谈的大模型，在推断参与者当前信念方面已较准确（GPT-4o达74.66%），但面对未见过的假设情境时，预测能力显著下滑（63.11%），且增加访谈时长并未带来预测稳定提升。研究揭示了关键问题：AI建立的是「关于你的详细档案」，还是「能代表你的模型」。适合关注AI对齐、人机交互及社会科学研究方法的读者。原文 ↗
核心观点
- ▍基于个人访谈的大模型，在预测参与者「已知信念」方面表现较好，但在预测其「新情境下的信念动态变化」时，与参与者本人的回答仍有显著差距；更多访谈并未稳定提升后者能力。
- ▍数字分身的关键挑战不是复述已知观点，而是从已有信息外推到未见过的问题情境；当前技术下，「像这个人」不等于「能代表这个人」。
- 01HugAgent基准包含54名参与者、1742个评测项，覆盖全民医疗、公共监控和住房增密三个在美国存在明显分歧的社会议题。
- 02在Belief State Inference（信念状态推断）中，最佳方法准确率77.56%，GPT-4o为74.66%，参与者自我一致性（14天后）为84.84%。
- 03在Belief Dynamics Update（信念动态更新）中，最佳模型Claude Sonnet 4.5为68.61%，GPT-4o为63.11%，参与者自我一致性为85.66%。
- 04对于GPT-4o，不提供个人访谈仅靠人口统计的更新准确率为39.83%；加入完整访谈后提高到63.11%；将本人访谈换为他人访谈后，准确率回落到39.30%。
- 05以Qwen2.5-32B为例，随着访谈内容增加，信念状态推断准确率从68.84%升至77.17%，但信念动态更新准确率反而从61.79%略降至58.96%。
- 06在医疗议题上，GPT-4o对变化方向判断准确率达88.89%，但对「是否会发生态度改变」的判断准确率仅为49.36%。
- 07研究采用半结构化think-aloud访谈，通过开源系统TraceYourThinking动态构建参与者的因果信念图，并自动生成追问。
反方 / 局限
- — HugAgent评测的是「假设情境下的自我报告」，而非真实世界中长期发生的态度与行为变化；人的回答本身存在波动，未必能从已有信息推出唯一答案。
HugAgentBelief State InferenceBelief Dynamics UpdateTraceYourThinking麻省理工学院EMNLP 2026GPT-4oClaude Sonnet 4.5Qwen2.5-32B
15 分钟 · 4 卡片 · 8 资料
读原文 →