8.2
深览指数
科技Bestblogs·William Gieng··AI 生成
你的 AI 采用提升是选择效应
本文通过严谨的因果推断方法，挑战了“AI助手能大幅提升用户留存”的常见说法。分析指出，表面上15个百分点的留存差距主要由选择偏差驱动（即本身更活跃的用户更倾向采用AI），而非AI功能本身的因果效应。利用回归不连续设计（RDD）隔离因果后，真实留存提升约为4个百分点。适合对因果推断、产品指标归因有基础了解，且厌倦了“AI万能”叙事的读者。原文 ↗
核心观点
- ▍观察到的AI助手采用者与非采用者之间15个百分点的留存差距，不能归因于AI功能的因果效应，而主要由选择偏差（即本身更活跃、技术更娴熟的账户更倾向于采用）驱动。
- ▍通过回归不连续设计（RDD）隔离因果后，AI助手的真实留存提升约为4个百分点，而非表面上的15个百分点。
- 01文章数据来自某SaaS公司对AI助手功能推出的A/B测试，采用者留存率为68.5%，非采用者为53.1%，差距约15个百分点。
- 02常规的回归调整（控制账户规模、任期等可观测变量）只能将差距缩小约一半，但无法消除由未观测到的“参与度”变量带来的选择偏差。
- 03文章利用“25个座席”这一资格阈值进行RDD分析：在阈值附近，是否采用AI几乎随机，在这一比较中，采用AI带来的留存提升约为4.9个百分点。
- 04作者通过模拟数据证实，当真实因果效应为零时，简单的“采用者vs非采用者”比较仍会显示出约10个百分点的虚假提升，而RDD估计则能正确归零。
- 05文章引用了一项关于“数字健康干预人格”的研究，同样发现采用者与非采用者的结果差异主要由选择效应驱动，而非干预本身。
反方 / 局限
- — RDD的因果效应仅适用于“边界附近”（即刚好有25个座席的账户），对拥有大量座席的账户，其AI采用行为及效果可能不同，外部推广性有限。
- — 分析假设用户对“25个座席”的资格阈值反应是随机的（即账户无法精确操控座席数量），但在真实业务场景中，用户可能通过购买更多席位来解锁功能，从而破坏随机性。
- — “4个百分点”的提升是否为业务上显著的“真”效应，取决于投入的运营成本与用户终身价值，文章未对此进行量化讨论。
3 分钟 · 4 卡片 · 8 资料
读原文 →