8.5
深览指数
产品人人都是产品经理·小普··AI 生成
AI产品用户暴涨之后,产品经理该看哪些指标
本文指出传统「获客-转化-留存」指标体系在AI产品上已然失灵,因为低门槛让注册转化率虚高,而真正的壁垒是使用深度。作者以自己做的AI面试产品Lollipop为例,展示了前端数据暴跌四成,而北极星指标「面试完成率」反而上涨的反直觉现象。文章系统性地拆解了三个新维度的权重(使用深度、功能采纳率、长期留存曲线),并提供了识别数据陷阱(如转化率超100%、功能上线≠被采纳)的方法。适合正在做AI产品、对增长数据有怀疑、想跳出虚荣指标的产品经理阅读。原文 ↗
核心观点
- ▍AI产品经理应放弃以注册量、DAU为北极星指标,转向使用深度(使用频次、单次时长、任务完整度)、功能采纳率(尝试率与复用率)、以及第三个月之后的长期留存曲线形状,作为判断产品真实健康度的核心依据。
- ▍传统「获客-转化-留存」指标体系在AI产品上失灵,因为AI产品的低门槛使得注册转化率极易做高,但用户进来后是否真的「办成事」与「进来」是两回事,中间的距离被拉长了。
- 01作者自研的AI面试产品Lollipop在最近一个周期内,首页访问、新增注册、开始面试等前端数据跌幅在四到七成之间,但北极星指标「面试完成率」反而上涨,这组反差说明入口流量不该排在第一位。
- 02QuestMobile数据显示,AI原生应用用户月均使用次数92.7次,是同类预装应用(51.4次)的近两倍;豆包、DeepSeek、Kimi三家单次使用超10分钟的重度用户占比在26%-30%之间且持续上升,指向使用深度正在顶替入口流量。
- 03微软Microsoft 365 Copilot上线三年后,付费企业实际采纳率不到4.5%,每周还在用的用户比例仅1%;财富500强企业七成拿到license,但每周真正被使用的付费席位只有两到三成。
- 04Lollipop后台的「简历漏斗」中,用户确定简历后走到「Agent对话」环节的转化率只有个位数,说明功能上线不等于被用户采纳。
- 05Lollipop的30日留存数字趋近于零,尽管首页访问流量不小,这组对比说明入口流量高但30天后几乎无人回来,增长未转化为真实需要。
- 06a16z报告指出,AI应用早期会经历「AI游客」,被免费试用或刷屏传播吸引,缺乏真实需求;真正的分水岭在第三个月后,留存曲线形状(下探、走平或回升)才是终局判据。
- 07一个常见的统计陷阱:某环节转化率超过100%。Lollipop后台曾出现「成功注册」人数是「进入注册页」的十倍多,原因是两个环节的统计时间窗口未对齐,分母不是同一批人。
反方 / 局限
- — 作者承认,使用深度、功能采纳率等新指标同样可以被「刷」出来,例如刷时长、机器人循环调用、将简单任务硬拆成多轮交互凑次数。因此,新指标并非无条件可信,仍需用排查方法验证。
- — 作者指出,推动团队接受新指标的最大阻力不是数据本身,而是团队内部的认知和汇报框架,老板和投资人的直觉仍锚定在注册量和DAU上,他建议将新老指标并排放置,用事实说话而非直接辩论。
15 分钟 · 4 卡片 · 11 资料
读原文 →