7.3
深览指数
产品人人都是产品经理·洋洋··AI 生成
我用一份规则Prompt让模型干标注，踩了6个坑后整理的完整方法论
作者在视频动作切分项目中，把标注 SOP 改写成模型可执行的规则文档，踩了六个坑——核心是规则自相矛盾、留白被模型自信地猜。文章给出七步流程（定粒度、找分歧、写条件句、补反例、回测等）和可直接套用的九节模板，最值得带走的是「两个人标不一样的地方就是规则没写到的地方」和「禁而不替，模型照样犯」。适合要做模型批量生产数据或评测集的产品/算法从业者。原文 ↗
核心观点
- ▍写 Prompt 规则文档不是在描述流程，而是在构建一个「没有第二种解释的决策系统」——每一句「视情况」都必须替换成可执行的条件。
- ▍SOP 是写给会提问的真人，规则文档是写给不会提问、只会猜的模型；模型遇到矛盾不会停下来问，而是自信地猜一个答案。
- 012.5 秒的例子：规则 A（双手变单手必须切）与规则 B（以左手松开为切点）同时命中，模型给了一个「两处都切」的答案，看起来对，实际上是在猜。
- 02第一版写成「双手协作发生变化时切分」是描述，第二版改成「当一只手开始或结束操作、另一只手仍在操作时，在手开始/结束的事件点切分」才是可执行的条件。
- 03找分歧是最被低估的一步：两个人独立标同一批样本，不一致的地方就是规则没写到的地方，相当于双阅卷——分差大的题往往说明题目本身有问题。
- 04补反例的理由是模型泛化能力太强，「右手回撤」和「右手停顿后回撤」不写反例它就会当成一回事。
- 05回测只看一件事——错误的变化：哪些原来的错题变对了，哪些原来的对题被改坏了；没有回测，改规则全靠信仰。
- 06文章给出九节模板：任务目标、切分规则、动作定义、多主体规则、不确定与异常、Caption、标签与时间、输出、输出前检查；并强调禁止项必须配替代写法。
反方 / 局限
- — 作者承认「切多细」没有标准答案，只有项目选择，换个项目完全可能选「双手都完成了才切」——方法论的可迁移性依赖每个项目自己把粒度显式化。
- — 文章只交代这套九节模板来自视频动作切分这一个项目，对内容审核、客服质检等其他场景的可迁移性只是断言，没有给出实际验证案例。
12 分钟 · 6 卡片 · 15 资料
读原文 →