7.9
深览指数
科技Bestblogs·maxdemarzi··AI 生成
为巴西柔术构建你自己的 LLM
作者开源了一套完整的领域专用 AI 教练构建方案：用替换词典修复语音转写错误，为每个文本块加结构化上下文头，构建含 153 个规范标签、388 个同义词的知识图谱，再用 CLIP 关键帧加 Qwen2.5-VL 生成视觉描述补全无声演示。自训练交叉编码器重排序器把 Recall@1 从 68% 提到 78%，MRR@10 达 0.8749，导出 ONNX 后 CPU 延迟约 40ms。适合对 RAG、微调、多模态检索落地感兴趣的工程师逐项对照实现。原文 ↗
核心观点
- ▍领域专家的价值不在于换更大的基座模型，而在于把领域内的纠错、同义词、互斥规则、视觉锚定和重排序逐层塞进检索与训练管线，7B 开放权重模型足以撑起一个巴西柔术教练。
- 01语音转写阶段用领域替换词典把常见的误听（如 kimura 被听成 camera）修掉，并在嵌入前给每个文本块加上包含教练、课程标题、规则集、章节、规范标签的结构化上下文头。
- 02知识图谱编码了 153 个规范标签与 388 个同义词，把 honey hole、saddle、4/11 统一映射到 saddle，并用兼容性评分惩罚强制执行运动学互斥规则。
- 03无声演示被抽成关键帧，用对比 CLIP 评分过滤后用 Qwen2.5-VL-7B 生成描述，形成可搜索的「[视觉演示]」文本块，补上未说出口的握持位置与肢体角度。
- 04在 4000 个带时间戳视频引用的三元组上微调 BAAI/bge-reranker-base 三个 epoch（lr=2e-5，单 GPU 约 2.5 分钟），Recall@1 从 68% 升到 78%，MRR@10 为 0.8749。
- 05把交叉编码器导出为动态 batch_size 与序列轴的 ONNX 图，用 onnxruntime 加 Rust tokenizers 在 CPU 上跑，每次查询约 40ms，可对 PostgreSQL 中 265,000 个块做 HNSW 扫描后重排。
- 06训练侧合成三轨 SFT 数据集（RAFT 摘录、诊断门、知识图谱谱系），施加 2.5 倍决策加权 QLoRA 与零额外显存的 PEFT DPO，部署在 vLLM 无服务器平台。
- 07自建基准 BJJ-Bench-250 上运动学精度达到 5.00/5.0，干扰项引用率为 0.0%。
反方 / 局限
- — 双编码器把整段 60 秒视频转录压成一个 384 维向量，检索粒度天然粗糙，作者的补救是外挂交叉编码器重排序，而非解决表示层的信息压缩问题。
- — 5.00/5.0 与 0.0% 干扰项引用率来自作者自建的 250 题基准，缺第三方复现与基线对照，指标的可迁移性存疑。
巴西柔术maxdemarzibjj-coach-7b-v3bjj-reranker-v3-onnxBJJ-Bench-250BAAI/bge-reranker-baseQwen2.5-VL-7BCLIPQLoRADPOvLLMPostgreSQLHNSWONNXRAFT
5 分钟 · 5 卡片 · 14 资料
读原文 →