8.3
深览指数
产品人人都是产品经理·天涯轩··AI 生成

一台服务器撑起三千人:我在内网做AI云工作台,踩过的坑和想明白的事

1-2 台服务器、3000 注册用户、每人 500MB 云工作区,作者牵头把可真正干活的 AI 云工作台部署进企业内网。文章不复述选型逻辑,而是给出五个取舍(AI 永不覆盖用户、快照不占配额等)、算力额度体系的具体数字,以及一份八条立项自查清单。适合正在或计划做内网 AI 的产品、架构与安全同行对照使用。原文 ↗

核心观点
  • ▍权限跟着可逆性走:可逆的组织性操作(建目录、移动文件、查看版本)可以交给 AI,不可逆的数据销毁(删除)只能由用户界面按钮触发,因为模型输出可被诱导。
  • ▍提示词管行为,结构管安全。写在提示词里的安全承诺应视为不存在,凡能用结构锁死的边界就不要留给模型自觉。
  1. 01按桌面虚拟化通行配置(每人 2 vCPU / 4GiB / 40GiB)算,3000 人全在线需 6000 vCPU、12TiB 内存、120TB 磁盘,约 30-50 台服务器;即便按 5% 并发也要 300 vCPU 和 600GiB 内存,单机再无处跑模型推理——云电脑路线在数学上不成立。
  2. 02单进程服务全部用户的依据是:对话与文件操作属异步 I/O,150 路并发会话内存开销不到 3GiB;用户边界靠四道闸门(工具白名单、参数校验、归属校验、配额与额度预检)收敛,而非每人一个运行环境。
  3. 03v3 方案里埋了 12 处技术错误,最危险的一处是沙箱启动参数语义写反,照文档部署会令本应零网络的隔离沙箱反向开启全局网络,所幸评审时被抓住;此后 v4 立规每条安全声明必须配可执行验收用例。
  4. 04500MB × 3000 人 = 1.43TiB 的存储担忧被证伪:按 35% 实际占用率,1TiB 可用分区就够,配 2TB 固态还有余量。真正稀缺的是 GPU token 吞吐——单卡跑量化 14B 模型约日产 6000 万 token。
  5. 05额度体系的具体数字:每用户每日默认 4 万 token,全局每日预算 3600 万(单卡产能的 60%);额度用尽生成类请求排队 30 秒后提示,浏览/下载/预览不受影响;全局紧张时按当日用得越少越优先放行。
  6. 06版本快照存放在工作区之外的独立存储池、不占用户 500MB 配额,每文件保留 3 个版本或 7 天;好处是用户写满配额不影响快照与上传暂存,故障被物理隔离。
  7. 07冲突处理规则:每个文件维护自增版本号,写入须携带基准版本;版本不匹配时 AI 写入自动改道为带时间戳的 AI 副本并在会话中说明,用户编辑中持有 120 秒心跳续期的编辑锁。
反方 / 局限
  • — 方案评审时额度设计曾被质疑「是不是太抠了,用户体验在哪」;作者以「可解释的限流替换不可解释的卡顿」回应,但这一取舍对重度用户的体验损失是真实存在的,文章也承认重度需求须走管理员提额审批通道。
  • — 全文主张建立在「单卡约 6000 万 token/日、日活 900、峰值并发 80」这一组假设上,作者给出越线后加卡分片的红线,但未交代这些数字的测算依据与误差范围,前提一变额度体系需重算。
  • — 作者自陈「未必都对,欢迎讨论」,并承认资源宽裕时大概率会顺手做成 VDI——即本文的形态选择高度依赖资源受限这一前提,对算力充裕的组织未必适用。
14 分钟 · 5 卡片 · 10 资料
读原文 →

概念锚点

前置背景

平行视角

未来推演

延伸追问