一、什么情况下必须私有化
不是所有企业都需要私有化。公网 API 便宜、效果好、免运维，能用就用。但下面四类情况，绕不过去：
- 数据本身不能出内网——工艺参数、配方、客户名单、报价体系、财务数据。这类信息一旦上传到第三方，合规上说不清，商业上也不可控。
- 行业或上级有硬性要求——政务、国企、医疗、金融、涉密配套单位，通常明确要求数据本地留存、可审计、可追溯；有些还要求系统不能访问互联网。
- 网络物理隔离——生产线内网、涉密网、专网环境，压根没有外网出口，公网 API 方案在物理上就不成立。
- 调用量大，长期账算不过来——高频场景（客服、单据处理）按 token 付费，一年下来可能超过一台服务器的钱，且价格随供应商政策变动。
反过来，这些情况我不建议私有化：用量很小（一个月几百次调用）；团队没有 IT 运维能力；对效果要求高且业务是开放域问答。这三种情况用公网 API + 做好脱敏，性价比高得多。
二、三条路线，先把取舍讲明白
| 路线 | 效果 | 成本 | 适合谁 |
|---|---|---|---|
| 公网 API | 最好，旗舰模型持续更新 | 按量付费，无硬件投入 | 数据可脱敏、用量不大、要求快速上线 |
| 私有化（本地 GPU + 开源模型） | 封闭域问答接近，开放域与复杂推理有差距 | 硬件 3-8 万起 + 部署与运维人力 | 数据不能出内网、有合规要求、调用量大 |
| 混合（内网小模型 + 脱敏后调云） | 敏感走本地、难的走云端 | 硬件门槛低，模型费用可控 | 既想保效果又不想全量上硬件 |
大多数项目落在第二条，少数用第三条。混合路线经常被忽略，但它对预算有限的企业往往是最优解——前提是脱敏规则要经得起推敲。
三、私有化真正的难点（不是装个模型）
- 硬件与模型匹配：显存决定能跑多大模型。7B int4 约 6-8GB、14B 约 10-12GB、32B 约 20-24GB（都是权重，实际还要加 30%-50% 的 KV cache 与并发余量）。买小了天天 OOM，买大了浪费钱，这一步要在勘察阶段算清楚。
- 效果落差怎么补：开源小模型在开放域确实不如云端旗舰。补法是三件事——RAG 把答案锚定在你的文档上、工具调用把「算」和「查」交给程序、把任务拆小让每步都简单。做对这三件，业务问答的准确率能到可用水平；只换模型不做这三件，效果会一直不行。
- 离线安装：内网没有外网源，pip、Docker 拉镜像、模型下载全都走不通。必须提前准备好离线包（wheel、镜像 tar、模型权重、依赖字体与 OCR 模型），进内网后本地装。这一步是最容易拖工期的环节。
- 信创环境适配：银河麒麟 V10、达梦/人大金仓这类环境，主要坑在老版本 OpenSSL 与 glibc 引起的依赖冲突。可靠的解法是把运行时全部打进镜像，宿主机只负责跑 Docker，不在系统层面装 Python 依赖。
- 运维与回滚：模型要能换、日志要不爆盘、服务挂了要能拉起、升级失败要能回滚到上一个镜像。这些不写进交付物，半年后系统就是黑盒。
四、交付流程
- 第 1 周 · 环境勘察：看服务器/显卡型号与显存、操作系统版本、网络隔离情况、能不能摆渡文件、现有数据库类型。产出：硬件是否够用、需要补什么、风险清单。
- 第 2 周 · 模型选型与压测：拿你真实的 50 道业务题，在候选模型上跑分（准确率、拒答率、响应速度、并发下的显存占用）。不看 benchmark，只看你的题——这一步决定最终效果。
- 第 3-4 周 · 应用层与加固：知识库检索与引用溯源、权限隔离、审计日志、离线安装包制作。要做智能体的，接工具与流程（见 智能体开发）。
- 第 5 周 · 试运行与交接：装到内网、跑真实业务、培训 IT 与使用人员、交运维手册与回滚方案。上线后 1 个月免费修 bug。
五、你会拿到什么（交付物清单）
- 离线部署包：Docker 镜像 tar、模型权重与校验值、离线依赖包、一键安装脚本，拷进内网即可装，不依赖外网。
- 压测与选型报告：候选模型在你真实业务题上的准确率、响应时间、显存占用、并发上限，以及最终选型的理由。这份报告是以后换模型的对照基准。
- 完整源码：应用层源码无加密、无授权锁，可自行二开或交给其他团队接手。
- 运维手册：日志位置、磁盘清理、模型替换步骤、常见故障排查、升级与回滚流程。
- 回滚方案：上一版本镜像与数据库快照保留方式，出问题 10 分钟内能退回去。
- 培训：使用人员学怎么问、IT 学怎么维护，录屏留档。
六、我不接什么
- 不卖硬件、不赚设备差价。可以代选型、给采购清单，服务器你自己买，价格透明。
- 不承诺「本地模型达到云端旗舰水平」。硬件决定的物理上限摆在那里，谁敢承诺谁在骗你。
- 不做「伪私有化」。只是把服务开在云上某个 VPC 里、数据仍归供应商管的，不算私有化，这类需求我会直接说清区别。
- 不接涉密项目。没有保密资质，涉密网的活我不接，也不该由个人接。
- 不接「先装个模型看看」没有明确业务场景的。装完没人用，钱白花——这种情况我会先劝你先做诊断。
七、价格与工期
按应用档位计价，不额外收「部署费」；硬件由企业自购，价格另计。
| 档位 | 内容 | 周期 | 价格 |
|---|---|---|---|
| 场景诊断 | 场景可行性、硬件是否够用、预算与风险清单 | 2-3 天 | 2,000 元起 |
| 纯模型部署 | 环境适配、模型选型压测、离线安装、运维交接（不含业务应用） | 2-3 周 | 2-3 万元 |
| 单点应用私有化 | 1 个业务场景（知识库/智能体）+ 内网部署 + 培训 | 2-4 周 | 3 万元起 |
| 智能体底座私有化 | 多流程多工具、权限与审计、运营后台 | 6-10 周 | 8 万元起 |
| 长期陪跑 | 模型更新、日常运维答疑 | 按月 | 6,000 元/月 |
硬件参考：单卡 24GB 显存（4090 / L20 级别）整机约 3-5 万元，可服务 10 人以内小团队；48GB 以上或双卡方案约 8 万元起。具体按你实际并发与模型规模定，勘察阶段会给明确清单。报价不含发票税点。
常见问题
私有化部署的效果会比公有云大模型差多少？
差距主要在开放域知识和复杂推理：同等硬件能跑的开源模型（7B/14B/32B 量化版），闲聊写作确实不如云端旗舰。但企业自己的封闭业务问答，差距会被 RAG（检索原文 + 引用溯源）和工具调用大幅拉平——答案来自你的文档，模型只负责理解和组织。判断标准不是 benchmark，而是拿你的真实业务题跑 50 题：答对多少、答错时会不会编。这两项决定能不能用。
内网完全不能联网，能装得起来吗？
能，但要按离线方式准备：模型权重、Docker 镜像、Python 依赖 wheel、字体与 OCR 模型全部提前打包，进内网本地安装，不依赖任何外网源。这是私有化最容易翻车的地方——在线一条 pip install 的事，在内网可能变成半天。所以勘察阶段必须先确认：能不能用 U 盘或摆渡机传文件、内网有没有私有镜像仓库。
跑一个能用的私有化模型，硬件要什么配置？
经验值：7B int4 约 6-8GB 显存、14B 约 10-12GB、32B 约 20-24GB（仅权重），实际还要加 30%-50% 给 KV cache 与并发。所以单卡 24GB 能跑 14B 或 32B 量化版、服务 10 人以内；32B 以上或并发高建议 48GB 起步。纯 CPU 也能跑，但速度通常撑不住多人日常使用。
银河麒麟、达梦这些信创环境能适配吗？
银河麒麟 V10 + Docker 的部署方式实际用过，Python/Java 应用、PostgreSQL 或达梦/人大金仓做元数据库都能跑通；主要坑在系统自带 OpenSSL、glibc 版本较旧导致的依赖冲突，解法是把运行时打进镜像、不在宿主机装依赖。国产 AI 芯片（昇腾、海光）要按具体卡型与驱动版本单独评估，不能承诺开箱即用——这一点我会在勘察阶段说清楚，不含糊。
私有化部署大概多少钱、多久？
按应用档位计价：单点应用（一个场景 + 内网部署）3 万元起、2-4 周；智能体底座私有化 8 万元起、6-10 周；纯模型部署（只做环境适配与压测、不含业务应用）按工作量单独报价，通常 2-3 万元。硬件由企业自购，我不卖硬件、不赚差价，只给选型清单。
先确认硬件和场景，再谈预算
告诉我三件事：数据能不能出内网、手头有什么服务器或显卡、想让 AI 干哪件事。这三点清楚，我就能判断私有化值不值得做、大概要花多少。也可以直接发邮件到 zhang1287@foxmail.com，一般当天回。
问问 AI 分身 zhang1287@foxmail.com