AI模型部署类型详解：批处理、在线、边缘、Serverless
同一个模型，可以做成夜间批量任务、毫秒级在线接口、装在设备上的端侧推理，或者按调用付费的 Serverless。四种类型的成本结构和失败方式完全不同，选错往往不是跑不通，而是账单或者体验其中一项先崩。
💡 你将学到
同一个模型，可以做成夜间批量任务、毫秒级在线接口、装在设备上的端侧推理，或者按调用付费的 Serverless。四种类型的成本结构和失败方式完全不同，选错往往不是跑不通，而是账单或者体验其中一项先崩。
📜 目录
AI模型部署类型详解：批处理、在线、边缘、Serverless
同一个模型，可以做成夜间批量任务、毫秒级在线接口、装在设备上的端侧推理，或者按调用付费的 Serverless。四种类型的成本结构和失败方式完全不同，选错往往不是跑不通，而是账单或者体验其中一项先崩。
一、四种类型对照
| 类型 | 延迟特征 | 成本结构 | 最适合 | 典型失败方式 |
|---|---|---|---|---|
| 批处理 | 小时级 | 最低，可用闲置资源 | 离线回填、报表、批量嵌入 | 任务积压、单点失败重跑全量 |
| 在线实时 | 毫秒到秒级 | 最高，GPU 常驻 | 对话、推荐、风控 | 峰值打满、尾延迟飙升 |
| 边缘 | 端侧即时 | 一次性设备成本 | 隐私敏感、弱网、IoT | 版本分发失控、效果无法观测 |
| Serverless | 冷启动秒级 | 按调用计费 | 波峰波谷明显的流量 | 冷启动拖慢体验、并发受限 |
二、批处理：最便宜，但别拿来当在线用
特征是一次处理大批数据，对延迟不敏感。适合给历史数据补嵌入、跑离线审核、生成每日报表。可以挑便宜时段和闲置算力，成本能压到在线服务的零头。
工程要点：任务要可断点续跑（失败重跑别从头来）、要分片（大任务拆小块避免内存爆）、要幂等（同一批数据重跑结果一致）。批量任务最容易死在"某条数据格式异常，整个任务挂了三天没人发现"。
三、在线实时：延迟和成本都要精细管
为用户即时返回结果，通常靠常驻推理服务加负载均衡。这是成本最高的形态，因为 GPU 要一直开着。三个调优方向：
- 批内合并：同一时刻的多个请求合并推理，显著提升吞吐
- KV 缓存复用：多轮对话里复用前文计算的缓存
- 量化与蒸馏：用更小的模型跑高频流量
尾延迟（P99）比平均延迟重要得多——平均 200 毫秒、P99 三秒的服务，用户感受就是"偶尔卡死"。
四、边缘：隐私换来的复杂度
模型量化后装进手机、摄像头、车机。优势是零延迟、数据不出设备、断网可用；代价是设备上的模型很难管：版本怎么分发、效果怎么监控、低端设备跑不动怎么办。
实操上通常只放"小而高频"的能力（关键词识别、离线转写、图像预处理），复杂任务回传云端。别指望端侧模型跟上云端模型的能力迭代速度。
五、Serverless：给波动大的流量准备的
按调用计费、无请求时缩到零。适合内部工具、活动类应用、流量波峰波谷极端的场景。两个主要约束：冷启动（模型要重新加载，视模型大小可能数秒到数十秒）和并发上限（峰值时排队）。
缓解思路：把模型体积压小、保持一定最小实例数（等价于买断冷启动）、把长任务改成"提交后轮询结果"的异步模式。
六、多数生产系统是混合的
真实系统很少只用一种：夜间批处理做数据回填与索引更新，在线服务承担产品交互，边缘负责隐私敏感的预处理，Serverless 承接活动峰值。判断依据是三个问题——能不能等（延迟容忍）、数据能不能出去（隐私约束）、流量平不平（成本模型）。
七、常见问题
Q：四种里哪个最便宜？ A：批处理，而且差得很明显。能用批处理解决的活儿别做成在线接口。
Q：Serverless 会不会比常驻服务贵？ A：流量平稳且持续高的时候，常驻更便宜；流量稀疏或波动大时，Serverless 明显更划算。算一下"平均利用率"就知道该选哪个。
Q：边缘部署需要多少额外工作量？ A：视端侧平台而定，通常需要量化、格式转换、端侧运行时适配和灰度分发机制，工作量常在模型本身开发之上。
Q：在线服务怎么控制成本？ A：三条：把简单请求路由给小模型；合并请求做批内推理；给上下文和输出设上限。多数团队的成本浪费在"什么都用最大的模型处理"。
Q：可以中途换类型吗？ A：可以，而且很常见。批处理的逻辑往往能直接搬到在线服务后面当异步通道，反之亦然。设计时把"模型调用"封成一层即可。
注：各平台计费方式、冷启动时长与并发限制以官方文档为准；文中比较为结构性差异，不含具体报价。
相关文章
❓ 常见问题
Can I mix types?
Yes - most companies run batch for backfill and online for the live product.
Which type is cheapest?
Batch, by far, since you can use spot instances and idle GPUs.
本站文章由编辑人工撰写，收录的工具均经过实测或公开资料核验。文中链接指向工具官网或 GitHub 仓库，仅作信息参考，不构成付费推广。