AI模型部署类型详解：批处理、在线、边缘、Serverless

四种AI模型部署类型及各自适用场景。

💡 你将学到

四种AI模型部署类型及各自适用场景。

📜 目录

• AI模型部署类型详解
• 相关文章

AI模型部署类型详解

四种类型：批处理（离线大任务，Airflow 46,348星，成本最低）、在线实时（毫秒级响应，vLLM 87,794星，成本最高）、边缘（设备端运行，llama.cpp 122,228星，零延迟全隐私）、Serverless（按调用付费，Modal/RunPod，高峰流量最佳，冷启动1-10秒）。

多数公司混合使用：批处理做回填，在线服务做产品。

相关文章

• 2026年本地运行Llama：llama.cpp（12.3万星）完整指南，从下载GGUF到任意硬件上聊天
• Ollama vs llama.cpp 2026：本地大模型运行时到底选哪个
• llama.cpp优化技巧：在CPU和GPU上加速本地LLM推理

❓ 常见问题

Can I mix types?

Yes - most companies run batch for backfill and online for the live product.

Which type is cheapest?

Batch, by far, since you can use spot instances and idle GPUs.