边缘AI 2026：在手机、摄像头和IoT设备上跑模型
云端推理的代价是延迟、带宽和隐私。边缘AI把模型跑在数据诞生的地方。2026年小设备上到底能跑什么？模型怎么部署过去？
💡 你将学到
云端推理的代价是延迟、带宽和隐私。边缘AI把模型跑在数据诞生的地方。2026年小设备上到底能跑什么？模型怎么部署过去？
边缘推理用模型大小换延迟、隐私和成本：没有网络往返、数据不出设备、部署后推理免费。代价是模型必须塞进设备内存、在有限算力上跑。2026年边缘能跑什么：手机（量化视觉模型、1-3B小SLM、TTS/ASR，2-6GB）；安防摄像头和盒子（YOLO级目标检测、异常检测，0.5-2GB）；MCU/IoT传感器（唤醒词、微型分类器，0.1-1MB）；笔记本（完整本地LLM 7-32B走llama.cpp，8-32GB）。部署工具链：PyTorch训练微调，转ONNX（2.1万星）保可移植性，量化INT8（LLM用4位），再进目标运行时：ExecuTorch（4883星）PyTorch官方边缘运行时、MediaPipe（3.7万星）谷歌跨平台视觉音频管线、OpenVINO（1.1万星）Intel的x86和核显强、TFLite安卓默认、llama.cpp（12.3万星）跑手机笔记本LLM。现实能力曲线：旗舰手机跑1-3B量化LLM可用速度（10-20 tok/s）加实时目标检测；50美元摄像头模块INT8量化跑YOLO级15-30 FPS；MCU只做唤醒词和微型分类器。什么时候边缘是错答案：模型要频繁更新（更新1万台设备比更新一台服务器难）；任务需要巨大模型；需要全局重训反馈环（边缘要数据采集策略否则瞎训）。2026年可行模式是混合：边缘干快、私密、便宜的部分（检测、唤醒、小推理），云接长尾（大模型推理、重训、稀有查询），设备本地判断任务是否边缘级——所有严肃的边缘部署都是这么分的。
