云端推理是要靠网络把整条链路走完，图像上传到几百公里外的机房，等处理完再传回来。这中间任何一段网络断掉，整次推理就会失败。

在产线上，这种失败就表现为停线、机械臂误动作或者安防漏检，直接造成物理后果或经济损失。车间是有网但会断，判断该看断网发生的频率和时长。还有一类现场，如矿区无人驾驶卡车、港口自动化吊装，作业面大，网络无法稳定覆盖，就需要把算力部署到本地。

丨原始数据出不了厂区，就只能在本地推理

一条产线拍到的图像，都会带着工艺信息，如工装夹具结构、加工参数、批次标识等。缺陷的形态和位置往往对应着某道工序的参数，把这类带着工艺信息的图像上传公有云，则意味着原始数据就离开了企业的管控。

数据的性质决定着是否需要本地部署。如果上传的是脱敏结果，比如一个缺陷类别标签、一个合格与否的判断，云端处理没有问题。而一旦需要上传原始素材才能完成推理，比如完整分辨率的图像、多帧序列，推理就需要放在本地完成。

还有，医疗影像的原始片源、金融的身份核验材料、政务的人脸采集数据，多数都有着明确的本地化要求。

还有一种情况不属于合规问题，但全量上传同样不划算。可以先通过本地推理对现场视频做一轮筛选，只把异常片段和结构化结果上传到云端。上传的数据量大幅减少，带宽成本与云端存储成本随之降低。这类场景本地部署不是必须，但通常更经济。

丨几十毫秒的响应需求，云端往返耗时长

很多人把延迟归因于算力，以为云端GPU更强，推理就一定更快。实际上端到端的时间里，GPU计算只占一小段，大部分时间花在路上。

云端一次视觉推理由几段构成，图像编码压缩、上传排队、云端推理、结果回传。本地视觉推理的不同在于链路结构，采集、计算都在同一台设备内完成，图像不需要编码压缩后经公网往返，本地推理可以做到几十毫秒以内。

对时延要求高的场景，比如工业机械臂避让人、AGV急停、机器人闭环控制，往往要求十几毫秒以内的响应，算力就得部署在本地。

丨调用量涨上来，成本不可控

因此，判断AI推理该放在云端还是本地，看这四个问题：现场网络能不能稳定覆盖？原始数据能不能出域？响应时间要求是多少毫秒？调用量会涨到多大？前两个问题任意一个答不上来，就应该考虑本地部署。

本地部署，选型先看内存

当决定AI推理放到现场之后，第一个要定的是跑多大的模型。