为什么把机器视觉做成 IoT
传统机器视觉是一次性项目 —— 换产品就重训、换光照就漂移。我们把它做成一张能自我进化的物联网。
痛点 · 死板规则
每个类别要凑几千张样本，每换一款就得停线重训。新瑕疵来了模型不认识，只能排班人工兜底。
转折 · 语言可提示
YOLO-World、Grounding DINO 让检测目标变成一句话「找划痕、找油污」。VLM 上边缘，工人和模型对话。
结果 · 自学舰队
鸿蒙把每台相机变成一个节点，漏检样本回流到中心 · 每周自动微调 · 版本推到全舰队。
国产视觉识别嵌入式 NPU 矩阵
从 5 TOPS 入门到 128 TOPS 车规 · 全部国产芯 · 其中 3 款已完成鸿蒙 Std-5.0 官方适配，其余通过我们的 BSP 移植支持。
RK3588
主力RK3576
性价比AX650N
ViT 强SG2300X
多路流Journey6
车规A311D2
入门推荐型号：轻量产线选 RK3576/A311D2 · 多类瑕疵选 RK3588 · 重模型 + 多路选 AX650N / SG2300X · 安全围栏 + 车规选 Journey 6。
前沿视觉模型矩阵
四条线齐头并进：实时检测、分割、VLM、异常检测 —— 全部边缘 NPU 量化部署。
实时检测 Detection
从固定类别到开放词表 · RT-DETR 真实时分割 Segmentation
SAM 家族边缘化 · 点一下就分割VLM · 会说话
产线工人用中文问它 — 它看、它答异常检测 Anomaly
不需要缺陷样本 · 零样本上线真正的拐点是「自然语言可提示」的边缘质检：工人输入"找划痕和油污"，YOLO-World / Grounding-DINO-Edge 零样本响应；3B 级 VLM（Qwen2.5-VL / MiniCPM-V）直接跑在 RK3588 / AX650N 上，为每一张缺陷图生成中文描述报告。合成缺陷 Diffusion + 舰队回流让上线周期从数周压缩到数天。
三层协同架构
模型 · NPU · 鸿蒙 —— 同一套工具链贯穿到现场
浙江 Seehoo · 纺织品瑕疵检测
纺织客户的"老大难"是织物瑕疵：破洞、纬斜、油污、色差、污点 —— 人工验布员一天顶多 3000 米，眼疲劳后漏检率飙升。我们和 Seehoo 在三条产线上替换了传统验布：16K 线扫相机 + RK3588 边缘盒 + 鸿蒙 5.0 统一上报 + YOLOv12s + EfficientAD 双模型融合。
- ①6 类瑕疵 · 破洞 / 纬斜 / 油污 / 色差 / 污点 / 脱经，线速 40 m/min 全覆盖
- ②冷启动 7 天 · 先用 YOLO-World 零样本标注 + 合成缺陷 Diffusion，补上真实样本
- ③MES 联动 · 缺陷坐标直接回传上位机，自动打米标 / 报废 / 可追溯
- ④持续进化 · 漏检样本每周回流，模型版本鸿蒙 OTA 推送到舰队
—— Seehoo 生产负责人
北京滑雪机 · 电子围栏 + 视觉围栏
室内滑雪机高速运转，用户跌倒、脱离雪板、误入机尾都可能造成严重事故。传统做法只做急停按钮和光幕，对"人在机上但失衡"这种场景无感知。我们为北京客户做了一套三重判定：电子围栏（安全光幕 + 毫米波雷达）+ 视觉围栏（双目相机 + YOLO-World + 姿态估计），鸿蒙 5.0 统一总控。
- ①三重围栏 · 光幕毫秒级遮断 + 毫米波粗范围 + 视觉精细姿态
- ②YOLO-World + 姿态 · 跌倒 / 越界 / 误入第三方 / 姿态异常四类事件
- ③80 ms 内判定 · RK3576 边缘推理 + 鸿蒙软总线联动电机刹车
- ④分级响应 · 警戒 = 声光提示 · 危险 = 降速 · 极险 = 紧急制停
—— 北京客户 · 安全主管
从第一张图到量产上线 · 6 步
我们在 DevEco 里把这条链路打包成一条 CI/CD —— 7 天冷启动。
现场采集
板载相机 + 鸿蒙 HDF 统一采集格式 · 自动日志
标注 · 提示
传统标注 ✕ + YOLO-World 零样本抠图 + T-Rex Label 视觉提示
训练 · 合成
少样本微调 + 合成缺陷 Diffusion · 7 天冷启动
量化部署
Pulsar2 / RKNN / TPU-MLIR 一条命令量化 INT8/INT4
边缘推理
鸿蒙设备上 · NPU 推理 + VLM 异常解释
持续学习
漏检样本回流 · 每周自动微调 · 模型舰队版本化
这些现场都能落地
同一套架构 · 换模型 · 换光源 · 换鸿蒙 HDF 驱动，快速复制。
纺织 · 印染
破洞/纬斜/油污/色差 · 线扫高精度 · MES 联动
安全 · 围栏
光幕+视觉+毫米波三重判定 · 跌倒/越界识别
3C · PCB
焊点/缺件/极性/划伤 · 多光源切换 · 亚像素级
食品 · 农业
异物剔除 · 外观分级 · 成熟度判定 · 封装校验
把现场变成会看、会想、会自学的 IoT
给我们一条产线、一张图、或是一段视频 —— 我们把国产 NPU、鸿蒙边缘层、2026 前沿视觉模型打包成可落地的方案，7 天冷启动、3 个月闭环上线。
鸿蒙 × 国产 NPU × 2026 视觉大模型
产线的眼睛，会看、会想、会自己学。
国产 NPU 矩阵
RK3588 / RK3576 · AX650N · SG2300X · Journey 6 · A311D2 —— 5-128 TOPS 覆盖。
2026 模型矩阵
YOLOv12 · YOLO-World · SAM 家族 · Qwen2.5-VL · EfficientAD / Dinomaly。
三层架构
案例 · 浙江 Seehoo 纺织
16K 线扫 + RK3588 + YOLOv12s + EfficientAD · 6 类瑕疵 · 漏检率 < 0.3% · 3 个月回本。
案例 · 北京滑雪机围栏
光幕 + 毫米波 + 视觉三重判定 · RK3576 边缘推理 · 80 ms 内联动电机 · 0 误停。
预约产线 POC