当前位置 > 首页 > 解决方案 > 智慧城市 > 博观粮油机器视觉解决方案

博观粮油机器视觉解决方案

· 济南博观智能科技有限公司 

1　目标和概述 

传统的生产线对人工判断监测依赖程度高，人工作 业存在疲劳以及评判标准的不一。对企业生产商来说无 法实现有效质量监管， 大批量的次品流入消费者市场 必然会引起客诉，进而影响品牌方生产企业的形象。

 以粮油生产为例，目前行业对于包装袋的缝线识 别，大多工厂仅依靠人工目检完成，自动化程度低。在 这种情况下，博观粮油机器视觉解决方案的应用落地， 采用视觉大模型的低代码算法训练平台能够快速实现流 水线所需碎片化算法训练，提高检测精度， 减轻粮油 工厂的人力成本，从生产环节入手创造更多价值，助力 工厂降本增效，推动粮食加工企业向规模化生产和集约 化经营方向转变，实现智慧升级，综合来看具有较高的 场景价值性。

 博观粮油机器视觉解决方案，借助机器视觉质检平 台，以网络覆盖智能制造工厂为切入点，从行业生产线 视觉外观缺陷检测和字符信息识别两大方面入手进行功 能提升，整体视觉方案除应用于粮油生产以外，未来还 可应用于3C电子、新能源等行业。该方案在不改变现 有工厂生产制造流水线的前提下，定制化提供机器视觉 硬件外设环境，依靠独立开发的深度学习算法检测平台 MVIP和视觉业务软件BreVision，智能化实现视觉检 测代替人工检测的需求，达到工厂降本增效和柔性生产 的目标。

 2　方案介绍 

2.1　核心技术 

2.1.1　OCR字符检测识 

OCR检测获取的面粉袋喷印侧图像， 如图1所示， 可识别生产日期、合格信息等，并可判断字符的完整性。 

 图1 OCR检测

（1）端到端识别算法 

该项目采用了端到端的字符识别技术，以保证整个 功能的高效、准确。区别于传统的识别算法，如图2所 示，端到端识别算法无需文字定位、定点、识别多个步 骤，仅需输入原始图像即可输出识别结果，在节约耗时 的同时最大程度挖掘可用信息。

 图2 端到端识别算法 

（2）图像增强&修复技术 

在工业视觉领域，图像的清晰度一直是一个关键问 题，受限于应用场景、工业摄像头的成像质量，获取的 初始图像往往不会非常清晰。为了应对这样的问题，该 项目加入了基于深度学习的图像增强与修复技术，在识 别算法的开端加入该模块，如图3所示，从根本上解决 字符不清晰或字符有污损的问题。 

图3 图像增强与修复 

（3）完整性判断 

在实际应用中，经常面临的另一个问题是字符不完 整和缺位数问题，为此该项目引入完整性判断模块，根 据字符的分布、深层图像信息，确定送入的字符块是否完整。若出现字符明显残缺，则判断为异常样本，进行告警。

 总之，OCR算法在工业场景需要保持高稳定、高 精度和可复制性，便于支持工业环境中不同产线的要 求，比如全天候光线变化、褶皱导致字体变形、喷码在 画面任意位置、字体格式、不同大小等情况，在为企业 降本增效的同时，做到智能化设备本身的成本控制。

 2.1.2　缝线完整性缺陷检测识别

 图4 缝线检测 

缝线检测通过配置ROI区域，获取面粉袋的注意力 区域，通过异常抓拍的识别模型判断是否为正常拍摄的 图像，最后通过缝线异常判断模型，检测其缝线是否完整，如图4所示。 

（1）滑动ROI 

在ROI配置过程中，由于面粉袋位置发生移动和扭 曲，导致配置的ROI区域并不准确，出现大量无效的背 景影响判别效果。为解决此问题，在实际使用过程中， 使用滑动ROI，算法会根据面粉袋的边缘位置得到较为 准确的封口区域，如图5所示。

 图5 滑动ROI 

（2）异常拍摄判断 

由于生产现场的复杂环境以及相机拍摄的不确定性，实际情况中会时而出现异常拍摄的数据，例如未拍 摄到面粉袋、拍摄的面粉袋不完全、拍摄到工作人员等等。这些异常数据会对检测算法产生干扰，从而影响最 终效果，所以算法需要先判断是否为正常拍摄图像，剔 除异常拍摄图片后可大大提升算法精度。如图6所示， 分别为正常拍摄、拍摄部分袋子和设备空拍的图像。在 实际使用时，加入异常拍摄判断，存在空拍时进行算法 剔除。

 图6 异常拍摄图像 

（3）缝线异常判断 

通过上述流程之后，图片被送入最终的缝线检测模 型，判别封口是否缝上，保证面粉在运输过程中，不发 生洒、漏等问题。此过程中会出现跳线、弯曲、褶皱、 小口、过曝、过暗等各种形态的样本，如图7所示。多 种形态的样本会严重影响判别的精度。

 图7 各类样本 

对于缝线异常判断，精度要求较高，负样本形态各 异，并且难以收集，同时褶皱、弯曲、光线环境差都使得缝线位置判断困难，而多种多样的负样本类型需要模 型去学习更多的特征，但负样本难以收集，数量较少。 针对这些不同类型的情况，该项目设计了不同的数据增 广、网络算子和损失函数，并通过实验表明，可以有效 解决上述各类问题。

 2.1.3　在线训练 

（1）整体流程 

MVIP深度学习机器视觉检测平台，首先通过海量 的媒体数据+独创的大规模多模态算法模型，使得大模 型从海量视频数据中实现自监督学习通识知识，结合 Few-ShotLearning等小样本学习算法，本平台可在几 百张样本图片下达到下游常见任务90+%的精度。无损 高速地传输给服务器端。在 服务器端我们将进行强大 的算法模型检测，包括缝线检测、文本检测和文本识别 等一系列算法，然后将迭代后的模型再次使用5G传输 技术传输给边缘侧设备，供模 型实时更新强化。 

（2）技术原理 

MVIP深度学习机器视觉检测平台的核心技术是博 观独创的在线学习算法，该方法通过离线模型做离线识 别，同时使用监督模型协助监督。在实际应用中，将监 督模型给出的得分低于阈值的识别图像无损地保存在在 线学习素材库内。设备运行一段时间后，算法自动统计 运行规律找出低频率识别时段，并在素材库满足一定条 件后，启动冻结式网络参数迭代更新在线学习，让离线 模型不断完善自身“弱点”，从而达到在线学习的优化 效果。 

（3）技术优势 

MVIP深度学习机器视觉检测平台场景适应能力极 强，模型鲁棒性高，可轻松应对各种新场景。在识别劣 势的场景下可自动启用在线学习系统，不影响设备正常 运行的情况下，在较短的时间内完善模型快速提升识别 率。搭载 5G技术，使数据在前端与服务器端不丢包传 输并且可 加速在线学习素材读取速度，促进了算法的 高效性和实时性。

 在实际应用中，算法同时处理对面粉袋的缝线检测 和面粉袋上文本识别两种需求，通过在线学习方式，实 时更新识别算法，提升算法鲁棒性，从而高效精准地完 成整体算法运算。

 2.2　系统架构 

MVIP深度学习机器视觉检测平台助力的生产环节 技术如下： 

面粉在灌装到面粉袋后，面粉袋通过流水线输送到 喷码机处，自动喷码生产日期和批次号等OCR信息到面 粉袋外包装上，然后输送到缝纫机处封好缝线，后续流 水线进入机器视觉智能化系统识别区，通过机器视觉技 术实现OCR的识别和封口缝线质量检测。 

具体解决方案依靠光电传感器触发工业相机拍照， 工业光源稳定照射到OCR区以及封口缝线区，得到各自 拍摄到的视觉图片，视觉检测系统并行将相机采集到的 图像通过深度学习的算法进行识别和检测，判定面粉袋 的质量状态，并通过视觉软件可视化展示，同时把结果 通过通信的手段给到执行机构信号并分拣生产的合格品 和次品。

 该解决方案系统架构自下而上主要分为采集层、边 缘计算层、应用层三层，具体逻辑架构如图8所示。 

图8 博观粮油机器视觉解决方案系统架构 

2.3　软硬件部署 

该解决方案在前端部署硬件视觉产品，利用AI算 法赋能机器视觉一体机，实现高效的图片采集回传。 基于BreVision视觉业务软件对图片进行分析，可以 检测出厂的每袋面粉的生产日期和批次号的正确性。 BreVision视觉业务软件是一款基于深度学习的智能工 业视觉软件平台，专门用于解决复杂缺陷的定位、检 测、分类等问题，同时具备高效准确的字符识别能力， 可适用于各类复杂应用场景。该解决方案软硬件部署如图9所示。

 图9 博观整体视觉方案

 3　代表性及推广价值 

 3.1　应用情况及效果 

目前，博观粮油机器视觉解决方案已经在国内某知 名粮油工厂实现落地，赋能后共计覆盖30+条生产流水 线，节省30+人力，并且从人工目检每条生产线8000多 袋/天的生产能力，提升到应用机器视觉检测后每条生 产线20000多袋/天的生产能力，生产效率提升150%， 有效实现了生产设备满时运转的工作状态。

 3.2　创新性 

3.2.1　技术的示范效应 

该方案中的机器视觉质检平台依靠深度学习算法， 能高效检测粮油生产中的包装袋破损问题，精准识别 OCR信息，已达到<0.1%的过检率和0%的漏检率，方 案后续可以投入于国内更多的粮油加工企业及粮食行 业。我国是农业大国，粮食行业是直接与农业生产相关 的基础行业，存在大量机器视觉替换人工检测的潜在需 求。该方案能够利用高性价比的机器视觉帮助众多粮油 企业降低人力成本，促进柔性生产，带动智能化转型升 级，应用前景广阔，市场推广规模巨大。 

3.2.2　商业价值 

近年来，在制造业向自动化、智能化升级转型的趋 势下，机器视觉拥有着千亿规模的市场前景。但目前在 工业领域，将AI融入机器视觉算法中的尝试刚刚起步， 在全球范围尚处于摸索起步阶段，本项目的成功应用给 行业内客户提供了比较有借鉴意义的案例。 

博观机器视觉质检平台计划在不断通过人工智能算 法优化来进一步提升机器视觉设备的泛化性和准确性， 让人工智能更稳定地应用于工业现场的恶劣环境中，对 于提升整体工业制造的智能化水平也颇具意义。该机器 视觉质检平台探索的路径是，结合客户的痛点以及AI算 法的能力，将两者合二为一，采用最高效的方式来不断 地提高工业场景的生产效率。未来博观将在智能制造、 高端装备、自动化设备等行业探寻更多技术深化和项目 合作。 

3.2.3　社会价值 

（1）节约人力成本 

从长期来看，伴随日益严重的人口老龄化趋势， 人员短缺、劳动力价格上涨的状态还将持续，这都在无 形之中加剧企业的生产成本。博观粮油机器视觉解决方 案的落地应用，能够实现机器视觉对人工检测的有效替 代，减轻粮油生产过程中对传统人力的依赖性，能够为 企业节约大量的人力成本，缓解因人工成本上涨而带来 的生产压力，加快降本增效。 

（2）减少粮食资源浪费 

在人多地少的基本国情下，节约粮食是保障14亿 人粮食安全的战略选择。然而，我国粮食损耗浪费现象 严重，粮食供给端存在资源配置效率偏低的问题。据联 合国粮农组织估计，我国每年仅在粮食收获、运输、储 存、加工过程中造成的损失浪费，就达到粮食总量的 6%。博观粮油机器视觉解决方案通过机器视觉质检， 在发现包装袋断线、漏缝等多种残次问题后，能做到第 一时间报警并剔除，解决了传统人工检测带来的产品品 质波动问题，减少了因包装袋破损产生的粮食损耗，在 保证产品良品率的同时避免了原材料浪费。 

（3）保障粮食生产安全 

保障粮食安全，不仅要从源头出发保证原材料的 安全，还要加强对加工制造过程的检验检查。包装袋开 口、破损等加工过程中常见的问题容易引发袋内粮品污 染，保质期缩短，还会招致发霉虫害等，威胁人民健 康。博观粮油机器视觉解决方案，借助人工智能、机器 视觉、云计算等先进技术，高效检测包装袋破损问题 并及时告警相关人员处理，实现了粮油工厂的智能化管 控，为粮食生产安全保驾护航。

来源 | 《自动化博览》2023年第2期暨《边缘计算2023专辑》