多(duō)传感器数据融合用(yòng)于产線(xiàn)视觉检测
视觉检测是大多(duō)数品管工作流程的基石。由人工执行时，过程昂贵，容易出错且效率低落: 1成至2成的误判过筛/偏移率及生产瓶颈很(hěn)常见。以零检出产線(xiàn)生产品管产品（IQZeProd; Inline Quality control for Zero-error Products）為(wèi)名，Fraunhofer IWU的研究人员开发新(xīn)的产線(xiàn)监控解决方案，以在生产过程中尽早辨识各种材料（例如木(mù材，塑料，金属，和涂漆的表面）的瑕疵。系统使用(yòng)来自多(duō)种传感器的多(duō)传感器数据融合技术，在零组件经过生产線(xiàn)时识别结构和表面缺陷。目标是透过提高检测过程可(kě)靠性及改进检测缺陷，创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的Xeidana®软件框架及20台工业相机的模块。研究人员对相机特定的要求标准：全局快门黑白传感器；低震动实时触发；超高数据速率进行可(kě)靠数据传输，且能(néng)直接集成到软件框架中。他(tā)们选择了The Imaging Source 映美精相机GigE Vision标准工业相机。
IQXeProd中20台TIS GigE工业相机的图像数据，以及高光谱和非光學(xué)传感器呈现的数据。使用(yòng)Xeidana软件框架进行融合，以实现零误差的产線(xiàn)QC系统。(图片来源: Fraunhofer IWU)
Xeidana提供处理(lǐ)光學(xué)，热感应，多(duō)光谱，偏振或非光學(xué)传感器（例如涡電(diàn)流）的数据所需的灵活性，而许多(duō)检测任務(wù)则需透过标准光學(xué)传感器提供的数据而完成。项目经理(lǐ)亚历山(shān)大·皮耶尔（Alexander Pierer）表示 :「我们经常使用(yòng)数据融合来多(duō)重扫描关键零组件區(qū)域。多(duō)重包含从不同角度扫描同一區(qū)域，来模拟手动检测过程中使用(yòng)的『镜像』。」為(wèi)了获取完成这些任務(wù)所需的视觉数据，研究人员创建了一个由20台TIS相机组成的模块：19台黑白相机（DMK 33G445）及1台彩色相机（DFK 33GX273）。
19台黑白工业相机从关键零组件區(qū)域收集数据。 Xeidana处理(lǐ)多(duō)重数据以仿真“镜像”的过程 ─ 一种在手动检测过程中很(hěn)常见的技术。(图片来源：Fraunhofer IWU)
黑白传感器: 最适瑕疵检测
由于其固有(yǒu)的物(wù)理(lǐ)特性，黑白传感器能(néng)呈现比彩色传感器更高的细节，更高的灵敏度及更低的噪点。 皮耶尔指出：「黑白传感器足以检测因表面亮度差异所引起的缺陷。虽然颜色数据对我们人类非常重要，但在技术应用(yòng)中，颜色数据通常无法提供其他(tā)数据。我们使用(yòng)彩色相机，透过HIS变换进行色调分(fēn)析，以检测可(kě)能(néng)显示涂料厚度有(yǒu)问题的颜色偏差。」
任務(wù)需求和短曝光时间意味着工程师对于相机选择有(yǒu)非常精确的需求，皮耶尔继续说明：「主要选择标准是全局快门和实时触发，震动极低，因為(wèi)我们必须在很(hěn)短的曝光时间内(10µs的范围内)拍摄移动中的零件。相机和Lumimax照明（iiM AG）之间的曝光（通过硬件输入触发）必须绝对同步。对于我们来说，很(hěn)重要的一点是，感兴趣區(qū)域 (ROI) 已限制在相机韧體(tǐ)内相关區(qū)域，来优化图像传输的网络负载。此外，我们仰赖在极高速率时还能(néng)进行可(kě)靠的数据传输。由于零组件已在过程中被检测过了，因此不会出现图像错误或碎片化的图像传输。」
電(diàn)动变焦相机可(kě)快速调整观测范围(FOV)
在项目过程中，团队构建了多(duō)个系统：用(yòng)于工业设置以及示范和测试目的。典型工业环境中受检测的零组件持续不停移动，DMK 33G445和DFK 33GX273相机提供的定焦成像满足了团队的要求。然而，针对示范/测试系统，研究人员使用(yòng)许多(duō)不同零组件进行测试，包括金属零件，木(mù制毛坯和3D印刷塑料，就需要具有(yǒu)可(kě)调节观测范围（FOV）的相机。The Imaging Source 映美精相机 DMK Z12G445黑白变焦相机具有(yǒu)集成電(diàn)动变焦功能(néng)，符合任務(wù)要求。
变焦相机可(kě)提供快速可(kě)调的观测范围（FOV），使示范系统能(néng)够扫描各种尺寸和形状的零组件。(图片：Fraunhofer IWU)
大规模并行处理(lǐ)技术可(kě)与数据传输保持同步并实现深度學(xué)习
通过20多(duō)种不同类型的传感器向系统传送数据，可(kě)以应对400 MB / s量级的数据流。皮耶尔解释：「该系统的设计吞吐速度高达1 m / s，…，每三到四秒(miǎo)，二十个相机模块就可(kě)以创建400张图像。此外，来自高光谱的線(xiàn)阵相机和粗糙度测量系统，都必须在10秒(miǎo)周期内处理(lǐ)和评估完成。為(wèi)了满足这一要求，必须要有(yǒu)大规模并行数据处理(lǐ)的能(néng)力，包含28核心 (CPU）和显卡（GPU）。这种并行化使检测系统能(néng)够与生产周期保持同步，提供具有(yǒu)100％控制能(néng)力的产線(xiàn)系统。」Xeidana的模块化框架特别针对现代多(duō)核系统能(néng)够进行大规模并行处理(lǐ)的能(néng)力进行优化，使应用(yòng)工程师能(néng)够使用(yòng)这个插件系统 (可(kě)透过多(duō)种不同图像数据库来延展新(xīn)功能(néng)) 快速实现大规模并行、特殊应用(yòng)的品管项目。
此系统的数据融合功能(néng)可(kě)以通过多(duō)种方式使用(yòng)，取决于需要什么样的数据来提供最可(kě)靠的结果。除了标准的机器视觉检测任務(wù)外，研究人员团队目前正努力整合其他(tā)非破坏性评测技术，例如3D视觉以及不可(kě)见光的其他(tā)种类传感器（例如X射線(xiàn)、雷达、紫外線(xiàn)、太赫兹）来检测其他(tā)类型的表面和内部缺陷。
处理(lǐ)流程网络。绿色和黄色模块并行执行单独的图像处理(lǐ)任務(wù)。(图片：Fraunhofer IWU)
由于Xeidana支持大规模并行处理(lǐ)，深度學(xué)习技术也可(kě)用(yòng)于检测标准不容易量化或定义的零组件的瑕疵检测。皮耶尔澄清：「这些技术对于具有(yǒu)不规则质地的有(yǒu)机成分(fēn)（例如木(mù材和皮革）以及纺织品尤其重要。」 由于机器學(xué)习技术有(yǒu)时难以在某些情况下应用(yòng)（例如，分(fēn)类决策的可(kě)追溯性有(yǒu)限，以及在调试过程中无法手动调整算法），皮耶尔补充：「我们主要依靠经典的图像处理(lǐ)算法和信息处理(lǐ)的统计方法来执行我们的项目。只有(yǒu)达到极限时，我们才转向机器學(xué)习。」
致謝(xiè)：The Imaging Source 映美精相机 欧洲总部是IQZeProd计划产业工作组活跃成员，并且与研究合作伙伴进行密切的专业交流。德國(guó)测量控制和系统工程研究协会(DFMRS)的促进联合工业研究计划(IGF)项目IQZeProd （232 EBG）─ DFMRS是由德國(guó)國(guó)际金融基金会在联邦经济和能(néng)源部根据德國(guó)联邦议院决议通过的促进联合工业研究计划资助。请注意，促进联合工业研究计划项目232 EBG的最终报告已公开给德國(guó)民(mín)众。最终报告可(kě)从德國(guó)测量控制与系统技术研究协会获得。根据德國(guó)联邦议院的决议，由联邦经济和能(néng)源部支持。
