您的位置>首页>新闻动态> 解决方案 | 用于汽车行业的机器视觉深度学习

发布时间: 2020-11-10    浏览量:399

受疫情的持续影响,制造业产品环节的人工成本在不断升高。与此同时,智能制造技术的普及,在这一阶段也取得了显著成果。


机器视觉系统,作为智能制造中重要的一个环节,愈发显现出其不可替代性。

随着当前工业制造技术的高速发展,机器视觉技术已经逐步成为工业自动化生产过程中不可或缺的关键组成部分。


汽车制造行业,对零部件的一致性和品质要求比较高,对机器视觉技术的依赖程度相对也高,以外观缺陷检测为例,传统的工业视觉需要由专业的人员对机器进行大量的调试,繁复的调试工作不仅需要大量的工时,同时还需要品管人员进行反复的校核,最终进入产线检测。而将深度学习与传统视觉相结合,将极大地优化作业流程。


image.png


与传统视觉一个明显的区别就是,只要有足够的数据,深度学习的机器视觉可以极大缩减前期调试工作的时间,只需要将数据输入给机器,就能由机器完成建模,以及形成对缺陷的认知。


深度学习ViDi套件是首款专为汽车行业设计的基于深度学习的图像分析软件。ViDi套件结合了类人类的智能性以及机器视觉的可靠性,非常适用于变形元件的定位、复杂外观的检测、分类以及棘手的OCR应用。它提供易于部署的界

面,能够以自动化方式解决以前难以通过编程解决的检测挑战。


image.png


活塞环检测

ViDi红色-检查工具能够简化带纹理金属表面上各种缺陷的自动化检测和表征


挑战

活塞的压缩环在往复式发动机中具有多种功能,包括密封燃烧室和调节油耗。由于活塞的反光金属表面,压缩环上的缺陷很难检测出来。活塞的圆柱形形状在图像中的呈现有时很模糊且对焦不准。作为制造过程的一部分,金属表面纹理的正常变化在预期之中,并且其中一些变化是被允许的,包括锈斑、白色区域以及表面裂纹和裂缝。但一些影响活塞性能和威胁气缸内压缩水平的较长划痕则是真正的缺陷项。检测系统必须能够忽略压缩环表面上的正常变化和无关紧要的异常,同时识别出较长的划痕缺陷。


解决方案

要将这种复杂的检测按照基于规则的算法编程,将需要复杂的缺陷数据库。虽然人工检测更灵活,但速度太慢。ViDi套件提供一种有效的检测解决方案,它将人类识别微小变化的能力与自动化系统的可靠性、一致性和速度充分结合在了一起。在监督模式下使用ViDi红色-检查工具时,工程师基于一组具有代表性的已知“合格”和“不合格”的压缩环样本图像对基于深度学习的软件进行训练。技术人员分别对出现较长划痕的已知“不合格”样本图像以及出现正常变化和可接受缺陷(包括锈斑和较小裂纹)的“合格”样本图像进行注释。基于这些图像,iDi套件将学习活塞的自然形态和表面纹理以及划痕的正常外观。额外的图像可以在验证测试期间添加到训练图像组合中,以反映额外的示例,并帮助优化系统。在训练阶段和验证期间,可以不断调整参数,直至训练后的模型正确检测和分割所有包含较长划痕的图像。在使用过程中,由于已经学会了识别和忽略无关紧要的变化,软件只会将包含较长划痕的图像表征为缺陷。

image.png


气缸检测

ViDi红色-检查工具能够可靠地检测金属上的气孔


挑战

气缸是汽车发动机的基础。大型气缸是往复式发动机的主要工作元件,当活塞在压缩作用下进行上下往复动作时,大型气缸用于将活塞固定住。气缸通常由铸造金属制成,有时带有衬里或“套管”,并包含润滑涂层。气缸壁必须具有耐久性,因为它们会与活塞的压缩环接触。

制成气缸的金属中可以容许存在较小的不规则性,它们在机械磨损过程中将被消除,但金属中不得包含被称为“气孔”的气泡。这些缺陷的检测尤其具有挑战性,这是由于气缸表面较粗糙,而且由于景深的原因,图像边缘周围将显得很

模糊。气缸反光表面上产生的镜面反射或眩光也会使检测复杂化。此外,由于需要忽略如此多较小的特征形状和位置变化,并克服眩光和模糊的影响,因此将很难通过编程来实现自动化检测。


解决方案

ViDi套件能够在相同的照明条件下快速识别其他方法难以检测到的气孔。工程师可以在数分钟内基于一组具有代表性的“合格”和“不合格”气缸样本图像对软件进行训练,使用膜滤波器调整感兴趣区域,以屏蔽轴内背景的明亮圆盘。在监督模式下使用红色-检查工具时,技术人员可以对标记为“不合格”的图像中的气孔进行注释,并调整参数,包括特征尺寸、比例尺、纵横比和剪切模量,以确保参考模型充分考虑各种外观变化。描绘正常气缸的“合格”样本图像可以帮助软件学习哪些类型的微小铸造异常和变化是可接受的。工程师可以重新训练系统,调整参数和添加额外的图像,直至参考模型能够概括气缸的正常外观,并识别各种异常。使用过程中,基于深度学习的软件可以在数毫秒内检测

完每个图像,将出现气孔的元件表征为缺陷元件,并将其余元件表征为正常元件。


image.png


焊缝检测

ViDi红色-检查和绿色-分类工具能够简化焊缝缺陷的自动化检测和分类


挑战

动力系统关键部件(如活塞)的复杂表面纹理使传统的机器视觉难以检测它们的完整性,康耐视ViDi套件则能够解决这一问题。活塞的焊缝具有高度的变化,这会导致各种异常很难被区分开来。有些焊接异常是不可接受的,比如焊缝缺失、焊接过度或焊接不充分。其他焊接异常则是可接受的,并且出于安全原因是必要的,比如焊缝重叠。黑色图像区域会使检测进一步复杂化。考虑到许多可能的缺陷和照明挑战,基于深度学习的图像分析软件提供一种简单而可靠的解决方案来取代传统机器视觉检测。


解决方案

有了康耐视ViDi套件后,金属活塞焊缝的自动化分析将变得简单。工程师基于一组包含所有焊接异常(包括焊缝重叠)的“不合格”元件图像和无任何异常的“合格”元件样本图像,在监督模式下对软件及红色-检查工具进行训练。通过这种方式,所有异常都将被识别为缺陷,包括可接受的异常以及导致元件不合格的异常。在检测的第二部分,工程师将使用ViDi绿色-分类工具来按类型对焊缝缺陷进行分类。基于在监督模式下开发的模型,软件将提取特定缺陷的相关信息,并将重叠性焊缝划分到单独的类别。通过将红色-检查工具与绿色-分类工具结合使用,汽车制造商将可以确保检测系统识别所有焊缝,并成功将有焊缝重叠的元件分类出来。基于这些信息,制造商将能够仅选择包含有焊缝重叠的元件来使用。


image.png


火花塞识别和分类

ViDi蓝色-定位和绿色-分类工具能够基于元件的外观识别、计数和分类元件,以进行装备/预装配验证


挑战

对于一些识别、计数和分类应用,当生产环境不支持代码读取技术时,制造商必须依靠外观检测。细微的外观变化可能会给自动化检测系统带来挑战。火花塞就是这种情况。火花塞通常置于不同颜色的货盘上输送至预装配工作站。检测系统必须成功识别、计数和分类不同颜色的火花塞,同时忽略货盘的背景颜色。然后将这些信息传输至视觉引导的机器人进行装配。


解决方案

ViDi套件能够基于尺寸、形状和表面特征归纳火花塞的区别性特征。凭借ViDi蓝色-定位工具,工程师可以定位货盘图像,对软件进行训练,让其学习识别和计数每个火花塞。ViDi绿色-分类工具使用基于深度学习的模型,按照火花塞的特征(即颜色)来对火花塞进行分类。


image.png


安全气囊检测

ViDi红色-检查工具能够检测织物的外观缺陷


挑战

安全气囊必须符合严格的质量标准,以确保乘客的安全。汽车制造商必须反复检查所有对安全至关重要的部件,以确保质量、降低保修成本和减少产品召回责任。这一点对于安全气囊尤其重要。制造商必须检测安全气囊是否存在可能会导致其出现故障的孔洞、裂缝、裂洞、接缝和缝合问题。人工检测往往容易遗漏或难以检测出这些类型的质量问题。由于气囊织物表面的复杂性,传统的机器视觉系统也难以通过编程来解决这些问题。织物图案可能高度复杂,而且由于织物的可延展性、纱线厚度和无数较小的可接受变化,安全气囊之间的视觉外观也存在较大的变化。由于明确地搜寻所有缺陷这种方法太复杂、太耗费时间,康耐视ViDi套件提供一种简单的解决方案来识别所有异常特征,无需基于“不合格”样本图像进行训练。


解决方案

工程师使用ViDi红色-检查工具在非监督模式下基于一组“合格”安全气囊图像对软件进行训练,以创建安全气囊的参考模型。该模型可以学习安全气囊织物的正常外观,包括编织图案、织物特性和颜色。所有偏离该模型正常外观的特征都将被表征为异常。通过这种方式,康耐视ViDi套件能够可靠且一致地检测所有异常,比如孔洞、裂缝、裂洞和异常缝合图案,从而快速识别和报告织物的缺陷区域,无需大量的缺陷数据库。

image.pngimage.png




内饰件总装验证

ViDi红色-检查工具能够辨识干扰背景上元件的存在和位置


挑战

总装验证涉及的各种内饰件具有高度的复杂性,这给传统机器视觉检测带来了挑战。人工检测员通常验证所有元件(比如线带和金属外壳)是否存在且装配是否正确。微弱的照明对比度导致很难确认线带是否在正确的外壳内。虽然人工检测员擅长于识别线带,但速度太慢,效率过于低下。康耐视ViDi使用基于深度学习的图像分析软件来学习内饰件总装完成后的外观,能够跟人工检测员一样准确地识别缺失的线带,同时还提供自动化系统的速度和可靠性。


解决方案

在监督模式下使用ViDi红色-检查工具时,技术人员基于线带缺失的“不合格”内饰件图像以及线带存在的“合格”内饰件图像对系统进行训练,以创建完整内饰件的参考模型。通过使用该模型,ViDi套件能够将线带缺失的内饰件识别为异常和缺陷,在最终检测期间将它们从生产线上剔除。


image.png


车辆识别码(VIN)检测

ViDi蓝色-读取工具能够识别变形字符


挑战

车辆识别码(“VIN”码)是一种由多个字符组成的代码,用作车辆的唯一识别码。VIN码包含字母和数字,可能为直接部件标识(DPM码)、蚀刻或刻绘在金属板上的代码或印刷在贴纸上的代码。汽车制造商必须能够定位和读取VIN码,以实现可追溯性。镜面反射、油漆颜色和眩光导致传统的机器视觉系统难以定位和识别字符。检测系统必须克服反光表面给成像带来的挑战,以成功读取字符。


解决方案

有了ViDi蓝色-读取工具后,即使面临成像挑战,现在也能够轻松定位和读取变形字符。训练软件时,工程师可以在包含一组具有代表性的VIN码字符的图像上确定感兴趣区域。即使字符因眩光和对比度低而变得模糊,蓝色-读取工具的预训练全向字体读取功能也能够识别字符。在训练和验证期间,技术人员仅重新标记遗漏的字符,直至软件的模型正确识别所有字符。这种基于深度学习的新型OCR方法在训练和开发期间可以减少过度标记,并成功读取噪音严重背景上的字符,从而显著节省时间。


image.png



总体而言,深度学习是机器视觉的一种延伸。企业向智能工厂的转变推动了机器视觉的发展。而对检测提出更高的要求,加上如今GPU技术的发展,让深度学习有了用武之地。需要注意的是,传统机器视觉与深度学习是互补而非替代的关系,深度学习的出现,也意味着新的财富密码。