#仪表盘读数识别~1
搬来了大赛仪表盘读数识别德国冠军方案解读 , 大佬勿怪
1、仪表识别
对于预测仪表框与真实仪表框，计算f1-score，IoU使用0.7，此部分成绩记为score1
2、刻度点识别
对于预测关键点与真实关键点，计算RMSE，此部分成绩记为score2
3、OCR识别
对于预测的数值框，计算f1-score，IoU使用0.5，此部分成绩记为score3
4、读数识别
计算每个仪表的读数得分，并对所有仪表的得分求平均值，此部分成绩记为 score4
将上述4点得到4项成绩进行加权，最终得分：
加权的权重为配置参数，默认值为:
weight_1 = 0.1
weight_2 = 0.25
weight_3 = 0.25
weight_4 = 0.4
赛题分析
本次任务的仪表数据集存在以下难点：
1、仪表刻度存在遮挡、模糊等问题，影响OCR识别
2、仪表图像存在旋转、倾斜问题，影响读数测量
算法设计
算法分为4个流程，首先用yolov5s模型从原图中识别出仪，接着用yolov8x-pose模型检测出仪表中的刻度线、指针的关键点，再用DBNetpp模型检测出数值框并用SATRN模型进行文本识别，最后后处理得到读数结果。
（1）基于YOLOv5s的仪表检测
选型理由
Yolov5s网络小，速度快。虽然AP精度低，但检测的是仪表这种大目标是完全够用的。我们采用极市官方提供的yolov5s训练套件进行训练，上手简单，且仪表识别准确率达到了99.7%,效果满足实际需求。
（2）基于YOLOv8x-pose的指针和刻度关键点检测
选型理由
YOLOv8是YOLOv5团队ultralytics在今年开源的SOTA模型，引入了新的改进，进一步提升了性能和灵活性。YOLOv8 设计快速、准确且易于使用，使其成为目标检测、实例分割、图像分类和姿态估计任务的绝佳选择。
yolo-pose是估计人体姿态的一个模型，它将人体姿态分为17个关键点。
为了尽可能地提高关键点检测精度，我们使用了规模最大的YOLOv8x-pose模型。
指针关键点数据集制作
我们将指针的两个点作为其关键点，由这两个点组成的矩形框作为目标检测框，如果两个点组成的矩形框太窄，进行适当延伸。刻度关键点数据集制作
由于每个仪表的数值框个数不同，我们将每个数值框视为同一个类别进行目标检测，每个数值框携带对应的刻度点作为其关键点。
我们采用从官网下载的预训练模型在仪表数据集上微调，将关键点权重从12提高到20。
（3）基于DBNetpp的文本检测
选型理由
由于仪表尺寸大小不一，我们选用DBNetpp模型，它在DBNet模型基础上引入了多级特征聚合模块(Adaptive Scale Fusion, ASF)，ASF模块由阶段注意力和空间注意力子模块构成，加强了不同尺度特征的融合，提高了处理不同尺寸图像的鲁棒性。
（4）基于SATRN模型的文本识别
选型理由
SATRN模型利用self-attention机制对字符的2D空间关系进行建模，并且在FFN模块中引入卷积层，增强了模型对全局和局部特征的捕捉能力。
SATRN模型对于大曲率弯曲、大角度旋转文本依然具备足够的识别能力，在多个不规则文本数据集上达到SOTA。
（5）读数识别
将上述模型的输出采用opencv进行后处理得到读数结果，具体流程如下：
1. 区分内外径
根据刻度点和数值框距离指针原点的距离区分内径和外径，分别进行后续处理。
2. 确定刻度点的顺序
起点到终点的角度差值是相邻两点间角度差值中最大的，我们只需要找到这个最大的角度差值，就可以确定起始点。
先将刻度点坐标转成以指针原点为中心的极坐标，根据角度从小到大排序 [16,0,4,8,12]
然后计算相邻刻度点两两间的角度差值，选择最大差值的下一个刻度点作为起点，调整顺序后 [0,4,8,12,16]
3. 修正OCR识别结果
上图中由于指针遮挡，1500识别成500，通过等差数列对其进行修正。
4. 透视变换
步骤：
1、确定最后一个点的坐标：已知最后一个点在透视变换后的极坐标角度为45°，假设所有刻度点距离圆心距离为R，则最后一个点的坐标可以表示为（45°,R）可以根据该极坐标得出笛卡尔坐标系下的坐标。
2、确定其他三个点的坐标：这里一共有6个间隔平分整个270°量程，所以每个刻度夹角为270/6=45°，据此可以依次计算出其他三个点在变换后的坐标。
通过这种方式，可以确定四个刻度点在透视变换后图像中的坐标，并用这些坐标来进行透视变换。
5. 补充被指针遮挡的点
步骤：
1、首先，确定缺失点的前后点，以及它们与圆心的平均距离。这些信息将用于推算缺失点的极坐标。
2、根据前后点的角度和平均距离，计算出缺失点的极坐标。极坐标由极径和极角组成，极径表示点到圆心的距离，极角表示点在极坐标系中的角度。将缺失点的极坐标转换为笛卡尔坐标。
3、如果进行了透视变换，需要将转换后的坐标应用于透视矩阵，以获得原图中的坐标。
6. 计算读数
算法优化
存在问题
边框遮挡导致的刻度数字无法识别，上述算法不能很好的处理。
改进方法
根据数据集分布，为内外径各建立一个list，以外径举例:
outer_list = [
[32, 50, 100, 150, 200],
[0, 4, 8, 12, 16],
[0, 2, 4, 6, 8, 10],
[0, 1, 2, 3, 4, 5, 6],
[0, 0.2, 0.4, 0.6, 0.8, 1],
[0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6],
[0, 2, 4, 6, 8, 10, 12, 14],
[0, 10, 20, 30, 40, 50, 60],
[0, 1000, 2000, 3000, 4000, 5000, 6000],
[0, 100, 200, 300, 400, 500, 600, 700, 800, 860]
]将左图中识别的外径[0,100,200,300,400,500,600]与该outer_list进行匹配，得到最接近的[0,100,200,300,400,500,600,700,800,860]。即可对照模板将遗漏的刻度点补全。
总结
最终，方案的成绩如下。
优点：
1、目标检测算法和ocr识别算法均源自开源算法库中SOTA模型，实现简单高效，且具备丰富的工业部署落地支持。
2、没有采用传统直线检测的方式检测关键点，通过类似姿态估计的方式提高了关键点检测精度。
3、提出了一种基于查表的鲁棒仪表读数方法，对于遮挡严重的情况也能较好地处理。
4、通过透视变换，将形变的仪表图像修正，使得读数更加准确。
可提升点：
1、将模型文件转换为TensorRT格式，加速推理。
2、更改ocr识别模型，提升效率。
引用
1.https://github.com/ultralytics/yolov5
2. https://github.com/ultralytics/ultralytics
#通用型透明物体抓取框架
该成果发表于机器人顶级期刊IEEE Transactions on Robotics。
复杂环境下透明物体的感知和抓取是机器人领域和计算机视觉领域公认的难题。近日，来自清华大学深圳国际研究生院的 SSR Group 团队与合作者提出了一种视 - 触融合的透明物体抓取框架，该框架基于 RGB 相机和带有触觉感知能力的机械爪 TaTa, 并通过 sim2real 的方式来实现透明物体的抓取位置检测。该框架不仅可以解决玻璃碎片等不规则透明物体的抓取，还可以实现重叠、堆叠、高低不平、沙堆甚至高动态水下透明物体抓取问题。
透明物体由于其美观、简约等特点而在生活中广泛应用。比如厨房、商店、工厂都能见到他们的身影。虽然透明物体很常见，但对于机器人而言，透明物体的抓取却是一个非常困难的问题。其主要原因有三个：
1、没有自己的纹理属性。透明物体表面的信息随着所在环境的变化而变化，所产生的纹理大都是由于光线折射、反射造成的，这就给透明物体的检测带来了很大的困难。
2、透明数据集的标注相比于普通物体标注具有更大的难度。在实际场景中，人类有时也不容易区分玻璃等透明物体，更不用说对透明物体的图像进行标注。
3、透明物体表面光滑，即使抓取位置存在较小偏差也可能导致抓取任务的失败。
因此，如何利用尽可能少的成本来解决各种复杂场景下的透明物体抓取问题已经成为了透明物体研究领域非常重要的问题。近日，来自清华大学深圳国际研究生院的智能感知与机器人团队（SSR Group）提出了一个基于视触融合的透明物体抓取框架，该框架模仿了人在低可见度情况下抓取物体的动作，并利用视触融合来实现透明物体的检测和抓取。该方法不仅具有极高的抓取成功率，还可以适应各种复杂场景下的透明物体抓取。
论文地址：https://ieeexplore.ieee.org/document/10175024
论文通讯作者、清华大学深圳国际研究生院丁文伯副教授表示：「机器人在家庭服务领域展现出了巨大的应用价值，但当前的机器人大多聚焦于某一单一领域，通用型机器人抓取模型的提出将会对机器人技术的推广和应用带来巨大的推动作用。虽然我们是以透明物体为研究对象，但该框架可以很轻松的推广到生活中常见物体的抓取任务中。」
论文通讯作者、清华大学深圳国际研究生院刘厚德研究员表示：「家庭场景中的非结构化环境对机器人的实际应用带来了极大的挑战，我们将视觉与触觉进行融合感知，进一步模拟了人类与外界交互时的感知过程，为复杂场景下机器人应用的稳定性提供了多方面的保障。除了将视觉与触觉的融合，我们提出的框架也可同样推广到听觉等更多的模态。」
研究现状
透明物体的抓取是一项具有挑战性的任务，在抓取过程中除了需要检测物体的位置外，还应考虑抓取位置和角度。目前对于透明物体的抓取，大部分的工作是在具有简单背景的平面上进行的，但在实际生活中，大部分的场景都不会像我们的实验环境那么理想。一些特殊场景，比如玻璃碎片、堆积、重叠、起伏、沙子和水下场景，都是比较有挑战性的。
- 首先，玻璃碎片是一种没有固定模型的物体，由于其随机多变的形状对抓取网络和抓取工具的通用性提出了很高的要求。
- 其次，起伏的平面的透明物体抓取也具有一定的挑战性。如下图所示，一方面，透明物体的深度信息很难准确获取，另一方面，起伏的场景有一些阴影、重叠和反射区，这给透明物体的检测带来了更多的挑战。
- 第三，由于水和透明物体的光学特性相似，水下场景中的透明物体抓取也是一个挑战。即使使用深度相机，透明物体在水中也无法准确的检测，在不同方向的光线的照射下情况会变得更糟。
算法设计
抓取算法设计如图所示，为了实现透明物体的抓取，我们分别提出了透明物体抓取位置检测算法、触觉信息提取算法和视 - 触融合分类算法。为了降低数据集的标注成本，我们采用 Blender 制作了一个多背景透明物体抓取合成数据集 SimTrans12K，其中包含 12000 幅合成图像和 160 幅真实图像。除了数据集，我们还针对透明物体的独特的光学属性提出了一种 Gaussian-Mask 标注方法。由于我们采用 Jamming gripper 作为执行器，我们为其提出了一个专门的抓取网络 TGCNN，该网络在合成数据集训练之后就可以得到不错的检测效果。
抓取框架
我们将上述算法进行了整合，以完成不同场景下的透明物体抓取，这构成了我们视触融合框架的上层抓取策略。我们将一个抓取任务分解为三个子任务，即物体分类、抓取位置检测和抓取高度检测。每个子任务都可以由视觉、触觉或视触融合来完成。
与人类抓取时的行为类似，当视觉可以直接获得物体的精确位置时，我们可以控制手直接到达物体并完成抓取，如下图（A）所示。当视觉不能准确获得物体的位置信息时，在利用视觉估计物体的位置之后，我们会用手部的触觉感知功能慢慢调整抓取位置，直到接触到物体并达到合适的抓取位置，如下图 (B) 所示。对于视觉受限情况下的物体抓取，如下图 (C) 所示，我们将利用手部丰富的触觉神经在目标可能存在的范围内进行搜索，直到与物体发生接触，这虽然效率很低，但却是解决这些特殊场景下物体抓取的有效方法。
受人类抓取策略的启发，我们将透明物体的抓取任务分为三种类型：具有复杂背景的平面、不规则场景和视觉无法检测的场景，如下图所示。在第一种类型中，视觉发挥着关键性的作用，我们将这种场景下的抓取方式定义为视觉优先的抓取方法。在第二种类型中，视觉和触觉可以协同工作，我们将这种场景下的抓取方式定义为视觉 - 触觉抓取。而在最后一种类型中，视觉可能失效，触觉在任务中成为主导，我们将这种场景下的抓取方式定义触觉优先的抓取方法。
视觉优先的抓取方法流程如下图所示，首先利用 TGCNN 获取抓取位置和高度，之后利用触觉信息抓取位置校准，最后利用视 - 触融合算法进行分类。视 - 触觉抓取则是在之前的基础上加入了 THS module，该模块可以利用触觉来获取物体的高度。触觉优先的抓取方法又加入了 TPE modul，该模块可以利用触觉来获取透明物体的位置。
实验验证
为了验证我们提出框架及算法的有效性，我们进行了大量的验证实验。
首先，为了测试我们提出的透明物体数据集、注释方法和抓取位置检测网络的有效性，我们进行了合成数据检测实验和不同背景和亮度下的透明物体抓取位置检测实验。其次，为了验证视觉 - 触觉融合抓取框架的有效性，我们设计了透明物体分类抓取实验和透明碎片抓取实验。第三，我们设计了在不规则和视觉受限的场景中的透明物体抓取实验，以测试加入 THS 模块和 TPE 模块后框架的有效性。
总结
为了解决检测、抓取和分类透明物体的挑战性问题，该研究提出了一个基于合成数据集的视觉 - 触觉融合框架。首先，使用 Blender 模拟引擎来渲染合成数据集，而不是手动注释的数据集。
此外，使用 Gaussian-Mask 代替了传统的二进制标注法，使抓取位置的生成更加准确。为了实现对透明物体的抓取位置检测，作者提出了一种名为 TGCNN 的算法，并进行了多次对比实验，结果表明，即使只用合成数据集进行训练，该算法也能在不同的背景和照明条件下实现良好的检测。
考虑到视觉检测的局限性造成的抓取困难，该研究提出了一种与软抓手 TaTa 相结合的触觉校准方法，通过用触觉信息调整抓取位置来提高抓取成功率。与纯视觉抓取相比，该方法提高了 36.7％的抓取成功率。
为了解决复杂场景中透明物体的分类问题，该研究提出了一种基于视觉 - 触觉融合的透明物体分类方法，该方法与仅基于视觉的分类相比，准确率提高了 39.1％。
此外，为了实现在不规则和视觉无法检测的场景中的透明物体抓取，该研究提出了 THS 和 TPE 模块，它们可以弥补在没有视觉信息的情况下的透明物体抓取问题。研究者系统地设计了大量的实验，验证了所提出的框架在各种叠加、重叠、起伏、沙地、水下场景等复杂场景中的有效性。该研究认为，所提出的框架还可以应用于低能见度环境下的物体检测，如烟雾和浑浊的水下，触觉感知可以弥补视觉检测的不足，并通过视觉 - 触觉融合提高分类精度。
视触融合透明物体抓取项目的指导老师是丁文伯，他目前在清华大学深圳国际研究生院担任副教授，领导智能感知与机器人（Smart Sensing and Robotics, SSR）研究小组。他的研究兴趣主要包括信号处理、机器学习、可穿戴设备、柔性人机交互与机器感知。此前他本科和博士毕业于清华大学的电子工程系，并在佐治亚理工学院担任博士后，师从王中林院士。他曾获清华大学特等奖金、第 47 届日内瓦国际发明展金奖、IEEE Scott Helt 纪念奖、中国电子学会自然科学二等奖等众多奖项，已在 Nature Communications、Science Advances、Energy and Environmental Science、Advanced Energy Materials、IEEE TRO/RAL 等领域权威期刊发表论文 70 余篇，谷歌学术引用 6000 余次，授权中美专利 10 余项。担任国际信号处理权威期刊 Digital Signal Processing 的副编辑、IEEE JSTSP 机器人感知专刊的首席客座编辑，以及 IEEE 信号处理协会 Applied Signal Processing Systems Technical Committee Member。
课题组主页：http://ssr-group.net/。
从左到右: Shoujie Li,Haixin Yu,Houde Liu
论文的共同一作分别是 Shoujie Li (清华大学博士生在读)，Haixin Yu (清华大学硕士生在读)，通讯作者为 Wenbo Ding、Houde Liu，其他作者还包括 Linqi Ye (上海大学)、 Chongkun Xia (清华大学)、Xueqian Wang (清华大学)、 Xiao-Ping Zhang (清华大学)。其中，Shoujie Li 主要研究方向为机器人抓取、触觉感知以及深度学习，以第一作者在 Soft Robotics、TRO、RAL、ICRA、IROS 等机器人和控制权威期刊和会议发表论文多篇，授权发明专利 10 余项，获省部级竞赛奖励 10 项，相关研究成果以第一作者入选 “ICRA 2022 Outstanding Mechanisms and Design Paper Finalists”，曾获清华大学未来学者奖学金、国家奖学金等荣誉。