多传感器融合之信息融合

一、多传感器融合的优点

• 冗余性：多个传感器数据对目标的描述表示是相同的（如激光雷达检测的目标信息和摄像头目标信息大体一致，允许有一定的属性误差）；
• 互补性：由于每个传感器的探测范围和探测属性不同，传感器之间的目标属性可以相互补充（ 如前方障碍物的颜色信息， 激光雷达识别不出来）；
• 合作性：不同传感器在处理信息时会对其他信息有所依赖（如相机在建立位姿关系时，需要依赖IMU的数据）；
• 信息分层：可以根据数据融合所呈现的位置，进行分层，包括原始数据层（简称像元层）、特征层、 决策层（也叫目标层），这种信息分层有助于根据需求设计不同的算法，同时进行并行处理机制，保证系统的实时性；

二、多传感信息融合的方法

1. 基于传统的信息融合

• 基于概率融合方法
• 基于Dempster-Shafer理论的融合方法
• 基于知识的融合方法

也就是估计方法、分类方法、推理方法。

• 估计方法之加权平均法
  加权平均是最简单直接、也是最实用的方法，就是将来自各个传感器的目标结果进行匹配处理后，按照每个传感器所占的权值进行加权平均， 加权平均后的结果作为融合的结果。这种方法比较适用于动态环境中，但需要对传感器结果和性能进行详细的分析，以获得准确的权值。
  

• 估计方法之最小二乘法
  最小二乘法就是将不同传感器的目标观测值进行近似拟合，使得拟合函数针对不同传感器的目标观测值的误差的平方和最小。

• 估计方法之卡尔曼滤波及其变种
  卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。如果系统具有线性动力学模型，且系统与传感器的误差符合高斯白噪声模型，则卡尔曼滤波将为融合数据提供唯一统计意义下的最优估计。

• 分类方法之聚类分析

• 推理方法之贝叶斯估计
  贝叶斯方法就是将每一个传感器作为一个贝叶斯估计，把各单独物体的关联概率分布合成一个联合的后验概率分布函数，通过使联合分布函数的似然函数为最小，提供多传感器信息的最终融合值，融合信息与环境的一个先验模型以提供整个环境的一个特征描述。
  

• 推理方法之D-S方法

2. 基于深度学习的信息融合

• 基于原始数据的图像点云融合方法
• 基于结果的图像点云融合方法
• 基于中间层特征的图像点云融合方法

1. 基于原始数据的图像点云融合方法(early fusion)
   

2. 基于结果的图像点云融合方法(late fusion)
   

3. 基于中间特征层的图像点云融合方法(deep fusion)
   

三、 多传感器融合的体系架构

分为三种类型：

• 集中式
  集中式，就是将各传感器获得的原始数据直接送到中央处理器进行融合处理，可以实现实时融合。从上图中可以看出，各传感器没有自己的处理器，只有将数据都传到中央处理器中，然后实现实时融合。集中式融合结构结构简单，数据处理精度较高，算法相对灵活，融合速度快；但也存在一定的弊端，如各传感器之间相互独立，数据直接流向融合中心，缺乏必要的联系；融合中心的计算和通信负载过重，系统容错性差，可靠性较低。

• 分布式
  分布式融合结构就是先对各个独立传感器所获得的原始数据进行局部处理，然后将结果送入到中央处理器中进行融合处理，最终获得目标结果。
  优点：

  • 每个传感器都具有估计全局信息的能力，任何一种传感器失效都不会导致系统崩溃，系统可靠性和容错性高
  • 对通信带宽要求低，计算速度快，可靠性和延续性好；

  缺点：

  • 传感器模块需要具备应用处理器，这样的话自身的体积将更大，功耗也就更高；
  • 中央处理器只能获取各个传感器经过处理后的对象数据，而无法访问原始数据；

• 混合式
  混合式架构，是集中式和分布式的混合应用， 即部分传感器采用集中式融合架构，其余传感器采用分布式融合架构。