文章目录
- 2018
- Graph-Based Global Reasoning Networks
- 2019
- Graph-FCN for image semantic segmentation
- Dual Graph Convolutional Network for Semantic Segmentation
- CCNet: Criss-Cross Attention for Semantic Segmentation
- 2020
- GINet: Graph Interaction Network for Scene Parsing
- Boundary-aware Graph Convolution for Semantic Segmentation (ICPR)
- Exploit Visual Dependency Relations for Semantic Segmentation
- Spatial Pyramid Based Graph Reasoning for Semantic Segmentation(CVPR)
- GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
- Bidirectional Graph Reasoning Network for Panoptic Segmentation（CVPR）
- 2021
- Hierarchical Pyramid Representations for Semantic Segmentation
- Graph-BAS3Net: Boundary-Aware Semi-Supervised Segmentation Network with Bilateral Graph Convolution [ICCV]
- GP-S3Net: Graph-based Panoptic Sparse Semantic Segmentation Network（ICCV）
- BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentation
- 2021
- Weakly-Supervised Image Semantic Segmentation Using Graph Convolutional Networks (ICME 2021)
2018
Graph-Based Global Reasoning Networks
code : https://github.com/facebookresearch/GloRe
对区域间关系的全球建模和推理可能有利于图像和视频上的许多计算机视觉任务。卷积神经网络(CNNs)擅长于通过卷积操作来建模局部关系，但它们在捕获遥远区域之间的全局关系方面通常效率较低，并且需要堆叠多个卷积层。在这项工作中，我们提出了一种新的全局推理方法，其中一组特征在坐标空间上全局聚合，然后投影到一个交互空间，在那里可以有效地计算关系推理。经过推理后，将关系感知特征分布回原始坐标空间，进行下游任务。我们进一步提出了一个高效的方法实例化，并引入了全局推理单元(GloRe单元)，它通过加权全局池和加权广播实现坐标-交互空间映射，以及通过交互空间中小图上的图卷积进行关系推理。拟议的GloRe单元重量轻，端到端可训练，可以很容易地插入现有的cnn，用于广泛的任务。大量的实验表明，我们的GloRe单元可以持续提高最先进的骨干架构的性能，包括ResNet[15,16]、ResNeXt[33]、SE-Net[18]和DPN[9]，用于2D和3DCNN，图像分类、语义分割和视频动作识别任务。
2019
Graph-FCN for image semantic segmentation
深度学习的语义分割在图像像素分类方面取得了很大的进展。然而，在深度学习的高级特征提取中，通常会忽略局部位置信息，这对图像语义分割具有重要意义。为了避免这个问题，我们提出了一个由名为Graph-FCN的全卷积网络(FCN)初始化的图模型，用于图像语义分割。首先，利用卷积网络将图像网格数据扩展到图结构数据中，将语义分割问题转化为图节点分类问题。然后利用图卷积网络解决了该图节点的分类化问题。据我们所知，这是我们第一次将图卷积网络应用于图像语义分割中。与原始的FCN模型相比，我们的方法在VOC数据集上的平均联合交集(mIOU)上取得了竞争性能（提高了约1.34%）。
Dual Graph Convolutional Network for Semantic Segmentation
code : https://github.com/lxtGH/GALD-DGCNet 利用远程上下文信息是语义分割等像素级预测任务的关键。与以往使用多尺度特征融合或扩展卷积的工作相比，我们提出了一种新的图卷积网络(GCN)来解决这个问题。我们的对偶图卷积网络(DGCNet)通过在一个单一的框架中建模两个正交图来建模输入特征的全局上下文。第一个组件建模图像中像素之间的空间关系，而第二个组件则沿着网络特征图的信道维度相互依赖。这是通过将特征投影到一个新的低维空间来有效地实现的，在这个空间中所有成对交互都可以建模，然后重新投影到原始空间。与强大的基线相比，我们的简单方法提供了实质性的好处，并且在城市景观（82.0%平均河口）和Pascal上下文（53.7%平均河口）数据集上都取得了最先进的结果。代码和模型可以促进任何进一步的研究。
CCNet: Criss-Cross Attention for Semantic Segmentation
code: https://github.com/speedinghzl/CCNet
摘要
全图像依赖关系提供了有用的上下文信息，以有利于视觉理解问题。在这项工作中，我们提出了一个交叉交叉网络(CCNet)，以更有效的方式获取这些上下文信息。具体地说，对于每个像素，CCNet中的一个新的交叉注意模块获取其交叉路径上所有像素的上下文信息。通过进行进一步的循环操作，每个像素最终可以从所有像素中捕获全图像的依赖性。总的来说，CCNet有以下优点：1)GPU内存友好。与非本地块相比，所提出的周期性交叉注意模块需要11×的GPU内存使用少11×。2）计算效率高。在计算全图像依赖性时，周期性的交叉注意显著减少了约85%的非局部块。3)最先进的表演。我们在流行的语义分割基准上进行了广泛的实验，包括城市景观、ADE20K和实例分割基准COCO。特别是，我们的CCNet在城市景观测试集和ADE20K验证集上的mIoU得分分别为81.4和45.22，这是新的最先进的结果。
论文的贡献
- 本文提出了一种新的交叉注意模块，它可以更有效有效地从全图像依赖关系中获取上下文信息。
- 我们利用周期性交叉注意模块提出了CCNet，在基于细分的基准上取得了领先的性能，包括城市景观、ADE20K和COCO。
2020
GINet: Graph Interaction Network for Scene Parsing
code : https://github.com/PaddlePaddle/PaddleSeg paper : https://arxiv.org/abs/2009.06160
最近，使用局部卷积之外的图像区域的上下文推理显示出了场景解析的巨大潜力。在这项工作中，我们探讨了如何通过提出一个图交互单元(GI单元)和语义上下文丢失(sc损失)来整合语言知识以促进图像区域的上下文推理。GI单元能够在高级语义上增强卷积网络的特征表示，并自适应地学习针对每个样本的语义一致性。具体来说，首先将基于数据集的语言知识纳入GI单元，以促进视觉图上的上下文推理，然后将视觉图的演化表示映射到每个局部表示上，以增强场景解析的区分能力。通过sc丢失进一步改进GI单元，以增强基于样本的语义图上的语义表示。我们进行了全面的消融研究，以证明在我们的方法中每个成分的有效性。特别是，所提出的GINet在流行的基准测试上优于最先进的方法，包括pascal-上下文和COCO的东西。
Boundary-aware Graph Convolution for Semantic Segmentation (ICPR)
paper:https://hzhupku.github.io/files/icpr20.pdf
最近的研究通过利用局部或全局的方式，利用扩展卷积、金字塔池或自我注意机制的上下文信息，在语义分割方面取得了很大的进展。然而，关于采集边界信息来提高分割性能的研究较少。为了增强对象内的特征相似性，并保持对其他对象的区别，我们提出了一种边界感知图卷积( boundary-aware graph convolution, BGC)模块来在对象内传播特征。图推理是在除边界像素外的同一对象的像素之间进行的。基于所提出的BGC模块，我们进一步引入了边界感知图卷积网络(BGCNet)，它由基本分割网络和BGC模块这两个主要组件组成，形成了一个从粗到细的范式。具体来说，BGC模块以粗分割特征图作为节点特征和边界预测来指导图的构建。经过图卷积后，将推理出的特征与输入的特征融合在一起，得到细化的特征，得到细化的分割结果。我们在三个流行的语义分割基准上进行了广泛的实验，包括城市景观、pascalVOC2012和COCO ，并在所有三个基准上都取得了最先进的性能。
Exploit Visual Dependency Relations for Semantic Segmentation
摘要
视觉实体之间的依赖关系无处不在，因为对象和场景都是高度结构化的。它们提供了关于现实世界的先验知识，可以帮助提高深度学习方法的泛化能力。视觉依赖推理与关注空间领域特征聚合的语境推理不同，它明确地建模了视觉实体之间的依赖关系。本文介绍了一种新的网络体系结构，称为依赖网络或依赖网络，用于语义分割。它在三个语义层次上统一了依赖性推理。类内推理解耦不同对象类别的表示，并根据内部对象结构分别更新它们。类间推理然后根据不同对象类别之间的依赖关系进行空间推理和语义推理。我们将深入研究如何从训练注释中发现依赖关系图。全局依赖推理根据全局场景信息进一步细化了每个对象类别的表示。在控制模型规模和相同的网络深度下，广泛的消融研究表明，每个单独的依赖推理组件都有利于语义分割，并且它们共同显著改善了基础网络。在两个基准数据集上的实验结果表明，依赖网络取得了与最近的技术状态相当的性能。
论文的贡献
- 我们引入了一种新的依赖网来显式地利用视觉依赖关系进行语义分割。它是第一个统一三个层次的依赖推理的神经结构。这项研究很重要，因为它连接了cnn和通常通过图形模型实现的依赖性建模。
- 我们引入了类内、类间和全局依赖推理模块，它们是依赖网的核心组成部分。它们有效地利用内部对象结构、对象-对象关系和场景信息来执行依赖性推理。我们还深入研究了从训练注释中挖掘依赖关系的先验知识。
- 我们在三个依赖推理层次的控制模型大小和相同的深度上进行了广泛的消融研究。结果表明，每个单独的组件有利于语义分割，它们共同导致了比基础网络的显著改进。在两个数据集上的实验结果证明了该方法的有效性。
Spatial Pyramid Based Graph Reasoning for Semantic Segmentation(CVPR)
摘要
卷积操作存在有限的接受场问题，而全局建模是密集预测任务的基础，如语义分割。本文将图卷积应用到语义分割任务中，并提出了一种改进的拉普拉斯算子。图推理直接在组织为空间金字塔的原始特征空间中执行。与现有的方法不同，我们的拉普拉斯函数是依赖于数据的，我们引入了一个注意对角矩阵来学习一个更好的距离度量。它摆脱了投影和重新投影的过程，这使得我们提出的方法成为一个轻量级的模块，可以很容易地插入到当前的计算机视觉架构中。更重要的是，通过在特征空间中直接进行图形推理，保留了空间关系，使空间金字塔式探索不同尺度的多个长期情境模式成为可能。在城市景观、商品目录、帕斯卡上下文和帕斯卡VOC上的实验证明了我们提出的方法在语义分割上的有效性。我们在计算开销和内存开销方面取得了可比较的性能和优势。
论文的贡献
- 我们提出了一个改进的与数据相关的拉普拉斯公式，并在内积上引入了一个注意位置不可知的对角矩阵，以实现更好的距离度量。
- 拉普拉斯算子能够在原始特征空间中执行图推理，并使空间金字塔能够捕获多个长期的上下文模式。我们开发了一种能有效地减少计算开销的计算方案。
- 在帕斯卡上下文、帕斯卡VOC、城市景观和COCO内容等多个数据集上进行的实验，证明了我们提出的方法在语义分割任务中的有效性。我们在计算和内存开销方面取得了最高的性能。
GMNet: Graph Matching Network for Large Scale Part Semantic Segmentation in the Wild
摘要
在野外对对象部分的语义分割是一项具有挑战性的任务，必须在场景中检测到对象的多个实例和这些对象中的多个部分。尽管这个问题对详细的对象理解至关重要，但它现在仍然得到非常轻微的探索。在这项工作中，我们提出了一个新的框架，结合了更高的对象级上下文条件反射和部分级空间关系来解决任务。为了解决对象级模糊问题，在学习部分级语义时，引入了一个类条件反射模块来保留类级语义。通过这种方式，中层特征在解码阶段之前也会携带着这些信息。为了解决部分级的模糊性和定位问题，我们提出了一种新的基于邻接图的模块，旨在匹配地面真实值和预测部分之间的相对空间关系。对帕斯卡尔-部分数据集的实验评估表明，我们在这项任务上取得了最先进的结果。
论文的贡献
- 我们通过对象级语义嵌入网络调节部分级解码阶段来解决具有挑战性的多类部分解析。
- 我们引入了一种新的图匹配模块来指导学习过程中语义部分的精确相对定位。
- 我们的方法(GMNet)在Pascal-部分数据集上的多对象部分解析上实现了新的最先进的性能。此外，它可以很好地扩展到大的部件集。
Bidirectional Graph Reasoning Network for Panoptic Segmentation（CVPR）
摘要
近年来对全光分割的研究采用单一端到端网络，将实例分割和语义分割相结合。然而，先前的模型仅通过多分支方案在架构层面上统一了两个相关任务，或者通过单向特征融合揭示了它们之间的潜在相关性，而忽略了对象与背景之间的显式语义和共现关系。灵感来自上下文信息是至关重要的识别和定位对象，和包容的对象细节重要解析背景场景，因此我们调查显式建模对象和背景之间的相关性实现一个整体理解图像的全景分割任务。我们引入了一个双向图推理网络(BGRNet)，它将图结构整合到传统的全光分割网络中，以挖掘前景类和背景类内部和之间的模块内和模块间关系。特别是，BGRNet首先在实例和语义分割分支中构造特定于图像的图，分别能够在提议级和类级实现灵活的推理。为了建立独立分支之间的相关性，并充分利用事物之间的互补关系，我们提出了一个双向图连接模块，以可学习的方式跨分支扩散信息。实验结果证明了我们的BGRNet的优越性，它在挑战COCO和ADE20K全光学分割基准上实现了新的最先进的性能。
2021
Hierarchical Pyramid Representations for Semantic Segmentation
paper: https://arxiv.org/pdf/2104.01792.pdf摘要
理解复杂和杂乱场景的上下文是语义分割的一个具有挑战性的问题。然而，如果没有事先和额外的监督，很难对场景进行建模，因为场景的因素，如物体的规模、形状和外观，在这些场景中差异很大。为了解决这个问题，我们建议学习对象的结构和对象之间的层次结构，因为上下文是基于这些内在属性的。在本研究中，我们设计了新的层次、上下文和多尺度的金字塔表示来捕获从输入图像的属性。我们的关键思想是基于预定义的区域数量和这些区域的递归分割和这些区域的上下文聚合。聚合上下文用于预测区域之间的上下文关系，并在以下层次级别中对区域进行分区。最后，通过从递归聚合的上下文中构造金字塔表示，获得了多尺度和层次化的属性。在实验中，我们证实了我们提出的方法在PASCAL环境下达到了最先进的性能。
论文的贡献：
- 学习层次化和多尺度的环境。我们提出了一种新的架构，装备分层动态上下文聚合的语义分割。这使得我们可以根据对象的区域和形状来聚合上下文，并捕获区域之间的上下文关系。此外，该体系结构可以基于预定义的区域数量来执行无监督的分层分割。
- 我们提出的方法在复杂和杂乱的场景（如帕斯卡尔上下文）中实现了最先进的性能。此外，无监督分层分割的可视化结果表明，我们的方法学习层次和多尺度上下文，以及场景中的上下文关系。
Graph-BAS3Net: Boundary-Aware Semi-Supervised Segmentation Network with Bilateral Graph Convolution [ICCV]
摘要
半监督学习(SSL)算法利用未标记数据在医学图像分割中引起了广泛的关注，这对获取大量像素标注样本提出了挑战。然而，现有的ssl大多忽略了对象的几何形状约束，导致对象的边界不令人满意，且不光滑。本文提出了一种新的边界感知半监督医学图像分割网络Graph-bas3Net，该网络结合了边界信息，学习了图域中语义和几何之间的对偶约束。具体而言，该方法由多任务学习框架BAS3Net和基于图的跨任务模块BGCM部分组成。BAS3Net通过添加一个边界检测任务，改进了现有的基于gan的SSL，该任务编码了更丰富的对象形状和表面特征。此外，BGCM进一步探索了语义分割和边界检测任务之间的共存关系，使网络从标记和未标记数据中学习更强的语义和几何对应。在LiTS数据集和covid-19数据集上的实验结果证实，我们提出的Graph-BAS3网络在半监督分割任务中优于最先进的方法。
论文的贡献
这项工作的主要贡献有四方面：(i)我们提出了一个graph-bas3网络来在半监督医学图像分割中加强语义和几何约束。它结合了多任务学习框架BAS3Net和基于图的跨任务模块任务间BGCM推理。(ii)设计了一个联合预测语义分割和对象边界的BAS3网络，提高了生成器的分割性能，并进一步将边界信息引入鉴别器。(iii)我们提出了一种BGCM，通过使用双边图卷积来加强语义和边界之间的对偶约束，它可以全局挖掘任务内和任务间的关系。(iv)我们在一个典型的肝脏数据集和一个更具挑战性的covid-19数据集上进行了广泛的实验，其中提出的Graph-BAS3Net的性能优于最先进的方法。
GP-S3Net: Graph-based Panoptic Sparse Semantic Segmentation Network（ICCV）
摘要
全景分割作为静态环境理解和动态目标识别的综合任务，近年来开始受到广泛的研究兴趣。在本文中，我们提出了一种新的计算效率高的基于激光雷达的全光分割框架，称为GP-S3网络。GP-S3Net是一种无方案的方法，与传统的两阶段全景系统相比，不需要目标方案来识别目标，后者包含一个检测网络来捕获实例信息。我们的新设计是由一个新的实例级网络，通过构建一个图卷积网络来识别对象（前景）来处理语义结果，然后将其与背景类融合。通过语义分割主干中前景对象的细粒度聚类，生成过分割先验，然后通过三维稀疏卷积处理，嵌入每个聚类。将每个聚类作为图中的一个节点，并将其相应的嵌入作为其节点特征。然后用GCNN来预测每个簇对之间是否存在边。我们利用实例标签为每个构造的图生成地面真实边标签，以监督学习。大量的实验表明，GPS3Net在现有的方法，在可用的数据集，如场景和语义方面，发表后在竞争激烈的公共语义排行榜上排名第一。
论文的贡献：
- 一个灵活的全光分割框架，以受益于可用的最佳语义分割模型及其输出。
- 这是一种新的聚类和图卷积神经网络，它可以生成实例级的结果(事物及其id)。
- 是一种语义级和实例级结果的无缝融合，以生成全视分割预测。
- 三个主要的户外数据集的全面实验结果和消融研究表明，所提出的解决方案的有效性。
BI-GCN: Boundary-Aware Input-Dependent Graph Convolution Network for Biomedical Image Segmentation
code : https://github.com/smallmax00/bi-gconv摘要
分割是图像处理的一个基本操作。卷积操作的接受域有限，而全局建模是分割任务的基础。本文将图卷积应用于分割任务中，并提出了一种改进的拉普拉斯算子。与现有的方法不同，我们的拉普拉斯量是依赖于数据的，我们引入了两个注意对角矩阵来学习更好的顶点关系。此外，在执行基于图的信息传播时，它同时利用了区域信息和边界信息。具体来说，我们通过学习图表示来对不同类的边界感知区域相关性进行建模和推理，学习图表示能够通过沿对象边界的空间增强来操纵不同区域的远程语义推理。该模型既适用于获取全局语义区域信息，同时也能适应局部空间边界特征。在两种具有挑战性的数据集上的实验表明，我们的方法在结肠镜图像中息肉分割和彩色眼底图像中视盘和视杯分割方面优于现有的方法。在两种具有挑战性的数据集上的实验表明，我们的方法在结肠镜图像中息肉分割和彩色眼底图像中视盘和视杯分割方面优于现有的方法。
论文的贡献
这项工作提出了一种新的GCN，通过学习图表示来解释不同类的边界感知区域相关性。具体来说，通过输入图像，通过主干模块学习多级特征。此外，我们分别在浅层和深层骨干特征上构建了两个特征聚合模块，用于边界和区域特征学习，即边界分割模块(BSM)和区域分割模块(RSM)。将BSM和RSM的输出输入到所提出的图推理模块GRM中，进行长距离特征推理。具体地说，RSM的区域输出(RS)和BSM的边界输出(BS)通过顶点嵌入的方式嵌入到图表示中。在GRM中，我们提出了一种新的具有边界感知功能的输入依赖图卷积(BI-GConv)。具体地说，输入依赖的邻接矩阵是由顶点嵌入的输入特征来估计的，并通过空间注意和通道注意进行细化。此外，将对象的边界特征融合到构造的拉普拉斯矩阵˜L中，增强了沿边界的特征，以强调不同区域间的边界感知相关性。我们的实验结果表明，所提出的框架做了一个很大的改进，比最先进的方法。
2021
Weakly-Supervised Image Semantic Segmentation Using Graph Convolutional Networks (ICME 2021)
code: https://github.com/Xavier-Pan/WSGCN
本研究解决了基于图像级类标签的弱监督图像语义分割问题。该任务的一种常见方法是使用随机游走机制传播类激活图(CAMs)的激活分数，以获得完整的伪标签，以完全监督的方式训练语义分割网络。然而，随机游走的前馈性质并没有对所得到的完全伪标签的质量进行正则化。为了克服这个问题，我们提出了一个基于图卷积网络(GCN)的特征传播框架。我们将完全伪标签的生成表示为一个半监督学习任务，并通过反向传播一个拉普拉斯量和一个熵正则化损失，分别学习每个训练图像的2层GCN。
