[论文阅读]Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection

关注

原创最新推荐文章于 2026-08-28 00:12:55 发布 7.1k 阅读 AI 写同款· GEO 优化 ›

Deep Relational Reasoning Graph Network for Arbitray shape Text Detection阅读笔记 Deep Relational Reasoning Graph Network for Arbitrary shape Text Detection 深度关系推理图网络用于任意形状文本检测摘要提出了一种新颖的统一关系推理图网络用于任意形状文本检测。在我们的方法中，一个新颖的局部图连接一个文本建议模型(CNN)和一个深度关系推理网络（GCN）使得我们的网络端到端可训练。更具体的说，每一个文本实例将被分成一系列小的矩形组件，小的矩形组件的几何特征（高度，宽度，方向）通过我们的文本建议模型估计。通过几何特征，阅读详情

[论文阅读]Deep Relational Reasoning Graph Network for Arbitrary Shape Text Detection
用于任意形状文本检测的深度关系推理图网络

文章收录于2020 CVPR
[论文地址]https://arxiv.org/abs/2003.07493
[代码地址]https://github.com/GXYM/DRRG

文章目录

摘要

本文针对形状文本检测提出了一种新的统一关系推理图网络。局部图(local graph)建立起了基于CNN的text proposal模型和基于GCN(Graph Convolutional Network)的深度关系推理网络之间的关系，使模型可以端到端训练。

简介

目前一些方法，例如TextSnake[17]和CRAFT[1]为了解决任意形状文本检测，采用了Connected Component (CC)策略（一些列的组件定位字符，最后合并组件）。这样的缺点就是，无法获得文字组件之间的更丰富的关系，从而无助于文本实例的划分。

对于CC策略来讲，一项重要的工作就是划分文本实例。现有的方法常采用：预定义规则(pre-defined rules)、链接映射(link map)、嵌入映射(embedding map)。对于长文本和弯曲文本，一般来讲，链接映射和嵌入映射比预定义规则更加鲁棒。

链接映射与嵌入映射的方法大多基于CNN，且CNN不适合处理这些独立的组件（非欧几里得数据），即不能够从两个不相邻的组件中学习相互之间的关系。

而这些非欧几里得数据可以被表示为图，如图1所示，本文选择一个文本组件作为一个节点，选择一个节点作为中枢，将中枢周围的节点连起来形成局部图。局部图（节点之间的边缘）中包含的上下文信息可为估计枢纽节点与其他节点之间的链接可能性提供信息。
在这里插入图片描述

本文首先将每一个文本实例，切分为文本组件。使用基于CNN的text proposal network预测这些文本组件的几何属性（高、宽、方向），然后利用这些几何属性采用了图卷积网络来执行深度关系推理，从而对这些组件进行分组聚合。

方法

概述

首先，通过基于CNN的text proposal network利用共享特征来估计文本组建的几何属性；然后局部图可以大致建立不同文本组建的链接；然后使用深度关系推理网络将进一步推断出文本组件与其相邻组件之间的链接可能性；最后根据推理结果将文本组件聚合为整体的文本实例。

其网络框架如图2所示；文本组件提议网络(text component proposal network)和深层关系推理图网络共享卷积特征，并且共享卷积使用VGG-16 和FPN [12]作为主干，如图3所示。

在这里插入图片描述

文本组件预测

如图4所示，(a)展示了一系列的文本组件，每个文本组件 $D$ 由(x,y,h,w,sin $\theta$ ,cos $\theta$ )组成。其中 $h$ 为文本组件的高度，由(c )图中的h1和h2两部分组成。 $w$ 则是根据 $h$ 的大小确定的。
(b)中展示了文本组建的中心域，为了确定文本中心域(text center region 记为TCR)与文本组件的方向，本文采用了[17]中的方法来计算文本域的head和tail，如图4(a)中黑色箭头所示。

在这里插入图片描述
本文根据下列公式确定图4(a)中的上下两组点 $\left\{tp0,tp1,...,tpi,...,tpn\right\}$ 和 $\left\{bp0, bp1, ..., bpi, ..., bpn\right\}$ 。

$p=\sum_{i=0}^{n} \sin \left(v_{i}\right), v_{i} \in V$
其中 $\left\{tp0 − bp0,...,tpi − bpi,...,tpn − bpn\right\}$ ,向量 $v_i$ 的角度表示文本分量的方向 $θ$

TCR是通过缩小文本域(text region 记为TR)得到的，其计算步骤：1. 计算文本中心行 2.将中心行两端缩小0.5 $w$ 像素，使网络更容易分离相邻的文本实例并降低NMS的计算成本。 3.将文本中心行高度扩展0.3 $h$ 。

再提取共享特征之后，通过两个卷积层来计算CR(Classification and Regression)，即文本组件的几何属性, $R=\operatorname{conv}_{1 \times 1}\left(\operatorname{conv}_{3 \times 3}\left(F_{\text {share}}\right)\right)$
其中CR是一个 $H * W * 8$ 大小的张量，带有4个通道的TR / TCR分类结果和4个通道的 $h1,h2,cos\theta,sin\theta$ 的回归结果。

通过Softmax TR / TCR并将平方和等于1的cosθ和sinθ正则化来获得最终预测。最终的结果通过阈值与正样本上的位置感知NMS产生。（TODO 不是很明白）

局部图生成

本文对每一张图片生成了多个局部图，每个局部图拥有有限个节点。本文修改了IPS[33]来生成局部图，中枢节点附近的节点按照 $h$ - $h o p$ 方法选择。例如： $1$ - $h o p$ 为中枢节点的最近8邻域节点； $2$ - $h o p$ 为中枢节点的最近4邻域节点。高阶的邻居节点提供了枢纽与其邻居之间上下文的局部结构的辅助信息，但此处本文只考虑每个形成KNN操作的节点之间的欧氏相似性 $E s$ ，计算方法为
$E_{s}=1-D\left(p, v_{i}\right) / \max \left(H_{m}, W_{m}\right), v_{i} \in V_{p}$
其中 $D (p, v i)$ 是中枢 $p$ 与节点 $v_i$ 之间的L2距离， $H_m$ 是图像的高度， $W_m$ 是图像的宽度。

为避免训练中许多相同图形导致容易样本的累积积累，枢轴p应满足以下条件：
$G_{i o u}=\frac{G_{p} \cap G_{q}}{G_{p} \cup G_{q}}<\xi, p, q \in T$
$G_p$ 和 $G_q$ 代表两个局部图，中枢 $p$ 与中枢 $q$ 是属于同一文本实例 $T$ ，分子与分母分别是两个局部图的 $1$ - $h o p$ 的交集与并集。

深度关系推理

局部图中包含的粗略链接信息（节点之间的边）对于估计枢轴及其邻居之间的链接可能性很有用。在局部图的基础上，本文采用基于GCN的深度关系推理网络来推断中枢与其邻域节点的链接可能性。图通常表示为 $g (X, A)$ ， $X$ 为特征矩阵， $A$ 为邻接矩阵。

在这里插入图片描述

Node Feature Extraction

如图5中灰色矩形框所示，输入节点特征框需要由两个部分组成：上面分支的几何特征和中间分支的RROI特征。

其中RROI特征的输入为图3中的 $F n$ ，然后可以得到一个 $\times 3 \times 4 \times C_{r}$ 大小的张量，进一步reshape成为 $1\times12\cdot{C_r}$ 二维张量，记作 $F_r$ 。

文本组件的几何属性根据[29]和[5]被嵌入到高维度空间，嵌入是通过将不同波长的正弦和余弦函数应用到标量 $z$ ，
$\begin{array}{c}\varepsilon_{2 i}(z)=\cos \left(\frac{z}{1000^{2 i / C_{\varepsilon}}}\right), i \in\left(0, C_{\varepsilon} / 2-1\right) \\ \varepsilon_{2 i+1}(z)=\sin \left(\frac{z}{1000^{2 i / C_{\varepsilon}}}\right), i \in\left(0, C_{\varepsilon} / 2-1\right)\end{array}$
其中，嵌入向量 ${\epsilon}(z)$ 的维数为 $C_{\epsilon}$ ，结果是每一个文本组件都被嵌入到向量 $F_g$ 中，其维度为 $6\cdot C_{\epsilon}$ 。

最终， $F_g$ 与 $F_r$ 执行Concat操作，作为节点特征。

Node Feature Normalization
为了更好地将中枢 $p$ 的特征编码至局部图中且为了更容易地学习到中枢与其邻居节点之间的链接可能性，本文将进行节点特征的归一化。
$\mathbf{F}_{p}=\left[\ldots, x_{q}-x_{p}, \ldots\right]^{T}, q \in V_{p}$
其中， $x_p$ 是中枢 $p$ 的特征， $q$ 是属于以 $p$ 为中枢的局部图 $V_p$ 的节点。

Adjacency Matrix Generation
本文使用邻接矩阵 $A_{p} \in \Re^{N * N}$ 来代表局部图。

Graph Convolutions
再得到了上述的 $X$ 和 $A$ 之后，本文采用基于图的关系推理网络。本文修改了[33]和[8]的结构，图卷积层的计算如下：
$\begin{array}{c}\mathbf{Y}^{(l)}=\sigma\left(\left(\mathbf{X}^{(l)} \oplus \mathbf{G} \mathbf{X}^{(l)}\right) \mathbf{W}^{l}\right) \\ \mathbf{G}=\tilde{\mathbf{D}}^{-1 / 2} \tilde{\mathbf{A}} \tilde{\mathbf{D}}^{-1 / 2}\end{array}$
其中， $\mathbf{X}^{(l)} \in \Re^{N \times d_{i}}, \mathbf{Y}^{(l)} \in \Re^{N \times d_{o}}$ ， $d_{i} / d_{o}$ 是输入/输出节点的维度， $N$ 是节点个数， $\mathbf{G}$ 是 $N\times N$ 的对称归一化拉普拉斯算子， $\oplus$ 是矩阵concatenation操作， $W^{(l)}$ 是特定层的可训练权重矩阵， $\sigma(\cdot)$ 是非线性激活函数， $\tilde{A}=A+I_{N}$ 是邻接矩阵加上自连接，即 $I_N$ 是单位矩阵； $\tilde{\mathbf{D}}$ 是对角矩阵 $\tilde{D}_{i i}=\sum_{j} \tilde{A}_{i j}$ 。

本文中的深度推力模型由一个Batch Normalization层、4个接着ReLu的图卷积层组成，采用了softmax交叉熵损失。

推理阶段

根据关系推理结果，对文本组件分组
首先将阈值分别应用于TR和TCR，然后使用NMS减少冗余
遍历所有文本组件，以每个组件为中心构造一个局部图，因此获得了由链接可能性加权的一组边
使用宽度优先搜索BFS对链接进行聚类和合并
应用MinPath算法搜索所有文本组件中心的最短路径，然后通过搜索结果对实例T的各个组件进行排序
顺序地在有序文本组件中链接顶部和底部的中点，即可得到文本边界

实验

消融研究

在这里插入图片描述
使用关系推理网络后，在Total-Text、CTW1500和TD500数据集上，Hmean比baseline分别提升1.83%、0.78%和4.27%。在Recall上分别提升3.05%、0.88%和3.78%。

使用关系推理网络在TD500上的检测性能明显提高，但在CTW1500上并不明显，原因是CTW1500的标注是令人迷惑的，一些小文本没有标注，还有一些标注划分不合理，如图6所示。
在这里插入图片描述

与最优模型对比

在这里插入图片描述

多边形数据集：

Total-Text
如图7所示，本文提出的方法可以很好地检测细小的弯曲文本并且可以很好地划分排布紧密的文本。定量指标在Hmean上达到了85.73%，如表2所示。
CTW1500
本文方法同样在CTW1500上可以精准的检测文本边界，定量上达到了recall(83.02%),Hmean(84.45%)。

四边形数据集：本文针对此类数据集，将结果转化为矩形，使用最小的矩形进行评估。

MSRA-TD500
该数据集中包含很多长文本，本文方法可以成功地检测出任意形状、方向的长文本，如图7所示。
定量结果在Hmean上达到了85.08%。
ICDARs (IC15, IC17)
IC15包含很多低分辨率和小文本实例；IC17包含很多多语言场景图像和单词级别标注。
定量结果如表3和表4所示，在IC15和IC17的Hmean指标上分别达到了86.56%和67.31%。

总结

本文提出新的基于组件连接（CC）策略的文本检测方法。提出了基于图卷积的深度关系推理网络，来学习文本组件之间的链接可能性。

本文实验不仅在任意形状文本的数据集上表现出优越的检测精度，而且也适合定向和多语言文本检测。

遗憾的是，目前仅仅实现了检测功能，下一阶段应该完成端到端的文本阅读方法。

参考文献

[17] Shangbang Long, Jiaqiang Ruan, Wenjie Zhang, Xin He, Wenhao Wu, and Cong Yao. Textsnake: A flexible repre- sentation for detecting text of arbitrary shapes. In ECCV, pages 19–35, 2018. 1, 2, 3, 4, 7, 8

[1] Youngmin Baek, Bado Lee, Dongyoon Han, Sangdoo Yun, and Hwalsuk Lee. Character region awareness for text de- tection. In CVPR, pages 9365–9374, 2019. 1, 2, 3, 7, 8

[11] Minghui Liao, Zhen Zhu, Baoguang Shi, Gui-Song Xia, and Xiang Bai. Rotation-sensitive regression for oriented scene text detection. In CVPR, pages 5909–5918, 2018. 2

[13] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott E. Reed, Cheng-Yang Fu, and Alexander C. Berg. SSD: Single shot multibox detector. In ECCV, pages 21–37, 2016. 2

[10] Minghui Liao, Baoguang Shi, and Xiang Bai. Textboxes++: A single-shot oriented scene text detector. IEEE Transac- tions on Image Processing, 27(8):3676–3690, 2018. 2, 8

[42] Xinyu Zhou, C.Yao, He Wen, Yuzhi Wang, Shuchang Zhou, Weiran He, and Jiajun Liang. EAST: An efficient and accu- rate scene text detector. In CVPR, pages 2642–2651, 2017. 1, 2, 8

[3] Dan Deng, Haifeng Liu, Xuelong Li, and Deng Cai. Pix- elLink: Detecting scene text via instance segmentation. In AAAI, pages 6773–6780, 2018. 2, 8

[30] Wenhai Wang, Enze Xie, Xiang Li, Wenbo Hou, Tong Lu, Gang Yu, and Shuai Shao. Shape robust text detection with progressive scale expansion network. In CVPR, pages 9336– 9345, 2019. 2, 7, 8

[28] ZhuotaoTian,MichelleShu,PengyuanLyu,RuiyuLi,Chao Zhou, Xiaoyong Shen, and Jiaya Jia. Learning shape-aware embedding for scene text detection. In CVPR, pages 4234– 4243, 2019. 2, 7, 8

[34] Yongchao Xu, Yukang Wang, Wei Zhou, Yongpan Wang, Zhibo Yang, and Xiang Bai. Textfield: Learning a deep di- rection field for irregular scene text detection. IEEE Trans. Image Processing, 28(11):5566–5579, 2019. 2, 7, 8

[27] ZhiTian,WeilinHuang,TongHe,PanHe,andYuQiao.De- tecting text in natural image with connectionist text proposal network. In ECCV, pages 56–72, 2016. 1, 2

[20] ShaoqingRen,KaimingHe,RossB.Girshick,andJianSun. Faster R-CNN: Towards real-time object detection with re- gion proposal networks. IEEE Trans. Pattern Anal. Mach. Intell., 39(6):1137–1149, 2017. 2, 4

[21] Baoguang Shi, Xiang Bai, and Serge J. Belongie. Detect- ing oriented text in natural images by linking segments. In CVPR, pages 3482–3490, 2017. 1, 2, 7, 8

[4] Wei Feng, Wenhao He, Fei Yin, Xu-Yao Zhang, and Cheng- Lin Liu. Textdragon: An end-to-end framework for arbitrary shaped text spotting. In ICCV, pages 9075–9084, 2019. 2, 7

[33] Zhongdao Wang, Liang Zheng, Yali Li, and Shengjin Wang. Linkage based face clustering via graph convolution net- work. In CVPR, pages 1117–1125, 2019. 2, 3, 4, 5, 6

[12] Tsung-Yi Lin, Piotr Dolla ́r, Ross B. Girshick, Kaiming He, Bharath Hariharan, and Serge J. Belongie. Feature pyramid networks for object detection. In CVPR, pages 936–944, 2017. 3

[29] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszko- reit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In NeurIPS, pages 5998–6008, 2017. 5

[5] Jiayuan Gu, Han Hu, Liwei Wang, Yichen Wei, and Jifeng Dai. Learning region features for object detection. In ECCV, pages 392–406, 2018. 5

[8] Thomas N. Kipf and Max Welling. Semi-supervised classi- fication with graph convolutional networks. In ICLR, 2017. 5

收录于