全连接张量网络分解及其在高阶张量补全中的应用

一、背景：TT和TR分解的两大痛点

高阶数据（多时间、多光谱、多尺度数据）在科学与工程中无处不在，通常用高阶张量表示。张量分解的目标是把高阶张量拆解为一组低维因子，以捕捉其潜在特征和全局相关性。

近年来，基于张量网络的分解方法备受关注，其中最具代表性的是：

• 张量列车（TT）分解：将N阶张量分解为N-2个三阶张量和两端各一个矩阵，因子之间链式连接；

• 张量环（TR）分解：TT的扩展，将两端矩阵也替换为三阶张量，形成环状连接。

然而，这两类分解存在两个根本性局限：

局限一：只连接相邻因子。 TT/TR只建立相邻两个因子之间的运算，而非任意两个因子之间，导致对张量相关性的刻画有限。

局限二：对模态排列高度敏感。

• TT分解仅在模态逆序排列时保持不变性；

• TR分解仅在模态循环移位或逆序排列时保持不变性。

这意味着当张量的模态顺序发生改变时（例如视频数据中空间、时间、通道模态重排），TT/TR的表示能力会显著下降。

二、核心思想：从"链/环"到"全连接"

针对上述问题，本文提出了全连接张量网络（FCTN）分解。

核心思想非常直观：把TT/TR中的链式/环式连接升级为全连接，让任意两个因子之间都建立多线性运算。

具体来说，FCTN将一个N阶张量  分解为N个N阶因子张量：

其元素形式为：

其中  称为FCTN-秩。

下图直观展示了三种分解的网络结构差异：TT 是链式连接，TR 是环式连接，而 FCTN 是任意两个因子之间的全连接。

图 1：TT、TR 和所提出的 FCTN 分解的图形表示。

从图论角度看，TT 是路径图，TR 是环图，FCTN 是完全图。完全图的边数从 O(N) 提升到 O(N²)，换来了对任意模态对的直接建模能力。

直观理解：

• 对二阶张量（矩阵），FCTN退化为矩阵分解，FCTN-秩就是矩阵的秩；
• 对高阶张量，任意两个因子  和 都有一个大小为 2 的共享模态用于张量收缩；
• 通过将相应模态设为1，FCTN可退化为TT和TR分解。

三、FCTN的三大理论优势

优势1：充分刻画任意两模态间的相关性

由于任意两个因子之间都有直接连接，FCTN能够直接建模任意两个模态之间的内在相关性，而不是像TT/TR那样只能间接地通过相邻因子的传递来建模。

优势2：转置不变性（定理2）

定理2（转置不变性）：若 ，则其广义转置可表示为：

意义：无论怎样排列目标张量的模态，FCTN分解都保持不变性。这彻底解决了TT/TR对模态排列敏感的痛点。

优势3：FCTN-秩可界定所有广义展开的秩（定理3）

意义：FCTN-秩可以界定所有广义张量展开的秩，为秩的选择提供理论依据。

存储代价对比

对于N阶张量，若FCTN-秩均为：

• FCTN参数量：
• Tucker参数量：

虽然量级看似接近，但实际中FCTN所需的  通常远小于Tucker-秩 （因为  界定了），因此FCTN在存储代价上优于Tucker分解。

四、FCTN-TC：基于FCTN的张量补全方法

4.1 问题建模

张量补全（TC）的目标是从部分观测中恢复缺失元素。给定不完整观测 ，FCTN-TC模型为：

其中  是指示函数，约束  在已知元素上与 一致。

4.2 求解算法：PAM（近端交替最小化）

由于所有变量耦合，采用PAM框架交替更新：

（1）更新 ：

根据定理4，子问题可重写为矩阵最小二乘问题，直接得到闭式解：

（2）更新：

闭式解为：

4.3 算法流程

4.4 收敛性保证（定理5）

定理5：由算法1获得的序列  全局收敛到模型(2)的一个临界点。

证明需验证四个条件（Attouch, Bolte, and Svaiter 2013）：

1.  和 有界；
2.  是正常下半连续函数；
3.  满足K-L性质；
4. 序列满足充分下降（引理1）和相对误差（引理2）条件。

五、实验结果

5.1 合成数据实验

设置：四阶张量 （TT-rank为(10,80,10)）和五阶张量 （TT-rank为(8,48,48,8)），测试原始顺序和广义转置（n分别为(2,4,1,3)和(2,4,1,3,5)）。

图 2：不同排列下合成数据集的重建结果。

可以清晰看到：1）TT-TC 和 TR-TC 在转置后 RSE 显著上升，说明它们对模态排列敏感；2）FCTN-TC 在两种排列下几乎一致，且始终取得最低的 RSE，说明它对排列鲁棒且表示能力更强。

结论：

1. FCTN-TC对不同排列非常鲁棒，而TT-TC和TR-TC对排列敏感；
2. 在不同数据集、不同缺失率、不同排列下，FCTN-TC始终取得最低的RSE。

这验证了理论分析：FCTN能刻画任意两模态间的相关性，且对转置本质不变。

5.2 真实数据实验

（1）视频数据补全

数据：4个彩色视频（CV） + 1个高光谱视频（HSV）；缺失率80%、90%、95%。

表 1：所有使用的方法在 CV 和 HSV 数据集上的 PSNR 值和运行时间。

从表 1 可以看出，FCTN-TC 在所有缺失率下均取得最高 PSNR。特别是在 HSV 数据集上，FCTN-TC 比第二名方法领先约 5dB。运行时间方面，FCTN-TC 与 TMac、TMacTT、TRLRF 处于同一量级，主要原因是其实际所需秩更低。

图 3 进一步展示了两个 CV 的重建空间图像及其对应的残差图像（重建图像与真实值之间的绝对差）。

图 3：两个测试 CV 在 MR=90% 时的重建结果。从上到下：奇数行分别是 CV containe 第 1 帧和 CV bunny 第 35 帧的视觉结果；偶数行是相应的在三个颜色通道上平均的残差图像。

从图 3 可以看出，FCTN-TC 在局部细节恢复上明显优于对比方法，例如 CV containe 中的波纹和 CV bunny 中的草地。残差图（偶数行）颜色越深表示误差越小，FCTN-TC 对应的残差图最接近纯深蓝色，说明重建误差最小。

（2）交通流数据补全

数据：GTL交通流数据，大小30×24×31×1930×24×31×19（分钟×小时×天×路段），缺失率40%，采用切片缺失模式。

图 4 展示了第 2 天的重建结果和整个数据集的 RSE 值。

图 4：交通流数据集在 MR=40% 时的重建结果。第一行和第二行分别是第 2 天的结果和相应的残差结果。

从图 4 可以看出，FCTN-TC 取得最低的 RSE（0.055），优于 TMacTT（0.061）、TMac（0.067）、TRLRF（0.077）、HaLRTC（0.099）和 t-SVD（0.102）。这验证了 FCTN 分解在切片缺失问题上的优越性。

六、论文贡献总结

1. 提出FCTN分解：突破了TT/TR在相关性刻画和转置不变性方面的局限，将N阶张量分解为N个N阶因子并全连接；

2. 应用于张量补全：提出FCTN-TC模型，并基于PAM设计了高效求解算法；

3. 理论保证：证明了算法生成的序列全局收敛到临界点（局部极小值）。

七、局限与未来工作

论文也坦诚了自身的局限：

• FCTN-秩的选择困难：与CP、TR分解类似，如何找到最优FCTN-秩仍是一个开放问题；

• 存储代价：因子是N阶张量，参数量随阶数增长较快（虽然实际秩更低）；

• 未来方向：深入探索FCTN因子的本质特征，将FCTN应用到更多任务中。