张量基础 | 概念・指标・坐标变换・张量代数运算

注：本文为 “张量基础” 相关合辑。
图片清晰度受引文原图所限。
略作重排，如有内容异常，请看原文。

张量基础学习（一）概念、求和指标、符号

西瓜皮装猕猴桃 于 2020-07-04 21:14:31

本文系统阐述张量基础定义、阶数与秩的判定规则、张量与线性代数体系的关联，同时说明张量在机器学习、深度学习、量子计算领域的应用场景，完整给出爱因斯坦求和约定执行规则，以及克罗内克符号 ${\delta }_{ij}$、Eddington 置换符号 $e_{rst}$ 的定义与代数性质。

本文为张量专题系列开篇内容，内容推导依托线性代数前置知识完成推导，论述深度低于量子计算理论体系。

一、张量基本概念

张量理论属于纯数学分支，在连续介质力学体系中具备广泛应用场景。该术语起源于弹性力学领域，初始用于表征弹性介质内部各空间点的应力分布状态，后续逐步演变为力学、物理学领域通用性较强的数学分析工具。张量体系的适用价值体现在，其全部数学表达形式具备坐标变换不变性，可保证物理定律表述不依赖参考坐标系的选取规则。

张量可视为矢量概念的外延拓展，矢量对应一阶张量。严格定义层面，张量可等价表述为矢量、标量与其他张量之间建立线性映射关系的多重线性函数。

张量分解与张量分析方法在机器学习、深度学习、量子计算及量子机器学习理论框架中均存在大量推导应用，为后续理论推演的必备基础工具。

张量在不同数学体系下存在四类等价定义：

1. 张量可抽象为高维多维数组；
2. 张量属于几何不变量，坐标基底变换不会改变其几何实体本身；
3. 张量可由矢量与余矢量通过张量积运算构造生成；
4. 张量为多重线性映射，对应映射表达式见下图。

张量为向量、矩阵的维度自然延拓：向量定义为一阶张量，矩阵定义为二阶张量，矩阵沿维度堆叠形成三维阵列结构，该结构定义为三阶张量。灰度图像在计算机存储格式中对应二维矩阵，属于二阶张量；RGB 三通道彩色图像存储为三维阵列，属于三阶张量。三阶张量可继续沿维度堆叠，构造任意更高阶数的张量结构。

配套辅助理解视频链接：
https://player.bilibili.com/player.html?aid=541232550

1.1 张量阶数与秩的界定规则

以多维数组具象化理解张量维度结构，对应示意图如下：

• 阶数（order / ways / modes）：表征张成该张量线性空间的向量空间数量；
• 秩（ra(n^k)）：表征张量阵列展开后的深度维度数量。

对应直观图示：

二、爱因斯坦求和约定

该约定为张量指标运算的标准简写规则，在线性代数矩阵运算中被高频使用。

2.1 单重求和简写规则

多项式展开形式：
$$S=a_1{x}_1+a_2{x}_2+\cdots +a_n{x}_n$$
标准求和符号写法：
$$S=\sum _{i=1}^n{a}_i{x}_i=\sum _{j=1}^n{a}_j{x}_j$$

爱因斯坦求和约定简写形式：
$$S=a_i{x}_i=a_j{x}_j$$
约定约束：求和所使用的下标字母不影响表达式最终结果；同一单项内重复下标仅允许成对出现一次。

2.2 多重嵌套求和简写规则

三维指标双重求和完整展开式：
$$\begin{array}{rl}\sum _{i=1}^3\sum _{j=1}^3{A}_{ij}{x}_i{y}_j=& A_{11}{x}_1{y}_1+A_{12}{x}_1{y}_2+A_{13}{x}_1{y}_3\\ & +A_{21}{x}_2{y}_1+A_{22}{x}_2{y}_2+A_{23}{x}_2{y}_3\\ & +A_{31}{x}_3{y}_1+A_{32}{x}_3{y}_2+A_{33}{x}_3{y}_3\end{array}$$

采用求和约定简写为：
$$A_{ij}{x}_i{y}_j$$

三阶张量三重求和形式：
$$A_{ijk}{x}_i{y}_j{z}_k$$
该表达式完整展开后共计 $3^3=27$ 个分项。

2.3 自由指标与哑指标划分

以三元线性方程组作为实例进行指标分类说明：
$$\{\begin{array}{l}{A}_{11}{x}_1+A_{12}{x}_2+A_{13}{x}_3=b_1\\ A_{21}{x}_1+A_{22}{x}_2+A_{23}{x}_3=b_2\\ A_{31}{x}_1+A_{32}{x}_2+A_{33}{x}_3=b_3\end{array}$$

指标分类示意图：

约定执行细则

1. 自由指标可在同一表达式内多次出现，禁止在同一单项内成对重复；单项内成对重复的下标定义为哑指标；
2. 哑指标仅用于遍历全量取值完成累加运算，可在成对前提下替换为任意同取值范围字母，矢量点积示例：
   $$\mathbf{a}\cdot \mathbf{b}=a_j{b}_j=a_m{b}_m$$
3. 通用取值约定：未标注取值区间时，拉丁字母下标 $i,j,k$ 默认为三维指标，取值集合 { 1 ,   2 ,   3 } \{1,\,2,\,3\} {1,2,3}；希腊字母下标 $\alpha ,\beta ,\gamma$ 默认为二维指标，取值集合 { 1 ,   2 } \{1,\,2\} {1,2}。
   
4. 联立方程组书写规则：同步参与取值的自由指标需保持符号一致，相互独立取值的自由指标需规避符号重名；
5. 自由指标替换规则：表达式或方程内同名自由指标需整体批量替换，不可局部修改。

2.4 约定量化说明

哑指标可将多项式累加表达式压缩为单项书写形式，自由指标可将分量方程组压缩为单一指标方程。
若指标形式方程包含 $k$ 个相互独立的自由指标，指标取值范围为 $1\sim n$，则该方程等价于 $n^k$ 条独立分量方程；若单项内包含 $m$ 对取值范围 $1\sim n$ 的哑指标，则该单项展开后包含 $n^m$ 个累加分项。

该指标符号体系可直接拓展至微分算子与高阶导数表达式。

三、克罗内克符号 ${\delta }_{\mathbf{ij}}$ 与 Eddington 置换符号 ${\mathbf{e}}_{\mathbf{rst}}$

3.1 克罗内克符号 ${\delta }_{ij}$

笛卡尔直角坐标系下，三组两两正交单位基矢量构成标准正交基底，基底示意图如下：

3.1.1 定义式

通过基矢量内积完成定义：
$${\delta }_{ij}={\mathbf{e}}_i\cdot {\mathbf{e}}_j=\{\begin{array}{ll}1,& i=j\\ 0,& i\ne j\end{array}$$

3.1.2 代数性质

1. 对称性
   $${\delta }_{ij}={\delta }_{ji}$$

2. 矩阵等价形式
   ${\delta }_{ij}$ 全部分量构成三阶单位矩阵：
   $$\left[\begin{array}{ccc}{\delta }_{11}& {\delta }_{12}& {\delta }_{13}\\ {\delta }_{21}& {\delta }_{22}& {\delta }_{23}\\ {\delta }_{31}& {\delta }_{32}& {\delta }_{33}\end{array}\right]=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$

3. 指标替换运算规则
   当 ${\delta }_{ij}$ 其中一个下标与同项其他张量下标重复时，可完成下标置换并消去 ${\delta }_{ij}$ 符号：
   $$\begin{array}{rlrl}{\delta }_{ij}{a}_{jk}& =a_{ik},& {\delta }_{ij}{a}_{ik}& =a_{jk}\\ {\delta }_{ij}{a}_{kj}& =a_{ki},& {\delta }_{ij}{a}_{ki}& =a_{kj}\\ {\delta }_{ij}{\delta }_{jk}& ={\delta }_{ik},& {\delta }_{ij}{\delta }_{jk}{\delta }_{kl}& ={\delta }_{il}\end{array}$$

3.2 Eddington 置换符号 $e_{rst}$

该符号又称排列符号、置换符号，仅适用于三维下标 r , s , t ∈ { 1 , 2 , 3 } r,s,t \in \{1,2,3\} r,s,t∈{1,2,3}。

3.2.1 分段定义

$$e_{rst}=\{\begin{array}{ll}1,& r,s,t\text{ 为自然正序轮换排列}\\ -1,& r,s,t\text{ 为逆序轮换排列}\\ 0,& r,s,t\text{ 存在任意两个下标取值相等}\end{array}$$

多项式等价表达式：
$$e_{rst}=\frac{1}{2}(r-s)(s-t)(t-r)$$

3.2.2 排列判定规则

• 正序排列：$(1,2,3)$ 及其循环轮换 $(2,3,1)$、$(3,1,2)$，符号取值为 $1$；
• 逆序排列：$(3,2,1)$ 及其循环轮换 $(2,1,3)$、$(1,3,2)$，符号取值为 $-1$。

配套演示视频链接：
https://player.bilibili.com/player.html

3.2.3 基础代数性质

1. 全集分量数量统计：三维下标组合共计 $27$ 组，取值为 $1$、$-1$ 的组合各占 $3$ 组，剩余 $21$ 组分量取值为 $0$；
2. 双指标反对称性：任意两个下标交换，符号整体取反
   $$e_{rst}=-e_{srt}=-e_{trs}=-e_{tsr}$$
3. 三指标循环不变性：下标连续两次轮换，符号数值保持不变
   $$e_{rst}=e_{str}=e_{trs}$$

矢量叉积可通过置换符号完成指标形式表达，对应推导示意图：

张量基础学习（二）：坐标变换、分量转化规律与张量方程

西瓜皮装猕猴桃 于 2020-07-07 11:14:37

本文对张量体系中坐标变换的数学表达、张量分量在坐标更替下的变换法则，以及张量方程的几何不变属性展开推导与论述，通过几何实例说明张量分量在不同坐标系下的改写形式，同时阐释张量方程对客观物理规律的等价描述能力。

一、坐标与坐标转换

1.1 笛卡尔坐标系下矢量表达

笛卡尔坐标系几何示意图：

对应矢量基础表达式：

上述形式为初等几何范畴内的矢量标准表达。在非笛卡尔曲线坐标系中，矢径可写作标量坐标的映射函数：
$$\mathbf{r}=\mathbf{r}\left(x_1,x_2,x_3\right)$$
当坐标系发生整体变换时，矢径在新坐标系下的表达形式如下：

1.2 基矢量与坐标参考架定义

（1）基矢量

以矢径对曲线坐标的偏导数定义曲线坐标系下协变基矢量 ${\mathbf{g}}_i$，下标取值范围 $i=1,2,3$：
$${\mathbf{g}}_i=\frac{\partial \mathbf{r}}{\partial x_i}(i=1,2,3)$$

（2）坐标参考架

空间任意几何点处的三组基矢量共同构成该点的坐标参考架。具备方向属性的物理量均可在作用点对应的参考架下完成分解。
对于笛卡尔直角坐标系，基矢量退化为单位正交基：
$$\{\begin{array}{l}{\mathbf{g}}_1=\frac{\partial \mathbf{r}}{\partial x_1}={\mathbf{e}}_1\\ {\mathbf{g}}_2=\frac{\partial \mathbf{r}}{\partial x_2}={\mathbf{e}}_2\\ {\mathbf{g}}_3=\frac{\partial \mathbf{r}}{\partial x_3}={\mathbf{e}}_3\end{array}$$

坐标参考架几何示意：

1.3 一般曲线坐标系的几何特征

欧几里得空间内任意曲线坐标系具备四项几何特征：

1. 坐标线相互之间不一定满足正交约束；
2. 不同空间点位的坐标线不再保持平行关系；
3. 基矢量的模长与空间指向随空间点位发生变化；
4. 各点位对应的坐标参考架不再为正交归一化基底。

1.4 笛卡尔坐标系之间的刚性坐标变换

两组直角坐标系几何关系示意图：

新旧两组笛卡尔单位正交基均满足克罗内克δ正交归一条件：
$${\mathbf{e}}_i^{\prime }\cdot {\mathbf{e}}_j^{\prime }={\delta }_{ij},{\mathbf{e}}_i\cdot {\mathbf{e}}_j={\delta }_{ij}$$

1.4.1 基矢量变换系数

引入坐标变换系数 ${\beta }_{ij}$，将新坐标系基矢量沿原坐标系基底展开：
$${\mathbf{e}}_i^{\prime }={\beta }_{i1}{\mathbf{e}}_1+{\beta }_{i2}{\mathbf{e}}_2+{\beta }_{i3}{\mathbf{e}}_3=\sum _{j=1}^3{\beta }_{ij}{\mathbf{e}}_j$$

变换系数由两组基矢量夹角余弦与点积等价定义：
$${\beta }_{ij}=\cos \left({\mathbf{e}}_i^{\prime },{\mathbf{e}}_j\right)={\mathbf{e}}_i^{\prime }\cdot {\mathbf{e}}_j={\mathbf{e}}_j\cdot {\mathbf{e}}_i^{\prime }$$

反向完成原坐标系基矢量向新坐标系基底的分解：
$${\mathbf{e}}_j={\beta }_{1^{\prime }j}{\mathbf{e}}_1^{\prime }+{\beta }_{2^{\prime }j}{\mathbf{e}}_2^{\prime }+{\beta }_{3^{\prime }j}{\mathbf{e}}_3^{\prime }={\beta }_{i^{\prime }j}{\mathbf{e}}_i^{\prime }$$

1.4.2 矢量坐标平移加旋转变换

设新坐标系原点相对原坐标系原点的位置矢量为 ${\mathbf{r}}_0^{\prime }$，空间同一点在两套坐标系下的矢径满足矢量三角形叠加关系：
$${\mathbf{r}}^{\prime }={\mathbf{r}}_0^{\prime }+\mathbf{r}$$

三套矢径在对应基底上的分量分解形式：
$${\mathbf{r}}^{\prime }=x_i^{\prime }{\mathbf{e}}_i^{\prime },\mathbf{r}=x_j{\mathbf{e}}_j,{\mathbf{r}}_0^{\prime }={\left(x_i^{\prime }\right)}_0{\mathbf{e}}_i^{\prime }$$

对矢量等式两端同时左点乘新坐标系基矢量 ${\mathbf{e}}_i^{\prime }$ 完成投影求解：

• 等式左侧投影：
  $${\mathbf{r}}^{\prime }\cdot {\mathbf{e}}_i^{\prime }=x_k^{\prime }{\mathbf{e}}_k^{\prime }\cdot {\mathbf{e}}_i^{\prime }=x_k^{\prime }{\delta }_{ki}=x_i^{\prime }$$

• 等式右侧投影：
  $$\left(\mathbf{r}+{\mathbf{r}}_0^{\prime }\right)\cdot {\mathbf{e}}_i^{\prime }=x_j{\mathbf{e}}_j\cdot {\mathbf{e}}_i^{\prime }+{\left(x_k^{\prime }\right)}_0{\mathbf{e}}_k^{\prime }\cdot {\mathbf{e}}_i^{\prime }=x_j{\beta }_{ij}+{\left(x_i^{\prime }\right)}_0$$

坐标投影几何示意：

联立可得任意矢量在平移旋转坐标系下的坐标换算表达式。

1.4.3 原点重合时的矩阵变换形式

当坐标原点保持不变，仅发生纯旋转变换，借助爱因斯坦求和约定可将坐标变换写为矩阵列向量乘法形式：
$$\left\{\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ x_3^{\prime }\end{array}\right\}=\left[\begin{array}{ccc}{\beta }_{1^{\prime }1}& {\beta }_{1^{\prime }2}& {\beta }_{1^{\prime }3}\\ {\beta }_{2^{\prime }1}& {\beta }_{2^{\prime }2}& {\beta }_{2^{\prime }3}\\ {\beta }_{3^{\prime }1}& {\beta }_{3^{\prime }2}& {\beta }_{3^{\prime }3}\end{array}\right]\left\{\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right\}$$
(简写为紧凑矩阵记号：)
{ x ′ } = [ β ] { x } \left\{x'\right\} = \left[\beta\right] \left\{x\right\} {x′}=[β]{x}

逆变换通过变换矩阵转置实现：
$$\left\{\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right\}=\left[\begin{array}{ccc}{\beta }_{1^{\prime }1}& {\beta }_{2^{\prime }1}& {\beta }_{3^{\prime }1}\\ {\beta }_{1^{\prime }2}& {\beta }_{2^{\prime }2}& {\beta }_{3^{\prime }2}\\ {\beta }_{1^{\prime }3}& {\beta }_{2^{\prime }3}& {\beta }_{3^{\prime }3}\end{array}\right]\left\{\begin{array}{c}{x}_1^{\prime }\\ x_2^{\prime }\\ x_3^{\prime }\end{array}\right\}$$
(简写形式：)
{ x } = [ β ] T { x ′ } \left\{x\right\} = \left[\beta\right]^{\mathrm{T}} \left\{x'\right\} {x}=[β]T{x′}

1.5 广义坐标正变换与逆变换的微分形式

三维欧氏空间内取两组任意坐标系，记点 $P$ 在新坐标系坐标为 $x_i^{\prime }$、原坐标系坐标为 $x_j$，映射方程组
$$x_i^{\prime }=x_i^{\prime }\left(x_j\right)(i,j=1,2,3)$$
定义为自原坐标系指向新坐标系的坐标正变换；反向映射
$$x_j=x_j\left(x_i^{\prime }\right)(i,j=1,2,3)$$
定义为坐标逆变换。

对正变换表达式做全微分运算：
$$\mathrm{d}{x}_i^{\prime }=\frac{\partial x_i^{\prime }}{\partial x_j}\mathrm{d}{x}_j$$
式中偏导数构成的方阵对应坐标变换雅克比矩阵，其行列式为雅克比行列式：

逆变换微分可通过雅克比矩阵逆矩阵完成 $\mathrm{d}{x}_j$ 由 $\mathrm{d}{x}_i^{\prime }$ 的唯一映射。

二、张量分量转换规律与张量方程

2.1 张量分量坐标变换法则

张量本身作为几何不变量，其数学定义不随观测坐标系的人为选取发生改变；张量在指定参考架下的分量取值依赖坐标系选取，坐标更替过程中分量需服从固定变换规则以保证张量整体几何不变性。该性质可类比矢量正交分解分量随坐标系的改写逻辑。

以三维空间二阶张量为例，其在基底上的并矢展开形式：

式中 $T_{ij}$ 为二阶张量分量，${\mathbf{e}}_i{\mathbf{e}}_j$ 为基底并矢。结合前文坐标变换偏导系数，可得张量分量完整变换公式：

张量阶数与分量总数判定规则

指标记号 $T_{ijk\cdots }$ 内自由指标的计数等于张量阶数 $K$；单个指标可取数值的数量等于张量定义空间的维数 $n$。对所有指标做全组合遍历，$n$ 维 $K$ 阶张量的独立分量总数量为 $n^K$。

2.2 张量方程的坐标不变性

张量方程由若干张量项通过等号联结构成，初等数学范畴的标量等式、经典力学范畴的矢量等式、线性代数范畴的矩阵等式均属于张量方程子集。
张量方程具备坐标无关属性：方程成立与否不受坐标系选取影响，因此可用于对客观物理过程的固有定量规律进行普适性数学描述。

张量方程不变性说明示意图：

至此完成本次张量基础内容梳理。

张量基础学习（三）：张量代数运算（上）

西瓜皮装猕猴桃 于 2020-07-10 14:59:55 发布

经过前面几期博客的学习，我们初步认识了张量的基本概念、重要的符号与指标、坐标变换规律以及张量分量的变换规律。接下来，将继续学习张量的各种运算法则。

一、张量代数基础

张量具有多个维度与层次。为便于入门理解，本节主要以一阶张量（向量）与二阶张量为例进行说明，相关运算法则可推广至高阶张量。

（1）和差、数乘与相等关系

张量满足以下基本代数运算规则：

1) 相等关系

若两个张量相等，例如 $\mathbf{T}=T_{ij}{\mathbf{e}}_i{\mathbf{e}}_j$ 与 $\mathbf{S}=S_{ij}{\mathbf{e}}_i{\mathbf{e}}_j$ 相等，则其对应分量满足：

$$T_{ij}=S_{ij}$$

2) 和差运算

两个张量相加减，即对应分量相加减。新张量 $\mathbf{Z}$ 的分量为：

$$Z_{ij}=T_{ij}\pm S_{ij}$$

3) 数乘运算

张量 $\mathbf{A}$ 与标量 $\lambda$ 相乘后，所得新张量的阶数不变，各分量均乘以该标量：

$$(\lambda \mathbf{A}{)}_{ij}=\lambda A_{ij}$$

4) 向量的数量积（点积）

向量间的数量积运算（点乘）在高中物理与高等数学中已有介绍，此处不再赘述。

（2）极向量与轴向量

三维欧几里得空间中的向量定义为具有特定大小（标量值）和方向的有向线段。向量 $\mathbf{a}$ 的大小（长度）用 $|\mathbf{a}|$ 表示。两个向量相等，当且仅当它们具有相同的大小和方向。零向量 $0$ 的大小为 $0$。

在力学中，向量可分为两类：

1. 极向量（Polar Vectors）：有向线段，与三维空间中的平动相关。物理实例包括力、位移、速度、加速度、动量等。
2. 轴向量（Axial Vectors）：用于描述旋转运动及相关物理量，如角速度、力矩、角动量等。下图所示为自旋向量 ${\mathbf{a}}^{\ast }$，表示绕给定轴的旋转，旋转方向由圆形箭头指示，旋转"幅度"对应其长度。

极向量 $\mathbf{a}$ 与轴向量 ${\mathbf{a}}^{\ast }$ 的关系如下：

• 向量 $\mathbf{a}$ 位于自旋向量的轴线上；
• 向量 $\mathbf{a}$ 的大小等于 ${\mathbf{a}}^{\ast }$ 的大小；
• 方向关系分别满足左手定则与右手定则。

（3）向量的叉积

设 $\mathbf{c}=\mathbf{a}\times \mathbf{b}$，其几何意义由以下三方面确定：

1. 方向：向量 $\mathbf{c}$ 正交于 $\mathbf{a}$ 与 $\mathbf{b}$ 张成的平面，如图（a）所示；
2. 旋向：圆形箭头表示从 $\mathbf{a}$ 到 $\mathbf{b}$ 的最短旋转方向，如图（b）所示；
3. 大小：$|\mathbf{c}|=|\mathbf{a}||\mathbf{b}|\sin \phi$，其中 $\phi$ 为从 $\mathbf{a}$ 到 $\mathbf{b}$ 的最短旋转方向夹角。

张量的内积运算已在前文介绍。向量的叉积又称为外积。从数学意义上讲，外积仅对向量有定义，并非所有张量均具备外积运算。

叉积满足如下运算法则：

$$\mathbf{a}\times \mathbf{b}=-\mathbf{b}\times \mathbf{a}$$

$$\mathbf{a}\times (\mathbf{b}+\mathbf{c})=\mathbf{a}\times \mathbf{b}+\mathbf{a}\times \mathbf{c}$$

外积与内积可结合构成混合积（标量三重积），记为 $(\mathbf{b}\times \mathbf{a})\cdot \mathbf{c}$，其结果为标量，满足恒等式：

$$\mathbf{a}\cdot (\mathbf{b}\times \mathbf{c})=\mathbf{b}\cdot (\mathbf{c}\times \mathbf{a})=\mathbf{c}\cdot (\mathbf{a}\times \mathbf{b})$$

连续两次外积运算可转化为点乘形式（向量三重积公式）：

$$\mathbf{a}\times (\mathbf{b}\times \mathbf{c})=\mathbf{b}(\mathbf{a}\cdot \mathbf{c})-\mathbf{c}(\mathbf{a}\cdot \mathbf{b})$$

进一步，联立上述二式可得：

$$\begin{array}{rl}(\mathbf{a}\times \mathbf{b})\cdot (\mathbf{c}\times \mathbf{d})& =\mathbf{a}\cdot [\mathbf{b}\times (\mathbf{c}\times \mathbf{d})]\\ & =\mathbf{a}\cdot [\mathbf{c}(\mathbf{b}\cdot \mathbf{d})-\mathbf{d}(\mathbf{b}\cdot \mathbf{c})]\\ & =(\mathbf{a}\cdot \mathbf{c})(\mathbf{b}\cdot \mathbf{d})-(\mathbf{a}\cdot \mathbf{d})(\mathbf{b}\cdot \mathbf{c})\end{array}$$

二、矩阵与张量的几种乘积

（1）并积（张量积）

两个张量 $\mathbf{A}$ 与 $\mathbf{B}$ 的并积（张量积）得到一个阶数等于二者阶数之和的新张量。

设 $\mathbf{A}=A_{ijk}{\mathbf{e}}_i{\mathbf{e}}_j{\mathbf{e}}_k$ 为三阶张量，$\mathbf{B}=B_{lm}{\mathbf{e}}_l{\mathbf{e}}_m$ 为二阶张量，则并积结果为：

$$\mathbf{T}=\mathbf{AB}=T_{ijklm}{\mathbf{e}}_i{\mathbf{e}}_j{\mathbf{e}}_k{\mathbf{e}}_l{\mathbf{e}}_m$$

其中 $T_{ijklm}=A_{ijk}{B}_{lm}$。

并积运算将二阶张量（平面 $3\times 3$ 网格）与三阶张量（三维结构）结合，形成五阶张量，其直观理解如上所示。

（2）Kronecker 积

Kronecker 积是张量计算中常见的运算，是衔接矩阵计算与张量计算的重要桥梁。

给定矩阵 $\mathbf{A}\in {\mathbb{R}}^{m_1\times m_2}$ 与 $\mathbf{B}\in {\mathbb{R}}^{n_1\times n_2}$，其 Kronecker 积定义为：

$$\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}\mathbf{B}& a_{12}\mathbf{B}& \cdots & a_{1m_2}\mathbf{B}\\ a_{21}\mathbf{B}& a_{22}\mathbf{B}& \cdots & a_{2m_2}\mathbf{B}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m_{1}1}\mathbf{B}& a_{m_{1}2}\mathbf{B}& \cdots & a_{m_1{m}_2}\mathbf{B}\end{array}\right]$$

所得矩阵 $\mathbf{A}\otimes \mathbf{B}$ 的大小为 $(m_1{n}_1)\times (m_2{n}_2)$，即行数为 $m_1{n}_1$，列数为 $m_2{n}_2$。

该运算可理解为：以矩阵 $\mathbf{A}$ 的每个元素 $a_{ij}$ 为系数，与整个矩阵 $\mathbf{B}$ 相乘，按原位置排列构成新矩阵。

示例：给定

$$\mathbf{A}=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],\mathbf{B}=\left[\begin{array}{ccc}5& 6& 7\\ 8& 9& 10\end{array}\right]$$

则：

$$\mathbf{A}\otimes \mathbf{B}=\left[\begin{array}{cc}1\cdot \mathbf{B}& 2\cdot \mathbf{B}\\ 3\cdot \mathbf{B}& 4\cdot \mathbf{B}\end{array}\right]=\left[\begin{array}{cccccc}5& 6& 7& 10& 12& 14\\ 8& 9& 10& 16& 18& 20\\ 15& 18& 21& 20& 24& 28\\ 24& 27& 30& 32& 36& 40\end{array}\right]$$

Kronecker 积不满足乘法交换律，即 $\mathbf{A}\otimes \mathbf{B}\ne \mathbf{B}\otimes \mathbf{A}$。

其基本运算性质如下：

克罗内克积基本运算性质

左分配律
$$\mathbf{A}\otimes (\mathbf{B}+\mathbf{C})=\mathbf{A}\otimes \mathbf{B}+\mathbf{A}\otimes \mathbf{C}$$

右分配律
$$(\mathbf{B}+\mathbf{C})\otimes \mathbf{A}=\mathbf{B}\otimes \mathbf{A}+\mathbf{C}\otimes \mathbf{A}$$

数乘齐次性
$$(k\mathbf{A})\otimes \mathbf{B}=\mathbf{A}\otimes (k\mathbf{B})=k(\mathbf{A}\otimes \mathbf{B})$$

运算结合律
$$(\mathbf{A}\otimes \mathbf{B})\otimes \mathbf{C}=\mathbf{A}\otimes (\mathbf{B}\otimes \mathbf{C})$$

零矩阵吸收性质
$$\mathbf{A}\otimes 0=0\otimes \mathbf{A}=0$$

补充说明

1. $\otimes$ 为克罗内克积（Kronecker product），不满足通用交换律，表述为“一般 $\mathbf{A}\otimes \mathbf{B}\ne \mathbf{B}\otimes \mathbf{A}$”是出于数学严谨性：绝大多数不同规格矩阵进行克罗内克积运算时，交换前后结果矩阵维度或内部元素排布均不一致，无法相等；仅存在极少数特殊特例可满足交换后结果相等：
   • 两个矩阵均为1阶标量矩阵，等价于普通标量乘法，天然满足交换；
   • 其中任一矩阵为零矩阵，交换后均得到同阶高阶零矩阵；
   • 同阶数量矩阵（如 $k{\mathbf{I}}_n$ 与 $l{\mathbf{I}}_n$）做克罗内克积，交换结果一致。
     常规理论推导与工程计算中，默认不可直接调换克罗内克积左右因子。
2. $k$ 为任意标量常数，$0$ 为对应阶数的零矩阵；
3. 上述性质为矩阵张量运算、线性算子克罗内克形式表达、向量向量化拉直运算的理论基础。

（3）Hadamard 积

Hadamard 积（元素对应积）定义在两个同维矩阵 $\mathbf{A},\mathbf{B}\in {\mathbb{R}}^{I\times J}$ 上，运算法则为对应元素相乘：

$$\mathbf{A}\ast \mathbf{B}=\left[\begin{array}{cccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& \cdots & a_{1J}{b}_{1J}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& \cdots & a_{2J}{b}_{2J}\\ ⋮& ⋮& \ddots & ⋮\\ a_{I1}{b}_{I1}& a_{I2}{b}_{I2}& \cdots & a_{IJ}{b}_{IJ}\end{array}\right]\in {\mathbb{R}}^{I\times J}$$

该运算的符号常用 $\circ$ 或 $\ast$ 表示，其中 $\ast$ 更为常见。运算结果矩阵的行列数保持不变。

示例：

$$\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\ast \left[\begin{array}{ccc}{b}_{11}& b_{12}& b_{13}\\ b_{21}& b_{22}& b_{23}\\ b_{31}& b_{32}& b_{33}\end{array}\right]=\left[\begin{array}{ccc}{a}_{11}{b}_{11}& a_{12}{b}_{12}& a_{13}{b}_{13}\\ a_{21}{b}_{21}& a_{22}{b}_{22}& a_{23}{b}_{23}\\ a_{31}{b}_{31}& a_{32}{b}_{32}& a_{33}{b}_{33}\end{array}\right]$$

Hadamard 积（哈达玛积）基本性质

1. $\mathbf{A},\mathbf{B},\mathbf{C}$ 为同型矩阵（行数、列数完全相等），$\ast$ 为矩阵 Hadamard 逐元素乘积运算符；
2. $k$ 为任意数域内标量，$0$ 为与左运算矩阵同型的零矩阵；
3. Hadamard 积定义：$(\mathbf{A}\ast \mathbf{B}{)}_{ij}=a_{ij}{b}_{ij}$，即对应位置元素直接相乘。

1. 交换律

矩阵 Hadamard 积满足运算交换性，调换两个运算矩阵的顺序，逐元素相乘结果完全一致。
$$\mathbf{A}\ast \mathbf{B}=\mathbf{B}\ast \mathbf{A}$$

2. 结合律

连续三次 Hadamard 嵌套乘积时，任意调整括号绑定的运算优先级，运算结果不变，可省略括号简写为 $\mathbf{A}\ast \mathbf{B}\ast \mathbf{C}$。
$$\mathbf{A}\ast (\mathbf{B}\ast \mathbf{C})=(\mathbf{A}\ast \mathbf{B})\ast \mathbf{C}$$

3. 对矩阵加法的左分配律

Hadamard 积对矩阵加法具备分配特性，可将左侧矩阵分别与相加的两个矩阵做 Hadamard 积后再求和。
$$\mathbf{A}\ast (\mathbf{B}+\mathbf{C})=\mathbf{A}\ast \mathbf{B}+\mathbf{A}\ast \mathbf{C}$$

4. 标量数乘相容性质

标量与矩阵先做数乘再取 Hadamard 积，等价于仅对其中一个矩阵数乘后做 Hadamard 积，也等价于两矩阵先求 Hadamard 积再整体乘以该标量。
$$(k\mathbf{A})\ast \mathbf{B}=\mathbf{A}\ast (k\mathbf{B})=k(\mathbf{A}\ast \mathbf{B})$$

5. 零矩阵吸收性质

任意同型矩阵与零矩阵做 Hadamard 积，结果恒等于零矩阵，零矩阵在 Hadamard 乘法中起到零元吸收作用。
$$\mathbf{A}\ast 0=0\ast \mathbf{A}=0$$

补充

矩阵普通矩阵乘法不满足交换律，但 Hadamard 逐元素积天然满足交换律，二者不可混淆；所有性质成立的前提均为参与 Hadamard 运算的矩阵维度完全匹配。

（4）Khatri-Rao 积

给定矩阵 $\mathbf{A}\in {\mathbb{R}}^{I\times k}$，按列分块为 $\mathbf{A}=({\vec{a}}_1,{\vec{a}}_2,\dots ,{\vec{a}}_k)$，以及矩阵 $\mathbf{B}\in {\mathbb{R}}^{J\times k}$，按列分块为 $\mathbf{B}=({\vec{b}}_1,{\vec{b}}_2,\dots ,{\vec{b}}_k)$，则 $\mathbf{A}$ 与 $\mathbf{B}$ 的 Khatri-Rao 积定义为各对应列的 Kronecker 积按列拼接：

$$\mathbf{A}\odot \mathbf{B}=({\vec{a}}_1\otimes {\vec{b}}_1,{\vec{a}}_2\otimes {\vec{b}}_2,\dots ,{\vec{a}}_k\otimes {\vec{b}}_k)$$

示例：给定

$$\mathbf{A}=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right]=({\vec{a}}_1,{\vec{a}}_2),\mathbf{B}=\left[\begin{array}{cc}5& 6\\ 7& 8\\ 9& 10\end{array}\right]=({\vec{b}}_1,{\vec{b}}_2)$$

则：

$$\mathbf{A}\odot \mathbf{B}=({\vec{a}}_1\otimes {\vec{b}}_1,{\vec{a}}_2\otimes {\vec{b}}_2)=\left[\begin{array}{cc}\left[\begin{array}{c}1\\ 3\end{array}\right]\otimes \left[\begin{array}{c}5\\ 7\\ 9\end{array}\right]& \left[\begin{array}{c}2\\ 4\end{array}\right]\otimes \left[\begin{array}{c}6\\ 8\\ 10\end{array}\right]\end{array}\right]$$

最终结果为：

$$\mathbf{A}\odot \mathbf{B}=\left[\begin{array}{cc}5& 12\\ 7& 16\\ 9& 20\\ 15& 24\\ 21& 32\\ 27& 40\end{array}\right]$$

Khatri-Rao 积同样不满足交换律。

以上三种乘积的定义与区别可总结如下：

张量基础学习（四）：张量代数运算（下）

西瓜皮装猕猴桃 于 2020-07-12 20:45:06 发布

本期继续深入讨论张量的缩并、内积、双点积等代数运算。

一、张量的缩并

缩并是张量特有的代数运算。对 $n$ 阶张量进行缩并，即对其中两个相同的指标按爱因斯坦求和约定求和。

二阶张量缩并后得到标量。注意：低于二阶的张量无法进行缩并运算。

以三阶张量 $T_{ijk}$ 为例，将第一指标与第三指标缩并（即令 $i=k$），则三阶张量降为一阶张量：

根据爱因斯坦求和约定，每进行一次缩并运算，即对两个自由指标求和，使其化为一对哑指标，张量的阶数相应降低两阶。下图有助于直观理解这一过程：

矩阵乘法在本质上也可视为一种缩并运算。

此外需注意：对张量不同位置的基矢量进行缩并，所得结果一般不同，即 $\mathbf{R}\ne \mathbf{S}$。

上述内容仅为张量分析的基础概念介绍。

二、张量的内积与双点积

（1）内积与点积

内积：两个张量 $\mathbf{T}$ 与 $\mathbf{S}$ 先进行并积运算，再对指定的一对基矢量进行缩并，称为张量的内积。进行内积运算时，需明确指定 $\mathbf{T}$ 的哪一个基矢量与 $\mathbf{S}$ 的哪一个基矢量进行点积。

若 $m$ 阶张量 $\mathbf{T}$ 与 $n$ 阶张量 $\mathbf{S}$ 进行内积运算，所得新张量 $\mathbf{U}$ 的阶数为 $m+n-2$。

在线性代数中，两个向量的内积为标量，这是因为向量为一阶张量，$1+1-2=0$，所得结果恰好为零阶张量（标量）。

例如，设 $\mathbf{A}=A_{ijk}{\mathbf{e}}_i{\mathbf{e}}_j{\mathbf{e}}_k$（三阶张量），$\mathbf{B}=B_{lm}{\mathbf{e}}_l{\mathbf{e}}_m$（二阶张量），则二者内积为：

同理，选择不同的基矢量对进行缩并，所得内积结果亦不同。

点积是内积的一种特殊情形，定义为前张量 $\mathbf{A}$ 的最后一个基矢量与后张量 $\mathbf{B}$ 的第一个基矢量缩并的运算：

需注意：内积与点积的区别不仅在于缩并位置不同，所得结果亦不相同。

（2）双点积

双点积是指两个张量 $\mathbf{T}$ 与 $\mathbf{S}$ 并乘后进行两次缩并的运算。双点积有两种形式：

并联式：

串联式：

两种形式的区别在于缩并的指标对不同：并联式对相同位置的指标缩并，串联式对交叉位置的指标缩并。

以下以二阶张量为例说明二者关系：

二阶张量的迹可通过与单位张量 $\mathbf{I}$ 的双点积得到：

$$\mathrm{tr}\mathbf{S}=\mathbf{S}:\mathbf{I}=\mathbf{S}\cdot \cdot \mathbf{I}$$

三、特殊张量

（1）零张量

若张量的所有分量均为零，即 $T_{ij}=0$（在任意坐标系下 $T_{ij}^{\prime }=0$），则称该张量为零张量。

（2）单位张量

单位张量可类比于单位矩阵，定义为：

$$\mathbf{I}={\delta }_{ij}{\mathbf{e}}_i{\mathbf{e}}_j={\mathbf{e}}_1{\mathbf{e}}_1+{\mathbf{e}}_2{\mathbf{e}}_2+{\mathbf{e}}_3{\mathbf{e}}_3$$

其分量满足 $I_{ij}={\delta }_{ij}$，且在坐标变换下保持不变。单位张量与任意张量的点积等于该张量本身：

$$\mathbf{I}\cdot \mathbf{T}=\mathbf{T}\cdot \mathbf{I}=\mathbf{T}$$

（3）转置张量

对于二阶张量 $\mathbf{T}=T_{ij}{\mathbf{e}}_i{\mathbf{e}}_j$，其转置张量 ${\mathbf{T}}^{\mathrm{T}}$ 通过交换分量指标得到，基矢量顺序保持不变：

$${\mathbf{T}}^{\mathrm{T}}=T_{ji}{\mathbf{e}}_i{\mathbf{e}}_j=T_{ij}{\mathbf{e}}_j{\mathbf{e}}_i$$

高阶张量亦可进行转置运算，但其转置方式随阶数增加而趋于复杂。下图展示了三阶张量的几种转置结果：

随着张量阶数的增加，可能的转置方式亦随之增多。在实际应用中，高阶张量通常通过分解处理，以简化分析。

（4）对称与反对称张量

对于张量 $\mathcal{X}\in {\mathbb{R}}^{I_1\times I_2\times \cdots \times I_n}$，若 $I_1=I_2=\cdots =I_n$，且张量元素关于某一超平面对称，即对应位置元素相等，则称为对称张量；若对应位置元素互为相反数，则称为反对称张量。

$$\begin{array}{rlrl}T& =T^{\mathrm{T}},& T_{ij}& =T_{ji}\\ T& =-T^{\mathrm{T}},& T_{ij}& =-T_{ji}\end{array}$$

反对称张量的主对角线元素均为零。

四、张量的主轴、主值与主分量

设二阶张量 $\mathbf{T}$ 与向量 $\mathbf{b}$ 的点积产生新向量 ${\mathbf{b}}^{\prime }$。对于给定的 $\mathbf{T}$，是否存在某个方向上的非零向量 $\mathbf{b}$，使得 ${\mathbf{b}}^{\prime }$ 与 $\mathbf{b}$ 同向（仅长度改变），即满足：

$${\mathbf{b}}^{\prime }=\mathbf{T}\cdot \mathbf{b}=\lambda \mathbf{b}$$

上述方程与线性代数中的特征值问题具有相同的形式，其中 $\lambda$ 对应特征值，$\mathbf{b}$ 对应特征向量。

满足上述方程的非零向量 $\mathbf{b}$ 的方向称为张量 $\mathbf{T}$ 的主轴（或主方向），标量 $\lambda$ 称为其主值（或主分量）。

将 ${\mathbf{b}}^{\prime }=\mathbf{T}\cdot \mathbf{b}=\lambda \mathbf{b}$ 写成分量形式，整理可得齐次线性方程组：

$$(T_{ij}-\lambda {\delta }_{ij})b_j=0,i=1,2,3$$

该方程组存在非零解的充要条件是系数行列式为零：

$${\lambda }^3-I_1{\lambda }^2+I_2\lambda -I_3=0$$

式中三个不变量分别为：

迹
$$I_1=T_{11}+T_{22}+T_{33}=T_{ii}$$

二阶主子式之和

$$I_2=\left|\begin{array}{cc}{T}_{22}& T_{23}\\ T_{32}& T_{33}\end{array}\right|+\left|\begin{array}{cc}{T}_{11}& T_{13}\\ T_{31}& T_{33}\end{array}\right|+\left|\begin{array}{cc}{T}_{11}& T_{12}\\ T_{21}& T_{22}\end{array}\right|=\frac{1}{2}\left(T_{ii}{T}_{jj}-T_{ij}{T}_{ji}\right)$$

行列式本身

$$I_3=\left|\begin{array}{ccc}{T}_{11}& T_{12}& T_{13}\\ T_{21}& T_{22}& T_{23}\\ T_{31}& T_{32}& T_{33}\end{array}\right|={\epsilon }_{ijk}{T}_{1i}{T}_{2j}{T}_{3k}$$

求解上述特征方程，可得三个主值 ${\lambda }_1,{\lambda }_2,{\lambda }_3$，即张量 $\mathbf{T}$ 的主分量。

关于主分量与主轴，有以下结论：

1. 特征方程的成立与坐标系选取无关。
2. 若三个主值 ${\lambda }_1,{\lambda }_2,{\lambda }_3$ 互不相同，则对应的主轴方向 ${\mathbf{b}}_1,{\mathbf{b}}_2,{\mathbf{b}}_3$ 两两正交。
3. 若存在二重根（例如 ${\lambda }_1={\lambda }_2$），则垂直于 ${\mathbf{b}}_3$ 的平面内任意方向均为主方向。
4. 若三个主值相等（三重根），则任何方向均为主方向。

Reference

• 张量基础学习（一 概念，求和指标，符号）_张量运算符号-CSDN博客
  https://blog.csdn.net/qq_45777142/article/details/107115586
• 张量基础学习（二 . 坐标变换，分量转化规律与张量方程 ）_二阶张量坐标变换公式-CSDN博客
  https://blog.csdn.net/qq_45777142/article/details/107149606
• 张量基础学习（三 张量代数运算——上）_并积-CSDN博客
  https://blog.csdn.net/qq_4577142/article/details/107223109
• 张量基础学习（四 张量代数运算——下）_张量缩并-CSDN博客
  https://blog.csdn.net/qq_45777142/article/details/107280354