（精读）揭示多元时间序列的高阶组织

卜茶茶

2024-03-14 23:13:28

关注

VIP（精读）揭示多元时间序列的高阶组织

开通可读全文 ·2.4k 人阅读

最低0.47元/天解锁文章

原标题《Unveiling the higher-order organization of multivariate time series》

低阶依赖关系： 通过马尔科夫链的模型或分解机FM的模型建模分析；
高阶依赖关系： （跨多个用户项交互的复杂多级级联依赖关系）
（1）基于马尔科夫链方法建模；（2）基于RNN方法；
局限性：模型参数的数量随阶数呈指数增长，高阶马尔科夫链模型可能涉及的历史状态非常有限，而RNN中采用的过强假设限制了RNN在序列中灵活的高阶应用。
协同波动： 评估矩到矩的协同波动模式（与窗口法相比），量化了各区域在每个时间点上的一致波动幅度。
涌现： 在一定的组织层次上出现的新特性，而涌现特性来自于系统各组成部分的相互作用。

摘要

时间序列分析已经被证明是刻画生物学、神经科学和经济学中的一些现象以及理解它们的一些潜在动力学特征的有力方法。尽管针对多元时间序列的分析已经提出了很多方法，但大多数方法都忽略了非成对相互作用对涌现动力学的影响。在这里，我们提出了一个新的框架来刻画多元时间序列中高阶依赖关系的时间演化。利用网络分析和拓扑学，我们表明，与传统的基于成对统计的工具不同，我们的框架鲁棒地区分了耦合混沌映射的各种时空状态，包括混沌动力学阶段和各种类型的同步。因此，使用模拟动力学过程中的高阶共波动模式作为指导，我们强调并量化了大脑功能活动、金融市场和流行病数据中的高阶模式特征。
总体而言，我们的方法揭示了多元时间序列的高阶组织，从而能够更好地刻画现实世界数据所固有的动态组依赖关系。

正文

来自许多不同复杂系统的丰富的、在时间上可分辨的数据越来越多，这使得详细研究它们的行为和内部机制成为可能。这类系统的例子包括流行病、社会传染、金融、大脑和生物信号。所有这些系统都是由大量的基本单元组成的，它们以异质的方式相互作用，在几乎所有的情况下，都在宏观层面上显示出涌现的特性。由于构成此类系统的相互作用模式至关重要，因此复杂网络成为研究此类系统的结构和动力学的强大框架[1,2]，并有助于表征几种现实世界现象，包括疾病传播[3]，同步[4]，扩散[5]和意见形成[6]。

尽管被广泛认为是许多现实世界复杂系统的参考模型[7-9]，但网络描述的是一个时刻两个单元(或节点)之间的相互作用。然而，这与社会系统[10]、神经科学[11-13]、生态学[14]和生物学[15]中不断增长的群体相互作用的经验证据相冲突。

在上述所有情况下，连接和关系不仅发生在节点对之间，还发生在节点组的集体行动中。通过考虑更精细模型中的高阶(群体)相互作用，如超图和单纯复形[16,17]，最近的几项研究表明，高阶相互作用的存在可以对相互作用系统的动力学产生实质的影响[18,19]，包括改变同步[20]和扩散[21,22]的性质，以及社会[ 23-25 ]和进化过程[ 26 ]中的新集体动力学。

然而，直接测量成对或群体的相互作用来或来约束这些相互作用的这些高阶模型的方法很少。因此，在系统的时空活动模式编码了关于潜在交互的信息的前提下，通常必须依赖于从节点活动的时间序列中提取的间接数据。事实上，在支持多种运动和认知功能的大脑神经元活动中可以观察到这些复杂模式的例子[27,28]，在金融市场中，部分同步模式通常反映金融压力时期[29,30]，也在生物物种的共同进化中[31{33]也有体现。

虽然成对相互作用的推断有很长的历史[ 34 ]，但研究人员最近才迈出重建或过滤高阶相互作用的第一步[ 35-38 ]。特别地，仅依赖成对统计量的方法原则上可能是不充分的，因为重要的信息只能存在于联合概率分布中（考虑两个变量），而不能存在于成对边缘（只考虑一个变量）中，因此无法识别高阶行为[ 39 ]。目前，多变量时间序列中编码的信息在多大程度上源于独立的个体实体，或者更确切地说，源于它们的群体相互作用，仍然是不清楚的。这个问题的一个明显例子是两个大脑区域[ 40、41 ]之间的常规"功能连接"：无论两个区域的活动是成对达到峰值，还是作为一个更大的功能连贯区域的一部分，都可以绘制成对连接。

现有解决这一问题的建议大多局限于描述这种高阶交互的时间性或复杂性，只有少数例外[ 42 ]。例如：
信息论方法通过量化三个或更多相互作用变量组的内在统计协同性和冗余性来表征多元时间序列中的高阶依赖性[ 43-46 ]。
网络科学和随机矩阵理论相结合的一种方法[ 47 ]也被证明适用于揭示相关矩阵的介观组织。
然而，这些方法虽然非常强大，但却难以捕捉到关于系统动态的信息，因为它们需要随着时间的推移进行整合。
例外来自于一个引入了谱分解的工作，该工作将变量组的统计协同和冗余分解为不同的频段，这允许在时间上局部分析高阶依赖性[ 42 ]。
相比之下，来自网络神经科学和信号处理的工具很容易处理多元时间序列的动力学[ 48-55 ]，但只关注成对统计量，忽略了高阶交互作用的影响。因此，仍然缺乏一种原则性的方法来量化节点组的瞬时动态，并可能推断其高阶表示。

在这里，我们提出了一个新的框架来表征信号在所有相互作用阶数(对、三角形等)的瞬时协同波动模式，并研究这种协同波动的全局拓扑结构。我们通过连接时间序列分析、复杂网络理论和拓扑数据分析来实现[ 56 ]。我们首先通过探索时空混沌经典模型所展示的丰富的高维动力学来验证该框架。特别地，我们证明，与传统的基于成对统计的时间序列分析工具[ 57-59 ]不同，高阶测度能够在个体框架水平上揭示不同时空机制的细微差别。然后，我们使用从这些合成模型中获得的见解作为Rosetta stone来解释从时间序列重构的高阶结构，涉及三个不同的真实世界案例研究：静息态大脑活动(通过fMRI数据测量)，股票期权价格和美国各种疾病的流行病学发病率。在所有情况下，我们揭示了额外的丰富的高阶信息，而这些信息在节点和二元网络层面没有被捕获，并突出了不同的拓扑动力学机制，这反过来又会导致系统状态的瞬间分类。

最后，我们展示了推断的动态高阶结构如何提供系统空间配置的瞬时拓扑快照，这些快照可以用作在真实数据集上进一步任务的输入，包括检测大脑区域的局部整合，探索金融危机时期，或从空间传播模式中分类疾病类型。

Results

多元时间序列中高阶结构的拓扑标记

单纯复形非常适合作为描述成对相互作用和高阶相互作用共存的模型框架[ 16 ]。

单纯形（Simplex）：也可称为单形，一个d维单纯形（也表示为d-单形）是由一组(d+1)相互作用的节点形成的。它描述了节点间的多体交互，并允许单形的拓扑和几何解释。例如，节点是0-单纯形，链接是1-单纯形，三角形是2-单纯形，四面体是3-单纯形，以此类推。
单纯形示意图

单纯复形（Simplicial complex）：又称复形，是一个由单纯形组成的集合，每个单纯形的面都是此集合中的元素，其维度为该集合中最大维度单纯形的维度。

通过单纯复形很容易找出三个元素之间的群相互作用，可以表示为2-单纯形（三个节点），以及节点之间三个成对的相互作用，表示成1-单形（两个节点）。两两相互作用相对于高阶相互作用的相对重要性可以用单纯形的权重来表示，从而形成所谓的加权单纯复形。

我们依靠加权单纯复形表示来描述多个时间序列之间的高阶依赖关系。

在这里插入图片描述
算法：
1、对 N 个原始序列进行 z-score；
2、计算所有 k 阶模式的 z-score 的时间序列的元素积，用来表示一个含 k+1 个节点的群体的瞬时协同波动的涨幅；
3、编码 k 阶共波动的时间序列的结果集（即1阶共波动情况下的所谓的边缘时间序列）进一步跨时间进行 z-score，使之在 k 阶上具有可比性；同时选择给产生的权重分配符号，以便在 k 阶序列中区分：（1）完全和谐相互作用（全正或全负）（2）不和谐相互作用（正、负混合）（当 k ≥ 2 时，可能会出现相似的波动，但其机制不同）；
4、对每个时间 t ，将所有瞬时 k 阶共波动浓缩成一个单一的数学对象，即加权单纯复形；
5、对每个时刻 t ，构建一个滤波器 $F(k^{t})$ ，即按照权重对所有 k 阶波动进行排序，得到一个单纯复形的序列 $∅=S0⊂S1⊂⋯⊂Sl⊂⋯⊂Sn⊂Kt\emptyset=S_0\subset S_1\subset\cdots\subset S_l\subset\cdots\subset S_n\subset K^t$ 。

Methods

以边为中心：
（1）先对 $x_i,x_j$ 进行 $z - score$ ;
（2）将两个变量的 $z - score$ 相乘，看共同波动的幅度。
推广到高阶（三角形、四面体 $⋯\cdots$ )
（1）标准化： $zi=xi−μ[xi]σ[xi]z_i=\frac{x_i-\mu[x_i]}{\sigma[x_i]}$
（2） $k + 1$ 阶： $ξ0…k(t)=∏p=0kzp(t)−μ[∏p=0kzp]σ[∏p=0kzp]\xi_{0\ldots k}(t)=\frac{\prod_{p=0}^{k}z_p(t)-\mu[\prod_{p=0}^{k}z_p]}{\sigma[\prod_{p=0}^{k}z_p]}$
（3）为了区分 $k$ 阶乘积中的一致相互作用和不一致相互作用，给值赋正负号： $sign[ξ0…k(t)]=−1sgn[(k+1)−∣∑0ksgn[zi(t)∣]sign[\xi_{0\ldots k}(t)]=-1^{sgn[(k+1)-\mid\sum_{0}^{k}sgn[z_i(t)\mid]}$