重复博弈论在通信网络算法中的应用

重复博弈论作为通信网络中算法开发的框架

摘要

本文是一篇关于如何将重复博弈论作为通信网络中算法开发框架的教程。文章首先介绍单阶段博弈的基础知识，以及如何通过迭代消除和纳什均衡来预测此类博弈的结果。然而，在通信网络中，并非所有问题都可以用单阶段博弈进行建模。一些问题更适合通过多阶段博弈来描述，因为通信网络中的许多问题包含随时间进行的多次迭代或决策。在各种多阶段博弈中，本教程选择聚焦于无限期重复博弈，因为相比其他类型博弈中只能达到的次优均衡，无限期重复博弈能够实现最优均衡状态。在引入相关理论概念之后，文章进一步展示了所构建的博弈论模型及设计的均衡如何作为算法行为的基础，该算法旨在解决特定问题，并将在特定的网络设备上运行。

关键词

博弈论；重复博弈论；通信网络；算法开发

引言

博弈论是一种数学工具，旨在研究并预测两个或多个具有冲突利益的参与者之间情形的结果[1]。博弈论领域起源于决策理论，实际上可以将其视为针对多个参与者的决策理论的推广[1]。作为一门独立的学科，博弈论由约翰·冯·诺依曼和摩根斯坦在[2]中开创，奠定了现代博弈论的基础。他们提出了博弈的一般形式化描述，分析了若干零和博弈，并设计了这些博弈的解决方案。

继[2]发表的概念之后，许多其他相关研究相继问世，例如[3]中首次对囚徒困境的数学讨论以及[4]中提出的纳什均衡，后者可能是其中最重要的贡献之一。纳什均衡非常重要，因为它适用于多种类型的博弈[1, 4]。随着对扩展形式和重复博弈等多种博弈类型的研究与分析，该领域不断发展，这些内容将在本教程中进行介绍[5, 6]。博弈论还为当今非常活跃的现代学科奠定了基础，例如算法博弈论和机制设计[7, 8]。

自诞生以来，博弈论主要被研究并用于经济目的，但其他领域也开始采用它。例如，博弈论被广泛应用于生物学，这主要归功于约翰·梅纳德·史密斯的工作，他提出了进化稳定策略[9]。其他领域如政治和社会科学也相继跟进并开始使用博弈论[10]。计算机科学和通信网络也不例外，计算机科学与博弈论交叉领域的前沿涌现了大量研究。在计算机科学与博弈论的多数研究都涉及复杂性理论，其中提出了多种用于计算纳什均衡的算法，并对其进行了研究[11]。

在通信网络领域，博弈论主要用于分析目的，其中路由器等设备被视为具有自私利益的参与者。然而，也有一些研究将博弈论作为通信网络中算法开发的框架。在[12]中，借助重复博弈模型开发了一种用于公平带宽分配的算法，该算法控制无线路由器的输出队列。在[13]中，采用斯塔克尔伯格博弈模型来解决毫微微小区中的资源分配问题。在这些场景中，干扰可能起到重要作用，因此所开发的模型引入了针对毫微微小区用户的定价系统，以抑制对可用频谱的过度使用并降低干扰。在[14]中，采用非合作博弈论对无线网络进行建模，其中用户拥有多个可用连接，并面临多项连接决策，这些决策可能导致网络中的服务质量失衡。在[15]中，通过使用合作博弈论研究正交频分多址网络中的资源分配问题，以实现带宽分配的公平性。

在军用无人机[16]的不同环境中，采用联盟形成博弈，航空器组成联盟以从不同的地理位置收集数据，并通过彼此作为中继，以最有效率的方式将数据无线传输至中央基站。在讨论资源分配中的公平性时，一种可能的策略是通过应用排队机制和规则来强制实现这种公平性。这正是[17]所采取的方法，其中建立了一个合作博弈，并且合作带来的收益由随机变量描述。

本教程展示了如何将重复博弈论用作通信网络中算法开发的框架，而不仅仅将其作为分析工具。本教程不要求读者具备博弈论的先验知识。即，教程首先介绍单阶段博弈的基础知识，并在此基础上继续讲解动态博弈和重复博弈。本文展示了如何利用无限期重复博弈获得最优的纳什均衡策略，而相应的单阶段博弈版本仅能得到次优的纳什均衡，并说明了这一点如何支持在网络设备上运行的算法的开发。本教程还通过来自[12]的一个简化模型示例，说明了如何使用博弈论对问题进行建模、设计均衡策略，并开发模仿该均衡策略的算法。

本文的其余部分组织如下。下一节介绍单阶段博弈、纯策略与混合策略以及纳什均衡。第3节介绍多阶段博弈及其纳什均衡和逆向归纳法。第4节介绍重复博弈，以及无限期重复博弈中的纳什均衡和民间定理。第5节通过一个从模型到算法开发的示例进行说明。最后，第6节给出一些结论，结束本教程。

2. 单阶段博弈

博弈论可用于建模和研究参与者具有冲突利益的情况。这种情况的一个典型例子是广为人知的囚徒困境，其通常表述如下[1]。两名男子被捕，但警察没有足够的信息使他们被定罪。随后，这两名囚犯被分别且同时审讯。每名囚犯都可以选择保持沉默或背叛对方。如果两人都保持沉默，则两人都将入狱1个月。如果一名囚犯背叛对方而对方保持沉默，则沉默的囚犯将入狱12个月，而背叛者因与警方合作将被释放。最后，如果两名囚犯同时背叛对方，则两人都将入狱3个月。问题是，在无法确定对方会背叛还是保持沉默的前提下，囚犯们会如何行动？如果两人都保持沉默，两人都只会受到轻刑（1个月）。然而，每个囚犯都可能出于被释放的诱惑而倾向于背叛对方。结果，两人最终可能都选择背叛对方。这便是困境所在。

2.1. 标准型与策略型表示

博弈可以用多种不同的形式表示。其中最常见的一种是标准形式表示，它对于参与者较少且每个参与者只有少数可用行动的简单博弈非常有用[1, 19]。这种表示方法由一个表格构成，其中行代表一个参与者的策略，列代表另一个参与者的策略。某一行和某一列的交集所对应的单元格中包含双方参与者将获得的收益。以刚刚提出的转发者困境为例，其中有两位玩家，p1和p2，他们可以选择转发或丢弃数据包，分别用F和D表示。转发者困境的标准形式表示如表I所示。表格中的行代表p1可采取的行动，而列表示p2可采取的行动。

表I. 标准形式下的转发者困境。
| | p2 | |
|-------|--------|--------|
| | F | D |
| p1 | | |
| F | (1−C, 1−C) | (−C, 1) |
| D | (1, −C) | (0, 0) |

如前所述，选定的行与列交叉所得的单元格中包含了参与者将获得的收益。例如，如果p1选择转发而p2选择丢弃数据包，则对应单元格中的内容为(−C, 1)，这意味着p1获得的收益为−C，而p2获得的收益为1。包含每位玩家所选策略的元组称为策略组合。在刚才使用的例子中，即p1选择转发而p2选择丢弃，其策略组合为(F, D)。

标准形式表示适用于简单的示例；然而，对于参与者众多且策略复杂的博弈，使用标准形式表示是不可能的。对于这些情况，策略型最为合适。在这种形式中，一个博弈由 $ G = {P; S; U} $ 表示，其中P表示参与者集合，S表示所有策略组合的集合，U表示效用函数集合，接下来将进行解释[1, 18, 19]。

所有策略组合的集合可以通过 $ S = \prod_{i \in P} S_i $ 得到，其中 $ S_i $ 是玩家i可用的所有策略的集合。在博弈论文献中，为方便起见，除i以外的所有参与者集合记为−i。这样，就可以表示一个由玩家i的某一特定策略 $ s_i \in S_i $ 以及其余所有参与者策略的任意组合 $ s_{-i} \in S_{-i} $ 构成的策略组合 $ (s_i, s_{-i}) $。

至于效用函数集合 $ U = {u_i | i \in P} $，它包含了每个参与者根据所选策略组合获得的收益，即 $ u_i: S \rightarrow R $ [1, 18, 19]。

博弈中的参与者可以具有完全信息或不完全信息。在完全信息博弈中，每位玩家 $ i \in P $ 了解其所参与博弈的全部信息。更具体地说，每位玩家 $ i \in P $ 知道所有其他参与者、他们的可用策略以及相应的收益。此外，每位参与者都知道对手也拥有这些信息。这种知识可用于智能地选择能够提供最高可能收益的策略[1, 18, 19]。

另一方面，在不完全信息博弈中，参与者不知道对手可用的策略，也不知道相应的收益。尽管可能了解一些关于对手的信念，但这些信念并不准确，因此参与者的行为可能会有所不同。在本论文中，仅使用完全信息博弈。

定义1（完全信息博弈）
完全信息博弈是指每个玩家 $ i \in P $ 都知道所有其他参与者、他们的可用策略以及他们因所选择的策略组合而获得的所有收益。

2.2. 支配策略

在博弈论中，参与者选择其策略以获得尽可能高的收益。因此，可以预期那些从不会带来高收益的策略永远不会被选择。考虑来自[1]的参与者p2在表二中的博弈，他永远不会选择策略 $ z_2 $。因为无论对手如何行动，p2通过选择 $ x_2 $ 或 $ y_2 $ 都能获得更高的收益。在这种情况下，称策略 $ z_2 $ 被强支配[1, 18, 19]。

定义2（强支配）
玩家i的策略 $ s’ i $ 是强被支配的，如果对于i的对手所采用的任何策略组合 $ s {-i} \in S_{-i} $，至少存在一个 $ s_i \neq s’ i $，使得 $ u_i(s’_i, s {-i}) < u_i(s_i, s_{-i}) $。

强被支配策略可以从博弈中移除，因为理性玩家永远不会选择它们。对于表二中的博弈，如果消除策略 $ z_2 $，则得到的博弈将是表III中的博弈。注意，在消除 $ z_2 $ 后的所得博弈中，参与者p1的策略 $ y_1 $ 也变为强被支配策略，因此可以被移除。这种对强被支配策略的消除过程称为迭代消除[1, 18, 19]。最终，对于给定的例子，每个参与者仅剩下一个策略，p1剩下 $ x_1 $，p2剩下 $ x_2 $。由于预期会选择策略组合 $ (x_1, x_2) $，参与者p1将获得收益2，参与者p2将获得收益3。

表II. 一个具有严格劣势策略的博弈示例，取自[1]。
| | p2 | | |
|-------|--------|--------|--------|
| | x2 | y2 | z2 |
| p1 | | | |
| x1 | (2, 3) | (3, 0) | (0, 1) |
| y1 | (0, 0) | (1, 6) | (4, 2) |

表III. 表二中的博弈，其中强支配策略已被消除。
| | p2 | |
|-------|--------|--------|
| | x2 | y2 |
| p1 | | |
| x1 | (2, 3) | (3, 0) |
| y1 | (0, 0) | (1, 6) |

策略也可能被弱支配[1, 18, 19]。

定义3（弱劣势）
玩家i的策略 $ s’ i $ 是弱被支配的，如果对于i的对手所采用的任何策略组合 $ s {-i} \in S_{-i} $，至少存在一个 $ s_i \neq s’ i $，使得 $ u_i(s’_i, s {-i}) \leq u_i(s_i, s_{-i}) $，并且对于至少一个 $ s_{-i} \in S_{-i} $ 严格不等式成立。

通过迭代消除来移除弱劣势策略也是可行的；然而，这可能导致出乎意料的结果。考虑来自[20]的表IV中的博弈，其有两个弱劣势策略，$ x_1 $ 和 $ y_1 $。在图2中，可以看出先消除 $ x_1 $ 或先消除 $ y_1 $ 可能导致不同的结果。也就是说，弱劣势策略的消除顺序可能导致不同的结果。这种情况不会发生在强被支配策略上，因为消除操作不会导致强被支配策略失去其强被支配性。而另一方面，当其他策略被移除时，一个弱劣势策略可能不再处于被支配状态。

表IV. 来自[20]的具有弱劣势策略的博弈示例
| | p2 | |
|-------|--------|--------|
| | x2 | y2 |
| p1 | | |
| x1 | (1, 0) | (0, 2) |
| y1 | (0, 2) | (2, 0) |
| z1 | (1, 1) | (2, 1) |

2.3. 纳什均衡

通过迭代消除并不总是能够预测博弈的结果。例如，来自[1]的表五中的博弈没有被支配的策略。然而，仍然有可能预测博弈的结果。为此，需要引入最佳响应的概念[1, 18, 19]。

定义4（最佳响应）
玩家i的最佳响应是一个函数 $ br_i(s_{-i}) $，该函数输出在对手采用策略 $ s_{-i} $ 时，玩家i应选择的使其获得最大可能收益的策略。即，$ br_i(s_{-i}) = \arg\max_{s_i \in S_i} u_i(s_i, s_{-i}) $。

表V. 一个没有被支配策略的博弈示例，取自[1]。
| | p2 | | |
|-------|--------|--------|--------|
| | x2 | y2 | z2 |
| p1 | | | |
| x1 | (3, 0) | (0, 2) | (0, 3) |
| y1 | (2, 0) | (1, 1) | (2, 0) |
| z1 | (0, 3) | (0, 2) | (3, 0) |

在表V所示的博弈中，参与者p1的策略x1是针对参与者p2策略x2的最佳响应。反过来，策略x2是策略z1的最佳响应。一个有趣的策略组合是p1选择策略y1且p2选择策略y2，对应的收益为(1,1)。在这种情况下，y1是y2的最佳响应，同样地，y2是y1的最佳响应。该策略组合实际上是此博弈的预期结果，因为没有任何参与者有动机单方面选择不同的策略。也就是说，如果p1选择x1或z1，其收益将会减少，前提是p2不改变其策略。类似地，由于p1选择了策略y1，p2也不会转向x2或z2，否则其收益也会减少。这种没有任何参与者有动机偏离的策略组合被称为纳什均衡[1, 18, 19]。

定义5（纳什均衡）
策略组合 $ s^ $ 是一个纳什均衡，如果 $ u_i(s^ i, s^ _{-i}) \geq u_i(s_i, s^ {-i}) $，∀ $ s_i \in S_i $，$ s_i \neq s^*_i $，∀ $ i \in P $，且至少有一个严格不等式。

一个博弈中可能存在多个纳什均衡。在表IV的示例中，通过迭代消除弱劣势策略得到的两种策略 $ (z_1, x_2) $ 和 $ (z_1, y_2) $ 实际上都是纳什均衡策略。事实上，通过迭代消除得到的策略组合始终是纳什均衡策略组合。但需要注意的是，在迭代消除弱劣势策略的情况下，所得出的策略组合只是纳什均衡策略组合的一个子集，这意味着可能存在更多的纳什均衡策略组合[1]。而对于强被支配策略的迭代消除，所得到的策略组合是唯一的纳什均衡，如表II中的博弈所示[1]。

纳什均衡如所示，可预测博弈的结果。例如，在表I的转发者困境中，纳什均衡策略组合为(D, D)。请注意，此结果并非最有效率的，因为如果采用策略组合(F, F)，双方参与者均可获得更高的收益。然而，由于任一参与者都可能为了获得最高的1收益而倾向于背叛，因此双方参与者出于防范心理最终都选择了D，以避免获得−C。在这种情况下，纳什均衡策略并非最有效结果，因为参与者获得的收益为(0, 0)，而如果选择策略组合(F, F)，则可以获得更高的收益(1−C, 1−C)。事实上，纳什均衡仅预测了互不信任的理性玩家的自然选择，在许多博弈中，它并不是最有效率的结果。挑战在于设计出能够激励参与者合作的系统，比如在转发者困境中相互转发流量，从而实现有效率的纳什均衡[7, 8, 21]。

在博弈论中，转发者困境的策略组合(F, F)被称为相对于其他组合是帕累托更优的。

定义6（帕累托更优）
策略组合 $ s \in S $ 帕累托更优于 $ s’ \in S $，如果 $ u_i(s_i, s_{-i}) \geq u_i(s’ i, s’ {-i}) $，∀ $ i \in P $，且至少有一个严格不等式。

博弈中最有效率的结果是每个参与者收益最高的结果，在转发者困境中即为(F, F)。这种有效结果被称为帕累托最优，且不存在任何其他策略组合对此结果是帕累托更优的[1, 18, 19]。

定义7（帕累托最优）
一个策略组合 $ s \in S $ 是帕累托最优的，如果没有任何其他策略相对于 $ s $ 是帕累托更优的。

存在一些纳什均衡是帕累托最优的情况。在这种情况下，称该纳什均衡是帕累托有效的。显然，最理想的纳什均衡是帕累托有效的，因为其收益更高。

2.4. 混合策略

到目前为止，本章一直假设参与者选择一个特定的策略进行博弈，并且博弈的预期结果是一个纳什均衡组合。然而，在某些博弈中，纳什均衡可能并不存在，如从[22]中引用的表VI示例所示。

参与者无需选择应采用的具体策略，而是可以在其可用策略上定义一个概率分布。在表VI的示例中，如果双方参与者都对其每种策略赋予二分之一的概率，则会形成纳什均衡，这一点将在下文阐明。这种分布被称为混合策略[22]。

定义8（混合策略）
混合策略 $ \sigma_i $ 是参与者i的策略上的一个分布；玩家i的所有混合策略的集合记为 $ \Sigma_i $（σ的大写形式）。类似于策略组合 $ s \in S $，混合策略组合可定义为 $ \sigma = \prod_{i \in P} \Sigma_i $。此后，为了避免混淆，将S中的组合称为纯策略组合，而将Σ中的组合称为混合策略组合。

由于混合策略定义了在可用纯策略集合上的概率，因此在这种情况下，效用函数揭示了基于所选混合策略组合σ[1, 19, 22]的期望收益：
$$
u_i(\sigma) = \sum_{s \in S} \left[ u_i(s) \prod_{j \in P} \sigma_j(s_j) \right]; \quad (1)
$$
其中，$ s_j $ 是策略组合 $ s $ 中玩家 $ j $ 的策略，$ \sigma_j(s_j) $ 表示选择 $ s_j $ 的概率。因此，$ u_i(s) \prod_{j \in P} \sigma_j(s_j) $ 表示当选择策略组合 $ s $ 时，玩家 $ i $ 的期望收益。

关于表VI中的博弈，假设玩家集合1以概率 $ q_{x1} $ 选择 $ x_1 $，玩家集合2以概率 $ q_{x2} $ 选择 $ x_2 $，则玩家集合1的期望收益可计算为：
$$
u_{p1}(\sigma) = 1q_{x1}q_{x2} + (-1)q_{x1}(1 - q_{x2}) + (-1)(1 - q_{x1})q_{x2} + 1(1 - q_{x1})(1 - q_{x2});
$$
其中，1 和 −1 是参与者 $ p1 $ 在不同策略组合下获得的收益。如前所述，纳什均衡在此情况下存在，即当 $ q_{x1} = q_{x2} = 1/2 $ 时，此时在该混合纳什均衡中，两个参与者获得的收益均为0。根据米尔森[1]以及弗登伯格和梯若尔[19]的观点，每个具有有限策略集合的博弈至少存在一个纯策略或混合纳什均衡。需要注意的是，混合纳什均衡策略组合从不满足帕累托最优，因为混合策略组合实际上是纯策略的线性组合，因此其产生的收益不可能高于纯策略所获得的收益。

在继续之前，让我们列出本节介绍的所有重要概念：
- 标准型与策略型表示。
- 完全信息与不完全信息博弈。
- 强劣势策略和弱劣势策略。
- 纳什均衡。
- 帕累托占优与帕累托最优策略。
- 混合策略。

3. 动态博弈

单阶段博弈只能对所有参与者同时做出决策的情况进行建模。然而，许多情况更适合用包含多个阶段的博弈来建模[1, 19,23]。例如，在转发者困境中，参与者可能并非同时拥有需要发送的数据包。假设p2是第一个有数据包要发送的参与者，该数据包可由p1选择转发或不转发；紧接着，p1也发送一个数据包，p2可选择是否转发。这类博弈被称为动态博弈或多阶段博弈。在本章以及整篇论文中，仅考虑具有完全信息的动态博弈。

定义9（完全信息）
完全信息动态博弈是指每个玩家 $ i \in P $ 都知道所有对手在之前阶段采取的所有行动。

在之前的多阶段转发者困境示例中，玩家 $ p2 $ 可以根据上一阶段中玩家 $ p1 $ 的行动来决定是否进行转发。

显然，动态博弈需要一种不同的表示方法，必须能够展示参与者进行决策的顺序[1]。

图3展示了转发者困境的扩展形式表示，这种表示方法最适合此类情况。扩展形式由树结构组成，其中根节点代表博弈中的第一个决策。在前面的例子中，第一个决策由p1做出。带有标签（F和D）的行表示参与者可采取的行动。在第一阶段，参与者p1可以决定转发（F）或丢弃（D）来自p2的数据包。树的叶节点包含参与者根据其决策所获得的收益。

在多阶段博弈中，第一阶段行动的参与者拥有的策略集合与单阶段博弈中的可用策略集合相同。例如，图3中的参与者p1可选择的策略为：$ S_{p1} = {F, D} $。后续阶段的参与者可以根据前一阶段的行动来做出决策。图3中的参与者p2可以根据p1在前一阶段的选择来决定其行动。因此，在多阶段博弈中，p2的策略将会不同。在这种情况下，p2可选择的策略包括： $ S_{p2} = {FF, FD, DF, DD} $。p2策略中的第一个字符表示当p2在第一阶段选择F时p1所采取的行动，第二个字符表示当p2在第一阶段选择D时p1所采取的行动。例如，策略(FD)表示p2若p1在前一阶段已转发，则选择转发；若p1在前一阶段已丢弃，则选择丢弃。如前所述，叶节点表示参与者根据所做决策获得的收益。

3.1. 纳什均衡与逆向归纳法

动态博弈中的纳什均衡概念与单阶段博弈并无不同。也就是说，如果没有任何参与者可以通过单方面偏离来增加其收益，则该策略组合即为纳什均衡。考虑图4中的示例，该示例取自[22]的纯策略纳什均衡策略组合是(H, DD)、(H, DH)和(D, HH)。这些纳什均衡可以更方便地从表VII所示的标准型等价博弈中提取出来。注意，表格的行包括p1当前可能的行动（H和D），而列包括基于p1之前行动的p2当前可能的行动（HH、HD、DH和DD）。在策略组合(D, HH)中，该组合是纳什均衡之一，p2威胁无论p1采取何种行动都将选择H。参与者p1意识到这一威胁，因此可能会对HH采取其最佳响应策略D。然而，仔细观察图4可知，如果p1在第一阶段选择H，则p2实际上并不愿意在第二阶段选择H，因为D将为p2带来更高的收益。这类威胁被称为空洞威胁，因为p2实际上是在虚张声势，HH并不代表一个真实的威胁[19, 22]。

在多阶段博弈中寻找纳什均衡策略组合可能会导致空洞威胁，而通过逆向归纳法[19, 22]可以消除这些空洞威胁。该方法首先分析最后阶段最有利的行动，然后根据最后阶段最有利的行动，分析倒数第二阶段最有利的行动是什么。这种分析在树结构中不断向上推进，直到达到根节点。

以图4中的博弈为例。首先，在考虑p1所有可能的先前行动的情况下，确定能使p2获得最高收益的行动。如果p1选择了H，则p2的最佳选择是D；另一方面，如果p1选择了D，则p2选择H会更好。根据p2的最佳行动，可以确定使p1获得最高收益的行动。显然，p1选择H会更好，因为这将为其带来更高的收益。在图5中，可以看到逆向归纳法的结果，其中粗线标记了每个阶段的最佳行动。从根节点到叶节点的连续粗线路径表示博弈的预测结果。因此，(H, DD)和(H, DH)是预测的博弈结果，因为这两个策略都导致了通过逆向归纳法所选择的行动。

表VII. 图4的标准型等价博弈
| | p2 | | | |
|-------|--------|--------|--------|--------|
| | HH | HD | DH | DD |
| p1 | | | | |
| H | (−2, −2) | (−2, −2) | (6, 0) | (6, 0) |
| D | (0, 6) | (3, 3) | (0, 6) | (3, 3) |

As提醒一下，以下列表总结了本节介绍的重要概念:
- 多阶段博弈。
- 完全信息博弈。
- 多阶段博弈中的逆向归纳法与纳什均衡。

4. 重复博弈

重复博弈是一类特定的动态博弈，其中参与者反复面对相同的单阶段博弈[1, 19, 22, 23]。重复博弈的一个例子是重复的转发者困境，即表I中的博弈在多个阶段中被反复进行。在每一阶段t，每个玩家 $ i \in P $ 都必须选择自己的行动 $ a_i(t) $。在阶段t所有参与者所选行动的组合表示为 $ a(t) = (a_{p1}(t), a_{p2}(t), …, a_{p|P|}(t)) $。

本文仅考虑具有完全信息的重复博弈。因此，在每个阶段，所有参与者都能获得所有先前行动的历史 $ h(t) = (a(0), a(1), …, a(t−1)) $。该历史被用作每位参与者的策略输入，以决定下一步的行动：$ s_i(h(t)) = a_i(t) $。显然，策略组合输出下一组行动组合，即 $ s(h(t)) = a(t) $。

4.1. 有限博弈与纳什均衡

重复博弈可以是有限期的，这意味着阶段数量是有限的，或者是无限期的，这意味着参与者在无限或未知数量的阶段中进行互动[1, 22]。有限期博弈中每个玩家 $ i \in P $ 的收益可以通过对所有阶段的阶段收益求和来计算：
$$
U_i(s) = \sum_{t=0}^{T} u_i(s(h(t))); \quad (2)
$$
其中T为最后阶段，$ u_i $ 是玩家i的阶段收益，$ U_i $ 是总收益。以重复的转发者困境为例，假设双方参与者均采用在每一阶段选择F的策略，则此时双方获得的收益为 $ \sum_{t=0}^{T}(1−C) = (T+1)(1−C) $。

为了理解有限期博弈中的纳什均衡，让我们继续考虑重复的转发者困境。如果两名参与者在阶段T之前一直选择行动F，那么其中一名参与者可以在最后一个阶段T偏离至行动D以增加其收益。对方知道这一点，为了避免在最后阶段获得−C，他或她也可以选择行动D。此外，由于可以预测到两名参与者在最后阶段都会选择D，因此参与者也可以在倒数第二阶段偏离以提高自己的收益。按照这种推理，在每个阶段都选择行动(D, D)的策略组合是有限期重复转发者困境的一个纳什均衡。注意，这种用于寻找纳什均衡的方法与第3.1节中介绍的逆向归纳法类似。因此，任何产生逆向归纳法所预测结果的策略组合都是一个纳什均衡。

4.2. 无限期重复博弈与纳什均衡

如前所述，无限期重复博弈将永远进行下去，或进行未知数量的阶段。因此，有限期博弈的支付函数（如公式(2)所示）不能用于无限期博弈，因为它可能导致无限收益。相反，采用一种称为贴现收益的加权和[1, 22, 23]：
$$
U_i(s) = (1−δ) \sum_{t=0}^{\infty} δ^t u_i(s(h(t))); \quad (3)
$$
其中，δ是权重因子，称为贴现因子，其取值范围仅为0到1之间， $ 0 < δ < 1 $。至于 $ (1−δ) $，它用于对收益进行归一化处理，从而可以将贴现收益与各阶段获得的收益进行比较。例如，在一个无限期重复博弈中，若玩家i在每一阶段都获得阶段收益1，则i的贴现收益为1。

注意，随着t的增大，δ^t逐渐减小。因此，随着t增大，阶段收益的重要性降低，因为阶段收益被乘上了逐渐减小的δ^t。博弈中赋予δ的实际值将影响阶段收益重要性下降的速度，从而改变参与者的行为和纳什均衡策略组合，这一点将在接下来的内容中加以说明。

在无限期博弈中，类似于单阶段博弈，若满足以下条件，则策略组合 $ s^ \in S $ 是一个纳什均衡：
$$
U_i(s^ i, s^ _{-i}) \geq U_i(s_i, s^ {-i}); \quad \forall s_i \in S_i, \forall i \in P: \quad (4)
$$
然而，在无限期博弈的情况下，纳什均衡受到贴现因子以及博弈无限进行这一事实的显著影响[1, 22, 23]。为了说明这一点，我们引入在博弈论文献中广泛使用的冷酷触发策略[1, 22, 23]。采用该策略的玩家i在每一阶段都会付出努力，只要对手也合作；一旦对手有一次不合作，玩家i将从此停止合作。将此策略应用于转发者困境，并将其中一个参与者标记为i，另一个对手标记为j（若i = p1，则j = p2；若i = p2，则j = p1），冷酷触发策略可由以下方程定义：
$$
s_i(h(t)) =
\begin{cases}
F, & \text{if } (a_i(t−1) = F) \text{ and } (a_j(t−1) = F) \
D, & \text{otherwise}
\end{cases} \quad (5)
$$
如果在无限期重复的转发者困境中，两位参与者都采用该策略，那么他们在所有阶段都将选择行动F。这种策略组合对两位参与者的最终结果将是：
$$
(1−δ)[(1−C)δ^0 + (1−C)δ^1 + …] = (1−δ)\left[(1−C)\sum_{t=0}^{\infty} δ^t\right] = (1−δ)\left[\frac{(1−C)}{1−δ}\right] = (1−C)
$$
如果玩家i在某个阶段t 偏离，则i在该阶段将获得更高的收益，但在此之后将获得零收益。偏离玩家的贴现收益可按以下方式计算：
$$
(1−δ)[(1−C)δ^0 + (1−C)δ^1 + … + 1δ^{t } + 0δ^{t +1} + 0δ^{t +2} + …] = (1−δ)\left[(1−C)\sum_{t=0}^{t −1} δ^t + δ^{t }\right] = (1−δ)\left[(1−C)\frac{1−δ^{t }}{1−δ} + δ^{t }\right] = (1−C)(1−δ^{t }) + (1−δ)δ^{t } = (1−C) + δ^{t }(C−δ)
$$
对于双方参与者都采用冷酷触发策略的策略组合，要成为纳什均衡，参与者i的偏离行为不能是有利可图的。即：
$$
1−C > 1−C + δ^{t }(C−δ), \quad 0 > δ^{t*}(C−δ)
$$
因为 $ 0 < δ < 1 $，所以为了使不等式成立，必须有 $ δ > C $。只要转发分组的成本C小于贴现因子δ，采用冷酷触发策略就比偏离该策略更有利。这导致了一个纳什均衡策略组合，在该均衡中，两个参与者都通过互相转发数据包来付出努力。

如前所述和举例所示，贴现因子是无限期重复博弈中纳什均衡的一个重要组成部分。如果贴现因子δ接近于0，则后续阶段收益的重要性会迅速下降，因此第一阶段的相关性远大于后续各阶段的收益。在这种情况下，参与者
是主要关注第一阶段，并试图获得尽可能高的即时收益。这类似于不耐烦的参与者的行为，其主要关心当前阶段收益。另一方面，如果δ接近于1，则后续阶段收益的重要性下降较慢，迫使参与者更具耐心并选择合作，以避免在未来阶段遭受严厉惩罚。将这一推理应用于冷酷触发策略在重复的转发者困境中成为纳什均衡的必要条件，即δ > C，不耐烦的路由器将偏离该策略并丢弃数据包，而有耐心的路由器则会遵循该策略并转发数据包。

δ的另一种含义是，它可以表示博弈在当前阶段结束的概率。也就是说，较高的δ值意味着存在更多阶段的概率较高，而较低的δ值表示博弈进入下一阶段的概率较低。因此，如果博弈进行多个阶段的概率较高，则参与者将更有耐心并选择合作；反之，如果博弈很可能只进行少数几个阶段，则参与者将不会在意合作或可能的惩罚，而是试图获取最高的即时收益。

如所示，只要贴现因子足够高，重复博弈中就可能出现参与者合作的均衡策略。在通信网络中，通常可以认为贴现因子接近于1。其原因是网络预期运行时间非常长，且无法预知网络何时会停止运行[18]。也就是说，网络持续运行多个阶段的概率很高，因此可以假设δ接近于1。

4.2.1 民间定理

在无限期重复博弈中存在许多在单阶段博弈中不存在的纳什均衡策略组合。这使得可以获得某些在单阶段博弈的纳什均衡中无法实现的收益。为了理解哪些收益值是可能的，让我们引入最小最大收益[22, 23]。

定义10（最小-最大收益）
参与者i的最小最大收益定义为 $ \underline{u} i = \min {s_{-i}} \max_{s_i} u_i(s_i, s_{-i}) $。

也就是说，最小最大收益是指当所有对手都选择一种策略以最小化玩家i的收益时，玩家i通过选择最佳响应来最大化自身收益所能获得的最低收益。在转发者困境中，这对应于双方玩家均选择D时所获得的收益(0, 0)。在无限期重复博弈中，任何大于或等于最小最大收益的收益都可以通过纳什均衡策略组合实现。在图6中，无限期转发者困境的最小最大收益用粗线表示。灰色区域表示由纳什均衡策略[22, 23]可实现的所有可行支付。

定义11（可行收益）
可行收益配置集合由 $ \mathcal{U} = {u = (u_1, u_2, …, u_{|P|}) : u_i \geq \underline{u}_i, \forall i \in P} $ 给出。

只要贴现因子δ足够高，纳什均衡策略组合就能实现可行区域内的任何收益。

定理1（民间定理）
对于每个可行的收益配置 $ u^ \in \mathcal{U} = {u = (u_1, u_2, …, u_{|P|}) : u_i > \underline{u}_i, \forall i \in P} $，存在一个贴现因子 $ \delta < 1 $，使得对于所有 $ \delta \in [\delta, 1) $，都存在一个具有收益 $ u^ $ 的纳什均衡配置。

在所有可能的均衡结果中，从网络角度而言，收益最高、即通过帕累托有效均衡策略组合所获得的结果是最理想的。可以开发一种算法来模拟这种帕累托有效均衡策略的行为。例如，在重复的转发者困境中，可以设计一种算法，使得每个参与者在每一阶段都选择合作，只要对方也持续合作；如果发现对方背叛，则受害方可以通过在一定数量的阶段内不转发其数据包来惩罚该背叛的对手。这种惩罚必须持续足够多的阶段，以确保惩罚足够严厉，从而阻止任何偏离合作行为的发生。也就是说，必须让潜在的背叛者明确意识到，背叛并不会带来更高的收益。总体思路是将所研究的问题建模，并寻找具有尽可能高收益的均衡策略组合。在此基础上，便可开发出能够模拟该均衡策略组合行为的算法。

转发者困境的例子代表了一种参与者具有明显冲突目标的博弈。这可以应用于属于具有自私利益的不同自治网络的边界路由器。然而，正如下一节通过一个例子所展示的那样，博弈论也可以用于仅在某些情况下出现冲突或参与者之间缺乏协调的情境中。

在进入下一节的示例之前，请参考以下列表，以概览本节介绍的所有重要概念：
- 有限期博弈和无限期博弈。
- 有限期与无限期博弈中的纳什均衡。
- 折现因子在无限期博弈纳什均衡中的重要性。
- 无限期博弈中的最小最大收益。
- 无限期博弈的可行支付与民间定理。

5. 通信网络环境中的算法开发

如前所述，网络中的设备/参与者无需具有持续的冲突利益，博弈论仍可作为开发算法的有效手段。为了展示所提出的博弈论如何应用于通信网络，本节将展示来自[12]的一个简化模型。在此示例中，由服务提供商部署的多个无线路由器的目标是尽可能转发更多的流量，同时避免资源浪费。

5.1. 光纤无线接入网络场景

光纤无线接入网络采用光和无线技术的结合，为用户提供互联网接入。它们由两部分组成：一个光后端部分，将光纤从中心局延伸到用户附近；以及一个无线前端部分，为用户提供无线互联网接入。此处假设无线前端由网状拓扑结构中的无线路由器构成，如图7所示。其中一些无线路由器是负责光环境与无线环境之间边界的网关。希望向互联网发送/接收流量的用户可以连接到最近的无线路由器或网关。流量可能需要经过无线网状网络部分的多个跳数，因此需要解决的一个关键问题是，在网状网络部分中如何公平地进行资源分配，以服务所有用户。

在无线部分，每个无线路由器/网关都希望通过光部分向互联网发送/接收其用户所属的流量。与[12]中一样，假设树形结构已经通过路由算法执行的路径选择而形成。图7展示了这种树结构形成的示例，其中显示了已建立的连接。所有无线路由器的集合记为W。由于采用树结构，使用 $ \mathcal{C}_i $ 表示无线路由器i ∈ W的所有后代，而祖先集合记为 $ \mathcal{A}_i $。每个无线路由器将转发与其直接连接用户相关的流量，包括下行和上行流量。除了与其直接连接用户相关的流量外，每个无线路由器i ∈ W还会转发属于连接到 $ \mathcal{C}_i $ 中无线路由器的用户的下行和上行流量。问题在于，每个无线路由器应为其自身用户的流量分配多少带宽，以及应为连接到 $ \mathcal{C}_i $ 中无线路由器的用户的流量分配多少带宽。

在此模型中，每个无线路由器和网关都是一个参与者，具有以下目标：
- 尽可能多地转发流量，无论是其直接连接的用户的数据，还是连接到 $ \mathcal{C}_i $ 的用户的数据。
- 尽可能减少丢包。此类数据包丢失会导致资源的无效使用，因为这些数据包可能已经经过多个跳数，并消耗了沿途无线路由器的资源。

总之，每个由服务提供商部署的无线路由器都希望确保尽可能最佳的服务质量，并以有效的方式使用资源。

用户连接到无线路由器或网关i在时间t发送/接收其流量所需的带宽量由 $ B_i(t) $ 表示。该无线路由器将为此流量分配 $ B^\ast_i(t) $ 的带宽。此外，每个节点i将为属于连接到每个无线路由器 $ j \in \mathcal{C} i $ 的用户的下行和上行流量分配 $ B^\ast {i,j}(t) $ 的带宽，总计 $ B^\ast_{\mathcal{C} i} = \sum {j \in \mathcal{C} i} B^\ast {i,j} $。

无线路由器/网关i可用于其用户流量的实际可用带宽等于在通往光链路的路由中所有无线路由器/网关为其提供的最小带宽，记为 $ B^A_i(t) $。即：
$$
B^A_i(t) = \min\left(B^\ast_i, \min_{j \in \mathcal{A} i} (B^\ast {i,j})\right); \quad (6)
$$

考虑到无线路由器/网关的目标，每个参与者的阶段收益可以通过以下表达式计算：
$$
u_i(t) =
\begin{cases}
\alpha_i(t) + B^A_i(t) - B^A_{\mathcal{C} i}(t), & \mathcal{C}_i \neq \emptyset \
\alpha_i(t) + B^A_i(t), & \mathcal{C}_i = \emptyset
\end{cases}; \quad (7)
$$
其中 $ B^A {\mathcal{C} i}(t) = \sum {j \in \mathcal{C} i} B^A_j(t) $，且 $ \alpha_i(t) $ 表示由于数据包被丢弃而浪费的资源量，称为丢包分量。可使用以下表达式来计算该分量：
$$
\alpha_i(t) =
\begin{cases}
\log\left(\frac{B^A_i(t)}{B^\ast_i(t)}\right) + \log\left(\frac{B^A {\mathcal{C} i}(t)}{B^\ast {\mathcal{C}_i}(t)}\right), & \mathcal{C}_i \neq \emptyset \
\log\left(\frac{B^A_i(t)}{B^\ast_i(t)}\right), & \mathcal{C}_i = \emptyset
\end{cases}; \quad (8)
$$

注意，丢包分量具有对数特性，这意味着如果仅丢失少量数据包，则丢包分量将接近于0。另一方面，如果发生过多的丢包，则丢包分量的值将变得过于负，αi << 0。在计算机网络中，其背后的原因是少量的数据包丢失是可以恢复的，而过多的数据包被丢弃可能导致不可恢复的服务故障。例如，在传输控制协议/互联网协议（TCP/IP）网络中，少量的数据包丢失可以通过TCP提供的快速重传机制轻松解决，而大量的数据包丢失将导致TCP进入慢启动[24]。

公式（7）仅计算一个阶段的收益。每位参与者在无限期重复博弈中获得的贴现收益通过公式（3）中的折现收益函数计算，该函数使用公式（7）来确定每个阶段的收益。至于策略，它们根据之前各阶段选择的历史取值 $ B^\ast_i $ 和 $ B^\ast_{i,j} $；∀j ∈ $ \mathcal{C} i $，决定每个阶段要使用的 $ B^\ast_i $ 和 $ B^\ast {i,j} $ 的取值；∀j ∈ $ \mathcal{C}_i $。

5.2. 纳什均衡、帕累托有效性和算法开发

如第2.3节和第4.2节中已解释的，纳什均衡代表了博弈的预期结果。从网络角度来看，最理想的结果是帕累托有效结果，即所有无线路由器尽可能多地转发流量，并尽可能减少丢包。

在所述博弈的单阶段版本中，纳什均衡是每个无线路由器i ∈ W将 $ B^\ast_i $ 和 $ B^\ast_{i,j} $；∀j ∈ $ \mathcal{C} i $ 设置为接近零的值。也就是说，由于事先无法知道 $ \mathcal{A}_i $ 和 $ \mathcal{C}_i $ 中其他无线路由器的带宽需求。通过这种方式，路由器可以确信自己不会因为αi的对数特性而获得−∞收益。然而，如果带宽需求事先已知，则每个路由器i ∈ W可以将 $ B^\ast_i $ 和 $ B^\ast {i,j} $；∀j ∈ $ \mathcal{C}_i $ 设置为更高的值，即尽可能接近 $ B_i $ 和 $ B_j $；∀j ∈ $ \mathcal{C}_i $。需要注意的是，在转发者困境情况下，参与者表达或协调其偏好并不会导致帕累托有效纳什均衡，因为参与者仍然有动机撒谎并通过丢弃对手的数据包来偏离。然而，在本节介绍的博弈中，参与者没有动机向对手撒谎，因为他们如果不撒谎或不偏离，将获得更高的收益。在博弈论文献中，这类博弈被称为协调博弈。也就是说，只要参与者能够协调其行动，他们就有合作动机。在这类博弈中，参与者通过表达其偏好以协调其行动的策略是纳什均衡且帕累托有效的[25, 26]。

在非协调重复博弈中，参与者在每个阶段都试图协调他们的行动。在行动集合较小且明确的博弈中，可以通过以下方式实现这种协调：参与者在每个阶段随机化其行为，直到达到期望的协调状态，一旦实现协调，参与者将继续使用已协调的行为。另一种可实现即时协调的替代方法是让参与者在每一阶段都表达其偏好[25]。在此处所示的例子中，连接到每个无线路由器i的用户的带宽需求 $ B_i(t) $ 可能在不同阶段发生变化，因此，为了实现协调，行动 $ B^\ast_i $ 和 $ B^\ast_{i,j} $；∀j ∈ $ \mathcal{C}_i $ 也需在每个阶段进行调整。因此，随机化行为极有可能无法实现协调。如果参与者在每一阶段都传达其当前偏好，则他们的行动便可实现协调。事实上，这正是协调重复博弈中的帕累托有效纳什均衡[25]。

需要注意的是，在转发者困境中，让参与者在每一阶段表达其偏好并不能有助于实现帕累托有效均衡。例如，若在转发者困境中的参与者声明他们倾向于合作，但他们仍会因追求最高收益而被迫撒谎并选择背叛，除非贴现因子足够高以抑制偏离行为。然而，在我们的协调博弈中，参与者没有动机隐瞒其真实需求，因为说谎将导致更低的收益。

如本博弈所示，参与者之间并不具有内在的冲突利益。相反，参与者希望协调各自的行动。然而，如果交通拥塞程度过高，则一些无线路由器最终获得的带宽将少于其所需。也就是说，由于带宽短缺无法满足所有请求，从而产生了一种利益冲突。让我们考虑图8中的高交通拥塞场景，其中每个无线连接的容量为100兆比特每秒。在这种情况下，无线路由器x正在使用其全部带宽容量来转发属于其自身用户以及连接到无线路由器y和z的用户的流量。即， $ B^\ast_x = 20 $， $ B^\ast_{x,y} = 50 $，且 $ B^\ast_{x,z} = 30 $。然而，无线路由器w无法转发如此大量的流量，因为w还需要20兆比特每秒用于其自身的用户，并可能选择以下方式分配其资源： $ B^\ast_w = 20 $， $ B^\ast_{w,x} = 15 $， $ B^\ast_{w,y} = 40 $，以及 $ B^\ast_{w,z} = 25 $。结果，x将为其自身、y和z预留比实际使用更多的带宽，导致因资源利用不充分而使x面临αx << 0。为了保护自身，无线路由器x可以降低 $ B^\ast_{x,y} $ 或 $ B^\ast_{x,z} $，或同时降低两者，以增加 αx及其自身的收益。这将导致y和z因αy << 0和αz << 0而获得更小的收益。此时，这两个节点y和z有两种选择：(i) 每个节点分别降低其专用带宽 $ B^\ast_y $ 和 $ B^\ast_z $；以及(ii) 它们向x谎报，通过夸大其请求，尽可能使 $ B^A_y $ 与 $ B^\ast_y $ 匹配， $ B^A_z $ 与 $ B^\ast_z $ 匹配。

根据所开发的模型，x并不关心是减少 $ B^\ast_{x,y} $ 还是 $ B^\ast_{x,z} $，因为 $ B^A_{\mathcal{C} x} $ 是通过将 $ B^A_y $ 和 $ B^A_z $ 相加得到的。然而，如果替代地有 $ B^A {\mathcal{C} i}(t) = \prod {j \in \mathcal{C} i} B^A_j(t) $ 且 $ B^\ast_i(t) = \prod {j \in \mathcal{C} i} B^\ast {i,j}(t) $，那么x将更倾向于减小 $ B^\ast_{x,y} $，因为这将导致更大的 αx和收益。这种替代方案将实现无线路由器之间更公平的带宽分配。因此，该模型可根据目标进行调整。

所讨论的模型，即包含偏好通信和检测过度需求的无线路由器的均衡策略，为分配算法的开发提供了基础。该算法可以包括以下步骤：

步骤1：所有无线路由器和网关之间进行带宽需求的通信。
步骤2：检测过度需求的路由器/网关。
步骤3：每个无线路由器/网关i ∈ W对值 $ B^\ast_i $ 和 $ B^\ast_{i,j} $；∀j ∈ $ \mathcal{C}_i $ 做出决策，目标是尽可能增加每一阶段的收益。

这仅表示在光纤/无线接入网络中解决带宽分配问题的一种可能算法。需要注意的是，此处解释的概念可应用于与开放系统互连（OSI）模型各层相关的其他问题。此外，也可使用其他类型的博弈，例如联盟博弈或网络形成博弈，来模型现有问题并开发相应的算法。例如，在[16]中，采用联盟博弈设计了一种机制，使无人机从分布在区域内的特定数据源收集消息，然后传递至公共接收器。在[27]中，利用网络形成博弈为光纤/无线接入网络的网状前端开发了一种节能路由算法。

6. 结论

在通信网络中解决现有问题的算法开发是一项复杂的任务。本教程旨在展示如何将重复博弈论作为通信网络中算法开发的工具。首先介绍博弈论和重复博弈论的基础知识，包括如何通过纳什均衡预测其结果，以及某些纳什均衡为何可能在无限期重复博弈中存在，但在单阶段博弈中却不可能存在。在介绍完基础之后，给出了一个示例，其中建立了一个模型，并设计了所有参与者均合作的纳什均衡存在的必要条件，这些条件可作为算法开发的基础。