41、并行数据库系统的负载均衡、容错与集群架构

并行数据库系统的负载均衡、容错与集群架构

1. 运算符间负载均衡

为了在运算符间层面实现良好的负载均衡，需要为每个运算符选择执行所需的处理器数量和具体处理器。这一过程需考虑流水线并行性，因为它要求运算符间进行通信。在无共享架构中，实现这一点更具挑战性，原因如下：
- 并行优化阶段确定的并行度和处理器分配，是基于可能不准确的成本模型。
- 由于处理器和运算符都是离散实体，并行度的选择容易出错。
- 流水线链中最后几个运算符关联的处理器可能会长时间闲置，即流水线延迟问题。

无共享架构的主要方法是在执行前动态确定每个运算符的并行度和处理器位置。例如，速率匹配算法使用成本模型来匹配元组的生产和消费速率，以此选择用于查询执行的处理器集合（基于可用内存、CPU 和磁盘利用率）。也可以采用其他算法，如通过最大化多种资源的使用并利用资源使用统计信息来选择处理器数量和位置。

在共享磁盘和共享内存架构中，由于所有处理器都能平等访问磁盘，因此具有更大的灵活性。无需进行物理关系分区，任何处理器都可分配给任何运算符。特别是，一个处理器可以分配到同一流水线链中的所有运算符，从而无需运算符间并行性。不过，运算符间并行性对于执行独立的流水线链很有用。XPRS 为共享内存提出的方法允许并行执行独立的流水线链（即任务），其主要思想是将 I/O 密集型和 CPU 密集型任务结合起来，以提高系统资源利用率。执行前，使用成本模型信息将任务分为 I/O 密集型和 CPU 密集型：假设顺序执行任务 t 时，其磁盘访问速率为 IOrate(t)（例如每秒的磁盘访问次数），对于一个有 n 个处理器且总磁盘带宽为 B（每秒磁盘访问次数）的共享内存系统，如果 IOrate(t) > B/n，则任务