10、AI系统的运维、监控、分析与可靠性保障

AI系统的运维、监控、分析与可靠性保障

1. 运维、监控与分析

1.1 监控

AI系统包含众多服务和元素连接。为提升效率、排查故障以及净化输入输出，监控系统各服务的资源使用和活动至关重要。监控数据来源有三：
- 基础设施 ：收集虚拟机和容器的利用率指标，如CPU、I/O、网络和内存使用情况。
- 系统代码 ：记录特定应用指标，如活跃会话数、新账户创建数等。
- 服务日志 ：由服务生成，存于本地文件系统指定位置，后收集并转发至日志数据库处理，记录服务特定信息，如模型准确性、数据漂移、伦理问题和社会影响等。

监控数据存入数据库有三个目的：
|目的|说明|
|----|----|
|生成警报|依据测量值（尤其是指标）生成，指示系统运行中的严重问题，需快速响应。|
|取证|系统收集的事件日志用于识别问题。|
|分析|包括实时分析和事后分析。实时分析判断系统是否达到预定义的性能标准，未达标则生成警报；事后分析范围更广，如数据漂移、偏差和法规合规性。|

部分监控数据会反馈到特征存储，用于改进机器学习模型的特征，进而升级模型。

1.2 事件

事件指可能导致组织运营、服务或功能损失或中断的情况，在软件层面表现为逻辑、效率、可用性或安全问题。监控系统根据规则检查数据并决定是否生成警报，警报发送给第一响应者。第一响应者职责分即时和延迟两部分：
- 即时响应 ：确保系统持续运行。
- <