2、人工智能与系统工程：多领域融合的挑战与机遇

人工智能与系统工程：多领域融合的挑战与机遇

1. 人工智能的两面性与自主性管理

人工智能在当今社会的影响力日益显著，一方面，由于人为错误频发，自主机器有望挽救更多生命。但另一方面，公众对人工智能系统存在诸多担忧。《纽约时报》的社论指出，人工智能系统可能被黑客攻击、遭遇数据泄露，甚至被对手控制。联合国秘书长安东尼奥·古特雷斯也认为，应通过国际法禁止无需人类参与就能夺取生命的机器。

自主性科学需要进行有效管理，以平衡其带来的威胁，同时让科学家在系统工程、社会科学和国际事务等社会领域取得类似原子科学那样的进步。就像原子科学早期，在应对威胁的同时，也取得了如希格斯粒子和量子计算等重大发现。

2. 系统工程的关注点

2.1 人机决策角色

系统工程关注人工智能和机器学习是否会在决策环节取代人类。系统工程师倾向于人机共存，利用机器增强人类智能。若机器决策超越人类，人类至少应在事后审核机器决策，例如优步自动驾驶汽车致死行人的案例。

2.2 模型构建与系统设计

• 模块化方法 ：是否采用模块化方法构建模型是一个关注点。系统工程师认为安全是系统的涌现属性，团队成功时整体大于部分之和，失败时则相反。若要通过以模型为中心的工程改造系统工程，如何应用于自主团队是个问题。
• 系统协作 ：系统常相互关联，系统工程师需确保各部分协同工作以实现整体目标。如加拿大军队构建共享通信和信息系统时，系统设计要考虑功能、安全和成本的权衡，同时创造共享意识、降低参与成本和模拟人类通信模式有显著益处。