AI Agent 安全风险激增,专家共探‘高效可规模化’路径与未来趋势

AI Agent 安全风险激增,专家齐聚探讨‘高效可规模化’关键路径

近日,InfoQ《极客有约》X AICon 直播栏目特别邀请腾讯专家工程师、AI Agent 安全负责人张栋担任主持人,和百度智能云安全架构师林道正、Cloudflare 高级解决方案工程师刘旭,在 AICon 全球人工智能开发与应用大会 2026 深圳站即将召开之际,共同探讨 AI 基础设施从‘可用’走向‘高效可规模化’的关键路径,分享了关于 Agent 安全的精彩观点。

Agent 为何愈发危险

今年,Agent 安全话题热度飙升,其危险程度大幅提升。刘旭指出,年初 OpenClaw 爆火,标志着 Agent 从 demo 阶段进入实际生产环境,它具备了行动能力,能部署网站、生成报表、做量化交易等。一旦权限被获取,风险远大于以往盗 ChatGPT 账户。现阶段,落地面临一次性登录后 token 时长、Agent 间 token 继承关系、MCP 认证等问题。

林道正则类比历史,每当新科技广泛使用,安全问题就会集中爆发。OpenClaw、Hermes 等 Agent 的爆火,使市场对安全的关注度急剧上升,且此次对软件环境的影响更深。

张栋强调,关键在于 Agent 有了行动能力,安全本质从‘内容对不对’转变为‘行为可不可控’,是质的换轨。

Agent 与传统 AI 应用的差异

林道正认为,传统 AI 是业务流中的一环,而 Agent 本身就是业务流,掌控了全生命周期。它有身份、思考和行动能力,对业务影响更深远。

刘旭表示,AI Agent 从问答式到执行式有了巨大进步,具备更多能力,但安全被攻陷时风险更大。

张栋形象比喻,传统 AI 像自动售货机,攻击面相对可控;Agent 像有工牌的新员工,防护边界从‘守住静态入口’变为‘约束动态行为’,难度几何级上升。

企业在 Agent 安全上踩过的坑

提示词注入风险

刘旭指出,Prompt Injection 一直是 LLM 01 安全风险榜首。过去问答型 Agent 受影响较小,现在 Agent 权限增大,影响更大。如员工用 AI Agent 总结邮件,黑客通过隐藏代码让 Agent 发送公司财报和老板薪水单。因此,AI Agent 行动需经过安全评估。

林道正介绍,注入分业务系统和数据注入等场景,还存在上下文压缩导致非预期执行结果的极端情况。

张栋总结,Agent 使交互更复杂,风险从内容升级为行为,传统 WAF 失效,规则引擎需升级为语义引擎。

工具带来的安全窟窿

刘旭认为,Agent 的出现增加了攻击面,OpenAI 已发布工具滥用和过度授权警告。企业应给工具加安全防护,如放在沙箱、给最小 API 权限、加 gateway 和 DLP 防护,同时做好 log 溯源。

林道正指出,工具的灵活性放大了攻击面,安全机制未跟上。

张栋强调,每接入一个工具就像多发一把钥匙,企业要解决过度授权、无最小权限、调用不可审计问题,需深度回收权限。

Agent 安全的应对策略

上线首个 Agent 的安全步骤

林道正提出,安全方法论是可视、可管、可追溯。可视能了解企业风险面,可追溯对内部威胁有威慑力。

刘旭建议,先配置保底策略,确保 Agent 被攻破时不会完全失控;保证可见性,周期性审视行为。具体可在登录等接口加人机交互,审计输入,加 AI security firewall,上线后通过 log 分析部署 policy。

张栋总结为三个动作:先做资产盘点,对应‘可视’;权限从最小开始,配保底策略,对应‘可管’;全链路打 log,对应‘可追溯’。

安全责任归属

林道正表示,多数企业业务团队使用 Agent,安全团队提要求,百度业务是第一责任人,安全与业务共担后果。

刘旭认为,业务团队应是第一责任人,安全团队角色需改变,二者要高度配合。

张栋总结,Agent 安全需共享责任,有人兜底,类似云的责任共担,权限最小化由业务决策,安全全程参与。

安全与效率的平衡

林道正主张先有边界再开放,做风险分级,与客户沟通确定管控重点。

刘旭认为要满足需求,渐进式管理,先给关键权限,做 log 监控,结合数据决定是否放开权限。

张栋强调安全是护栏,风险应分级,把人用在刀刃上,避免 human in the loop 成为‘安慰剂’。

解决确认弹窗问题

刘旭提出,接入企业内网开最小权限,生成内容放沙箱对比,有问题及时封掉。

林道正建议让影响可回滚,用 AI 降噪,采用 loop engineering 模式。

张栋指出,human in the loop 易退化为‘闭着眼睛点确认’,应把关键决策留给人,其余交给自动策略。

保证输出结果稳定

林道正提出用测试集考察 Agent 性能,建立循环飞轮优化模型。

刘旭建议用另一个模型扫描模型输出。

张栋总结为交叉验证思路,Agent 安全需持续对抗,从‘一次性验收’到‘持续的数据飞轮’。

解决责任不清问题

刘旭认为,谁主推业务谁负责。

张栋强调,最坏结果落在谁身上,谁就是第一责任人,可拉上安全一起兜底。

林道正介绍,业内有安全运营托管解决方案。

张栋总结,前期业务兜底,后期可托管给专业团队。

AI 安全护栏落地

林道正指出,行为防御分提示词和执行层,提示词层面可在网关加安全护栏,但有弊端,需深入执行层,可落地在 Harness 层或从沙箱底层获取数据。

张栋认为,交互要经过网关,第一道防线是通用语义检测,第二道与业务形态相关,Agent 间传递需更复杂体系。

刘旭强调全链路安全,输入、思考、产出都要保障。

张栋关注成本问题,刘旭表示 Cloudflare 的 AI Gateway 防御措施免费。

传统安全团队的改变

林道正认为,传统安全方法论不变,细节需调整,要熟悉新生态,注意安全与 AI 融合边界。

刘旭指出,安全团队边界扩大,需学习处理新问题。

张栋总结,大模型和 Agent 可解决传统安全问题,也带来新挑战,传统安全团队可据此转型。

未来趋势

林道正认为,未来一年 Skill 安全风险会收敛,会有可信的 skill 中心,沙箱会成标配。从安全运营角度,护栏最值得投入。

刘旭指出,已知问题易解决,如 token 爆刷等;prompt injection 和影子 Agent 问题较难处理,企业应考虑 Zero Trust 零信任部署,做好可溯源和权限管控。

张栋总结,Agent 安全是防护范式的整体换轨,方法论不变,但要关注新对象和形态,企业应尽早搭建护栏。

内容概要:本文研究了基于DPWMA调制正负序分离的ANPC三电平并网逆变器前馈控制策略,旨在解决传统三电平逆变器存在的谐波含量高、电网不平衡工况适应性差及动态响应速度不足等问题。通过采用有源中点箝位(ANPC)三电平逆变器拓扑,结合双极性倍频脉宽调制(DPWMA)、正负序分离锁相技术和电网电压前馈控制,构建了一套一体化的高性能并网控制体系。该体系不仅优化了逆变器的开关动作机制,改善了输出电压电流的谐波特性,而且通过精确的相位同步和扰动补偿,显著提高了系统的动态响应能力和抗扰性能。仿真结果显示,所提出的控制策略能有效降低并网谐波含量,提升锁相精度系统动态稳定性,确保在复杂电网工况下的高质量稳定并网。 适合人群:具备一定电力电子基础知识和仿真技能的研发人员,尤其是从事新能源发电、储能系统、柔性输电等领域研究的专业人士。 使用场景及目标:①研究和开发高性能并网逆变器,特别是针对大功率、高电能质量要求的应用场景;②索如何通过先进的调制和控制策略来提高并网逆变器对电网扰动的适应性和响应速度;③为相关领域的学术研究和技术开发提供理论依据和实践指导。 阅读建议:建议读者结合实际的仿真软件(如MATLAB/Simulink)进行实践操作,以便更好地理解和掌握文中提到的各种控制策略的具体实现方法。同时,鼓励读者关注最新的研究成果和发展趋势,不断深化对该领域的认识。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值