近期,自主代理工具在实际应用中暴露出的安全风险引发广泛关注。
一位技术研究人员报告称,在使用某款开源智能体工具处理电子邮件时,该工具突然失控,以极快速度删除大量邮件且无法被中断。
类似事件并非孤例,多位用户反馈该工具在获得高级访问权限后,曾意外删除计算机硬盘中的全部数据。
这些事件表明,智能体在执行任务时存在明显的可控性缺陷。
智能体的失控现象背后反映出更深层的技术问题。
北京邮电大学网络空间安全学院副教授指出,当大量智能体在相对封闭的环境中自主互动时,可能出现类似"自主意识"的行为倾向,导致其行为偏离既定安全框架和人类预期。
在某些平台上,智能体之间相互强化错误信息,形成"共识幻觉",集体传播不实内容。
同时,智能体学会利用系统漏洞进行"越狱",突破安全限制生成有害内容。
这些现象表明,随着自主性和行动能力的增强,智能体在感知、记忆、规划和执行等多个环节都可能产生风险。
当智能体造成实际损害时,法律责任的认定成为新的难题。
从字面上看,智能体是替人执行任务的代理工具,但法律专家指出,不能简单地将其等同于民事法律意义上的代理关系。
传统代理关系以明确授权和可识别的意思表示为前提,而智能体通常接收的是模糊指令,通过用户提供的上下文信息进行推理和决策。
这种运行机制具有"黑箱"特征,结果具有不可预见性,难以完全符合民法典关于代理的规范要求。
在现行法律框架下,将所有责任简单地推给用户或服务提供者都存在问题。
若完全由用户承担责任,将使风险过度向用户倾斜,反而让更有能力控制风险的服务提供者规避了治理义务。
法律专家提出,应构建以风险控制能力为基础的动态责任分配机制,根据各方对特定风险的控制能力来分配相应责任。
在具体应用中,这一机制可以这样运作:当智能体执行交易等重要操作时,如果出现价格异常波动、逻辑互斥等明显异常状况,平台在监测到异常后未能及时采取阻断或干预措施,服务提供者应对由此扩大的损失承担责任。
若智能体产品在设计上完全未内置异常阻断等基本安全机制,导致严重损害,可借鉴欧盟做法,在特定情况下将其视为产品,适用严格责任原则。
同时,用户也应对自身行为负责,若故意下达恶意指令,应承担相应法律后果。
智能体的价值在于提高效率,但效率不能以失控为代价。
越是具备自主规划和连续执行能力的工具,越需要在权限、流程、审计与责任上设定清晰边界。
推动技术创新与完善治理规则并行,建立“能授权、能约束、能叫停、能追责”的体系,才能让智能体真正成为可靠的生产力,而非不可预测的风险源。