随着拟人化互动产品快速普及,部分服务在“陪伴”“情感互动”等场景中具备较强沉浸感,用户使用时长增加、情感依赖加深等现象引发社会关注。
针对可能出现的“误认对象、过度依赖、沉迷使用、诱导消费”等风险,国家互联网信息办公室日前就《人工智能拟人化互动服务管理暂行办法(征求意见稿)》公开征求意见,围绕身份提示、使用提醒、数据处理、安全能力建设以及重点人群保护等提出系统性要求,为行业划定基本边界、明确合规路径。
一、问题:拟人化互动带来新型风险与治理挑战 拟人化互动服务通过语言、语音、形象等方式模拟人际交流,能够提供知识问答、情绪疏导、陪伴聊天等功能,但也可能使部分用户在长期交互中产生“对方是自然人”的错觉,进而形成情感投射和依赖。
征求意见稿提出,服务提供者应当显著提示用户正在与技术系统而非自然人进行交互;在用户初次使用、重新登录等场景,以及识别到过度依赖、沉迷倾向时,要以弹窗等方式进行动态提醒;连续使用超过两小时的,也应提醒暂停使用。
相关规定直指“过度沉浸”这一突出问题,强调以更明确的提示机制守住基本认知边界。
二、原因:技术能力与商业模式叠加,易放大沉迷与误导 造成风险的原因,一方面在于技术迭代使互动更自然、更“像人”,降低了识别门槛;另一方面,个别产品可能在设计上追求时长、黏性与付费转化,容易在内容与机制上强化依赖。
征求意见稿明确要求提供者具备心理健康保护、情感边界引导、依赖风险预警等安全能力,不得以替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。
这一表述既是价值导向,也是对产品目标和增长逻辑的合规约束,强调以安全为底线、以健康为导向开展功能设计与运营。
三、影响:规则明确将推动行业从“拼体验”转向“拼安全与责任” 征求意见稿将对产业生态产生多重影响。
对用户而言,身份提示、时长提醒与风险预警有助于减少误判与沉迷,提升使用透明度与可控性。
对企业而言,合规要求将进一步前置到产品研发与运营全流程,从交互界面、提示策略到风控机制、数据治理都需要投入资源,推动形成“安全能力”作为核心竞争力的趋势。
对社会治理而言,明确未成年人、老年人等重点群体保护要求,有助于降低潜在社会风险,促进新业态在法治轨道上健康发展。
四、对策:从提示机制到数据治理,形成可落地的全链条规范 征求意见稿不仅强调“看得见”的提醒,也突出“看不见”的底层治理。
围绕数据处理活动,提出使用体现社会主义核心价值观、弘扬中华优秀传统文化的数据集;对训练数据进行清洗、标注,提高透明度与可靠性,防范数据投毒、篡改;提升数据多样性,通过负向采样、对抗训练等手段增强生成内容安全;使用合成数据时评估其安全性;加强日常检查、定期迭代升级;确保数据来源合法、可追溯并采取措施防范泄露。
该系列要求强调“从源头把控”与“过程可追溯”,意在降低内容失范与安全事件的系统性风险。
同时,征求意见稿对重点人群保护提出更细化安排。
未成年人方面,要求建立未成年人模式,提供模式切换、定期现实提醒、使用时长限制等个性化安全设置;向未成年人提供情感陪伴服务须取得监护人明确同意,并提供监护人控制功能,便于实时接收风险提醒、查阅使用概要信息、屏蔽特定角色、限制时长、防止充值消费等;在保护个人隐私前提下,具备识别未成年人身份的能力,对疑似未成年人切换至未成年人模式并提供申诉渠道。
老年人方面,要求引导设置紧急联系人,发现使用期间出现危害生命健康和财产安全情形时及时通知并提供社会心理援助或紧急救助渠道,同时不得提供模拟老年人用户亲属、特定关系人的服务。
这些安排体现“分层分类治理”思路,兼顾保护力度与可操作性。
五、前景:在规范中释放创新空间,推动可信应用走深走实 从趋势看,拟人化互动服务仍将广泛进入教育、健康管理、公共服务与家庭场景,成为数字生活的重要组成部分。
规则框架的完善,有助于把创新置于可预期、可监管的轨道,避免“野蛮生长”带来的社会成本。
下一步,行业需要在提升识别与提醒有效性、完善监护与紧急处置机制、强化数据与内容安全审计等方面持续投入;监管与平台也可探索更加细化的评估指标与实践指引,推动形成可验证、可追责的合规体系。
随着意见征集与制度完善推进,预计相关服务将更加注重透明交互、适龄适配与风险可控,向“可信、可用、可管”的方向加速演进。
人工智能拟人化互动服务的管理办法的出台,反映了我国在数字时代对人文关怀的重视。
在技术赋能的同时,不忘保护最需要被保护的人群,这正是新发展理念的具体体现。
随着办法的进一步完善和实施,有理由相信拟人化互动服务将在更加规范、安全、可信的轨道上为用户提供更好的体验,同时推动人工智能产业朝着更加负责任、更加人文化的方向发展。