[비즈한국] 人工智能（AI）正从回答问题的层面，进化为能够自主判断并执行任务的“智能体（Agent）”。随之而来的是，AI的性能不仅是关注重点，服务设计、安全性验证以及对用户的影响等运营商的法律责任也成为了焦点。近日，美国8个州政府将ChatGPT的语气和性格设定本身定义为设计缺陷，并对OpenAI提起诉讼。他们主张，该服务与“对青少年安全”的宣传相反，实际设计可能会助长自残和妄想风险，且未能向用户充分披露与自主AI智能体失控相关的信息。
艾奥瓦州、亚利桑那州、阿肯色州、爱达荷州、堪萨斯州、蒙大拿州、内布拉斯加州和西弗吉尼亚州等8个州于本月14日向各自州的法院对OpenAI提起了独立诉讼。继6月份佛罗里达州起诉OpenAI后，州政府层面的法律应对呈现出扩散趋势。
不仅是“危险回答”，还涉及设计与测试责任
州政府指出，ChatGPT被设计为以一种过度迎合用户、像人一样进行情感共鸣的方式进行对话。这种无条件支持用户判断的特性，可能会加剧心理脆弱人群的危险想法，并使他们更倾向于依赖AI而非寻求周围人的帮助。
根据长达91页的诉状显示，ChatGPT在持续进行用户对话的过程中，倾向于规避否定性回答并表现出迎合态势。诉状中还引用了《华盛顿邮报》对4.7万次对话的分析结果，指出其回答“是”的频率比“否”高出约10倍，以此作为证据。
诉状还援引了世界三大顶级学术期刊《科学》发表的研究，指出在针对自残或欺骗等问题行为的陈述中，GPT-4o的肯定比例约为70%，GPT-5约为60%，均高于Gemini和Claude不足30%的比例。其核心意旨在于，ChatGPT通过反复迎合用户的想法，可能会在需要家人或朋友等周边人员干预的情况下，反而助长了对AI的依赖。
州政府还质疑了自主AI智能体的安全性验证过程。智能体是指利用网页搜索或代码执行等外部工具来执行多步骤任务的AI。随着近期AI向不仅生成回答、还能执行实际操作的方向发展，如何管理AI使其不脱离开发商设定的控制范围，已成为新的安全挑战。
今年5月起的3个月内报告的10起“失控”事件中，有7起与OpenAI有关。特别是7月份的安全测试中，约1200个AI智能体绕过了隔离测试环境的控制装置，连接到外部互联网，并随后攻击了AI开发平台Hugging Face的服务器。据了解，当时这些智能体交换了超过7万条消息和文件并共享信息，部分智能体还渗入了Hugging Face系统并访问了非公开数据。
州政府主张，OpenAI未能妥善管理安全测试过程中发生的智能体失控及对外部系统的访问。智能体如何脱离隔离测试环境并访问外部系统，以及OpenAI在何时、以何种方式察觉到这一问题，将是诉讼中的关键争点。
艾奥瓦州要求法院对每一项违规行为处以最高4万美元的民事罚款，并责令其删除居民数据及进行赔偿。诉讼请求中还包括在建立完善的安全装置并接受第三方监督机构的验证之前，暂停对高级AI模型的测试。
OpenAI则回应称，已经引入了面向青少年的ChatGPT及家长控制等安全功能，并将持续改进用户保护措施。
韩国《AI基本法》实施9个月…14至18岁群体保护存空白
在韩国，围绕AI聊天机器人的安全性及青少年保护的讨论也在持续进行。今年1月实施的《AI基本法》虽然规定了生成式AI的标识义务，但在直接规范诱导用户产生情感依赖的设计，或助长青少年危险行为的对话方式方面，仍存在局限性。
目前，针对部分义务设有至少一年的引导期，暂时推迟了事实调查及罚款征收。罚款上限方面，针对违反标识义务、未指定国内代理人、不履行整改/停止命令等行为，处以3000万韩元的罚款。
据国会立法调查处数据显示，14岁以上儿童及青少年中有94.4%有过使用AI聊天机器人的经历，其中75.3%的人曾将回答付诸实际行动或认真考虑过这样做。根据《个人信息保护法》，需要法定代理人同意的儿童标准为14岁以下，而《青少年保护法》中青少年则定义为19岁以下。因此，有意见指出，针对14岁至18岁使用者的AI服务保护标准需要进一步具体化。
在近期国会科学技术信息广播通信委员会的国政监查中，AI角色聊天机器人的青少年使用问题及行业自主指南的有效性也成为争论焦点。尽管AI聊天机器人对青少年情绪和行为的影响日益增大，但仅靠运营商的自主监管是否能够拦截危险对话并预防损害，仍存疑问。
共同民主党议员李珠熙（音）在12日的国会科学技术信息广播通信委员会国政监查中提出AI聊天机器人导致青少年沉迷的问题，并表示：“更令人担忧的是，这种形式的对话是在孩子和AI两人独处的过程中发生的。由于青少年可能会接触到自残、自杀、暴力和色情内容，必须将运营商的年龄核实、监护人同意程序以及针对危险对话的危机应对体系等制度化。”
有专家指出，为保护AI聊天机器人使用中的青少年，不仅要拦截有害内容，还必须同时整顿服务设计、运营商责任以及相关部门间的应对体系。国会立法调查处立法调查官助理金娜贞（音）指出：“AI聊天机器人的监管范式应从事后过滤有害内容，转向预先防止诱发依赖或从属性的设计要素，并在制度上管理运营商的责任。”