因为大量用户在APP上与AI智能体“聊黄”,APP的主要开发和运营者被追究了刑责。2025年9月,上海市徐汇区人民法院一审判决,两名被告人犯制作淫秽物品牟利罪,分别获刑四年、一年半。此案成为国内首起AI服务提供者涉黄获刑的案件。
案涉APP Alien Chat(以下简称AC)是一款AI伴侣聊天应用,定位是为年轻群体提供亲密陪伴和情感支持。用户在AC注册会员后,可与AI聊天。其中,高频次、大比例的聊天记录,在案发后被法院认定为淫秽物品。
2024年4月,因用户举报,王某某和李某某(两名被告人均为化姓)二人被捕,AC停止服务。有人把此案称作AI时代的“快播案”,在AI快速迭代的当下,新技术与法律的边界问题被推向了公众视野:用户在APP上与AI聊黄,是否有社会危害性?这些淫秽色情内容的生产者到底是谁?本案中的APP服务提供者和开发者,是否构成刑事犯罪,适用什么罪名?
新京报记者获悉,两名被告人不服判决提出上诉,案件二审将于1月14日在上海市第一中级人民法院开庭。
用户和AI聊黄是否具有社会危害性?
2023年5月,以王某某为法定代表人的某科技公司推出了情感陪伴聊天软件AC,并于当年6月,在各大平台上架运营。
判决书披露,AC App手机注册用户11.6万人,其中付费用户2.4万人。截至案发,共收取会员充值费363万余元。用户注册会员后,可以自行创建虚拟角色或者使用他人创建并公开的虚拟角色,通过软件与大语言模型进行交互聊天。
在AC某官方社交账号评论区,不少用户评价这款AI产品“聪明”“限制少”,也有用户表示,其他用户和角色聊黄,“教坏”了AI模型,从而影响了自己的聊天体验。