AI换脸、声音克隆屡触红线 深度伪造治理面临技术与法律双重考验
2026-04-08 17:20:56
0

法律的生命力在于适应时代,面对深度伪造技术的挑战,社会既不能因噎废食阻碍技术创新,也不能放任自流损害社会公共利益。

文|钱丽娜

ID | BMR2004

从明星肖像被盗用直播带货、普通人遭恶意换脸至色情视频,到涉案金额达 2500万美元的跨国视频会议诈骗、覆盖22万未成年人的韩国深度伪造色情丑闻,深度伪造技术正以“以假乱真”的特性,在诈骗、诽谤、侵权等领域持续蔓延,不仅击穿“眼见为实”的传统认知,更对公民隐私、财产安全及社会信任机制造成严峻冲击。

当前,法律规制与技术防御正同步发力,但取证难、溯源难、维权成本高等现实困境仍待破解,如何在守护公共利益与鼓励技术创新间寻求平衡,成为数字时代亟待回应的重要命题。

01

深度伪造正在击破社会底线

深度伪造的风险,在于其技术实现的“以假乱真”效果极易造成公众的混淆或误认。

2017年,在美国社交媒体平台Reddit上,一位名叫“Deepfakes”的用户发布了用GAN技术制作的明星换脸色情视频,不仅让“深度伪造”(Deepfake)一词正式走入公众视野,更直接催生了非自愿色情合成的黑色产业,揭开了技术滥用的潘多拉魔盒。

政治领域的虚假内容操控同样令人警惕。2017年7月27日,美国华盛顿大学研究团队用AI“伪造”了奥巴马的演讲视频。

在金融诈骗领域,深度伪造的作案手段不断升级,涉案金额屡创新高。2019年,首个重大深度伪造音频诈骗案爆发,诈骗者利用AI技术模仿德国母公司CEO声音,致电英国能源公司高管,成功骗取24.3万美元,刷新了公众对音频伪造诈骗的认知。2024年2月,中国香港发生涉案金额达2500万美元的视频会议诈骗案,诈骗者通过深度伪造公司CFO形象,在远程会议中指令员工转账,刷新此类诈骗金额纪录,倒逼企业强化远程办公身份核验机制。

未成年人与普通群体的权益侵害事件,更引发全社会对技术伦理的深刻反思。2024年8月,韩国Telegram平台爆发大规模深度伪造色情丑闻,多个聊天群制作传播未成年人深度伪造色情内容,受害者覆盖百余所中小学及国际学校,总数达22万人,引发全国性抗议浪潮,直接推动韩国强化数字性犯罪打击力度。

国内方面,2025年,演员温峥嵘遭AI盗播带货事件引发热议,其肖像被非法合成用于直播带货,让公众直观感受到名人数字权益被侵害的现实风险。

而2026年1月江苏高院最新公布的“王某甲诽谤案”中,更是国内打击深度伪造犯罪的典型司法案例。王某甲在2024年—2025年之间,用AI换脸技术合成他人不雅图片,编造虚假话题在境外网站散布,还放任内容转发至被害人工作群,最终因诽谤罪被判处有期徒刑1年3个月,彰显了司法对AI网络暴力的严惩立场。

此外,娱乐与版权领域的滥用案例也屡见不鲜。2026年年初,有抖音用户未经授权用深度伪造克隆歌手碧昂斯(Beyonce)的声音演唱歌曲《泡沫》,既侵犯了权利人的声音权益与著作权,又因未按规定标识AI生成内容误导公众,成为音频伪造侵犯知识产权的典型案例。

北京世辉律师事务所合伙人王新锐认为,深度伪造的风险,在于其技术实现的“以假乱真”效果极易造成公众的混淆或误认,这也导致它经常被不法分子滥用在诈骗、色情、诽谤、虚假宣传等场景中。实践中常见的事例包括但不限于伪造亲友、高管等身份实施诈骗,合成他人淫秽视频传播、勒索,伪造公众人物或个人不良言行视频,损害其名誉与社会评价,以及伪造虚假新闻信息扰乱公共秩序等,公众需警惕财产、名誉、隐私等多重风险。

02

深度伪造的法律边界与治理路径

既要遏制深度伪造技术在诈骗、色情、诽谤等领域的滥用,又要避免过度监管阻碍AI健康发展。

康达律师事务所高级合伙人苟博程律师说:“深度伪造技术的法律边界与治理路径需在技术创新与权益保护间寻求平衡,既要遏制其在诈骗、色情、诽谤等领域的滥用,又要避免过度监管阻碍AI健康发展。当前法律体系已初步构建规制框架,但执行细节与技术对抗仍需加强。”

苟博程指出,公众最应警惕的深度伪造风险涉及以下几个方面:1.隐私崩塌。普通人的社交平台照片可能被用于生成虚假内容,导致“社会性死亡”或经济损失;2.信任危机。70%的网民无法在10秒内识别高质量深度伪造视频,眼见为实的传统认知被颠覆;3.情感诈骗。利用亲人形象进行虚拟绑架,如福州老人接到“儿子”车祸视频被骗80万元。上述情况均存在法律维权的困境,受害者举证需专业鉴定,单次成本超万元,维权门槛极高。

目前针对深度伪造行为的法律定性有以下几项:

刑事罪名。其中诈骗罪是利用深度伪造视频虚构事实骗取财物,最高可处10年以上有期徒刑;侵犯公民个人信息罪是指非法获取、出售或提供他人面部信息等生物识别信息,情节严重的最高可处7年有期徒刑;敲诈勒索罪,是以深度伪造视频威胁他人索取财物,数额特别巨大时最高可判15年;诽谤罪指伪造视频损害他人名誉,情节严重者可处3年以下有期徒刑;非法利用信息网络罪是指编造虚假疫情、灾情等信息,最高可处3年有期徒刑。

民事侵权责任。其中肖像权侵权适用《民法典》第一千零一十九条,该法条明确未经许可不得制作、使用他人肖像,即使不营利也构成侵权;名誉权侵害是指若换脸内容含诽谤、侮辱,需承担停止侵害、赔偿损失、赔礼道歉等责任;隐私权侵犯,是指泄露个人生物识别信息(如人脸数据)可能面临民事索赔。

2024年香港2亿港元AI换脸诈骗案中,法院认定制作者与传播者为主要责任主体,但因技术隐蔽性,部分嫌疑人身份难以确认。平台因未及时下架内容被要求承担补充责任。2024年韩国Telegram 深度伪造性犯罪事件中,韩国司法系统对李某利用深度伪造合成女性亲友猥亵图片案中,因法律对深度伪造性剥削尚无明确规定,最高法院推翻部分罪名。此案例凸显法律滞后性,责任认定集中在制作者,平台因“技术中立”主张部分免责。

03

法律规制的有效性与挑战

技术迭代常快于立法,特别是当前法规多为原则性规定,缺乏针对深度伪造特性的具体操作细则。

王新锐指出,目前国内外均已有深度伪造相关已决案例,境内有“浙江省杭州市萧山区人民检察院诉虞某龙个人信息保护民事公益诉讼案”等相关典型案例判决。整体而言在侵权责任案件下,目前责任主体通常为制作者/传播者,平台如未履行合理注意义务则需承担连带责任。

司法实践中,在证据认定、因果关系界定、损害后果评估等环节面临一些难点,如:电子证据易被篡改,取证及司法鉴定的实操难度相对较高。深度伪造相关侵权案件的损害后果多体现为间接损害,且因多环节传播导致损害范围扩大,各主体行为与损害后果之间的直接关联难以界定。涉及人格权、名誉权等侵权时,经济损失及精神损害赔偿数额,亦缺乏统一量化标准,难以准确认定等。

苟博程的观点是,在证据认定方面,深度伪造技术的高仿真性使传统证据规则难以适用,需依赖专业鉴定机构。在因果关系方面,难以证明虚假内容与实际损害之间的直接联系。在损害评估中,精神损害难以量化。

虽然现行法规体系中,《民法典》提供基础民事保护框架,明确肖像权、隐私权、名誉权等保护;《网络安全法》《个人信息保护法》规范数据处理活动,要求处理个人信息需取得同意;《生成式人工智能服务管理暂行办法》(2023)要求服务提供者采取措施防止产生虚假有害信息;《互联网信息服务深度合成管理规定》要求对AI生成内容进行标识,但苟博程说:“法律的滞后性具有认定难、溯源难、维权成本高的特点。制作和传播深度伪造内容的行为主体可能高度隐蔽、身处境外,内容在加密社交渠道中病毒式扩散。技术迭代常快于立法,特别是当前法规多为原则性规定,缺乏针对深度伪造特性的具体操作细则。另外,跨境执法难度大,资金流向境外,追索难度大。”

王新锐指出,2025年出台的《人工智能生成合成内容标识办法》对生成合成服务提供者、提供网络信息内容传播服务的服务提供者、互联网应用程序分发平台,以及用户等各类主体,关于生成合成内容标识应尽的添加、核验等各项义务,进一步做出了落地的详细要求,并颁布了《GB 45438-2025网络安全技术 人工智能生成合成内容标识方法》。

王新锐说:“参考上述规定及国标,技术上存在可行的反深度伪造手段,且相关法律法规已明确要求服务提供者、传播服务平台等添加、核验该等隐式标识。”例如服务提供者应当按照规定,在生成合成内容的文件元数据中添加隐式标识,隐式标识包含生成合成内容属性信息、服务提供者名称或者编码、内容编号等制作要素信息。而传播平台则需核验文件元数据中是否含有隐式标识,对用户进行提示;未核验到隐式标识,但用户声明或经检测为生成合成内容,也需向用户提示,并针对所有生成合成内容在文件元数据中补充添加传播要素信息。“就实践效果而言,目前头部厂商已在积极落实相关标识要求,但部分体量较小的产品则出于合规成本等考量,合规动力仍显不足。”

苟博程认为,要减少深度伪造的损害,平台需要加强事前审核,投入资源研发深度伪造内容识别算法,但因技术局限性,100%识别很难实现。如果让平台在48小时内需要移除涉事内容,实际执行中也常因技术或流程问题延迟。平台若明知或应知侵权内容而未采取措施,需承担连带责任,但在实践中,“应知”的标准也很模糊。

04

治理路径与建议

构建“技术+法律+公众教育”的立体防线,让政府、平台、技术开发者共同参与。

苟博程说,在治理深度伪造时,技术防御层面需要强制标识与溯源。要求AI生成内容添加不可见数字水印或可追溯标识,实现“出生即登记”。在技术层面,需要发展从视频各帧间连贯性与一致性入手的检测算法,提升识别准确率。此外还要实施数据最小化原则,即限制人脸数据收集范围,确保数据匿名化处理。

在法律规制层面,企业要出台针对深度伪造的专门性行政法规,明确制作、传播、使用各环节的法律红线。借鉴欧盟《人工智能法案》,按风险等级实施差异化监管,还要建立适应深度伪造特点的电子证据认定标准,降低受害者举证门槛。

在公众教育与平台责任方面,苟博程表示,官方渠道要多普及识别技巧,如关注眨眼频率异常、光影不自然等细节。平台“守门人”要守好职责,建立快速投诉处理机制,对高风险内容实行发布延迟审核。多方协同治理,构建“技术+法律+公众教育”的立体防线,让政府、平台、技术开发者共同参与。

苟博程建议,普通公民遇到深度伪造,在寻求法律救济时,可采取以下措施:1.及时固定证据。对可疑内容进行录屏、截图,保存原始链接,便于后续举证;2.多渠道举报:向网信部门、公安机关报案,同时向平台投诉要求下架内容;3.寻求专业帮助:联系律师提起民事诉讼,主张停止侵害、赔偿损失、赔礼道歉等;4.关注专项政策:利用公安部“AI反诈助手”等官方工具检测可疑内容;5.预防性措施:避免在公开平台上传高清正脸照片/视频;6.对陌生视频通话要求转账的“亲人”,务必通过其他渠道二次确认。

法律的生命力在于适应时代,面对深度伪造技术的挑战,社会既不能因噎废食阻碍技术创新,也不能放任自流损害社会公共利益。唯有通过技术防御、法律规制、公众教育的三维协同,才能在数字时代守护好每个人的“脸”与信任。

来源 | 《商学院》杂志2&3月合刊

相关内容

2025年广东法院依托综治...
6月3日,广东省高级人民法院发布首批物业服务纠纷“示范性诉讼+批量...
2026-06-04 01:42:10
广东高院发布首批物业纠纷示...
中新网广州6月3日电 (方伟彬 陈虹伶 谭振州)广东省高级人民法院...
2026-06-04 01:42:04
公安部公布4起污染环境犯罪...
在世界环境日即将到来之际,公安部6月3日公布4起污染环境犯罪典型案...
2026-06-04 01:41:52
原创 ...
在美国电车的监督版智驾入华消息传出后,网上一片赞誉声,甚至网上出现...
2026-06-04 01:41:22
“崩老头”生态圈:花式“乞...
大象新闻 ,赞 15 近日,一个被互联网信息茧房封锁的词语“崩...
2026-06-04 01:40:22
*ST国华:控股子公司涉9...
*ST国华公告称,公司控股子公司深圳国科稚健医药有限公司持有50....
2026-06-04 01:39:52

热门资讯

收房发现房不存在开发商涉多起纠... 据媒体报道,13年前,沈先生在西安市三桥街道“加贝花园”买了一套房,合同约定房号为“12幢B单元34...
全省首个“AI+物业解纷”系统... 6月2日,全省首个 “人工智能+物业解纷”系统在佛山正式上线。该系统集成合同量化服务频次分解、履约双...
上海金融法院:2024-202... 上证报中国证券网讯(刘禹希 记者 刘礼文)6月3日,上海金融法院发布的《上海金融法院执行工作情况通报...
建新股份:2025年4月17日... 证券之星消息,建新股份(300107)01月21日在投资者关系平台上答复投资者关心的问题。 投资者提...
58同城曾涉及多起合同纠纷 雷达财经讯,据媒体报道,近日,沈女士正浏览58同城页面咨询维修报价,平台未经其同意便强行生成了订单,...
法官倾力化纠纷 高效履职护民生 近日,吉林市龙潭区人民法院成功化解一起机动车交通事故责任纠纷,承办法官秉持司法为民初心,以耐心和责任...
最高法:抓紧起草涉AI纠纷案件... 南都讯 记者刘嫚 发自北京 4月20日,最高人民法院召开2026年知识产权宣传周新闻发布会。最高法院...
美盈森:控股子公司金之彩公司涉... 美盈森公告,公司收购的控股子公司深圳市金之彩文化创意有限公司涉及名誉权纠纷案,一审判决后,西藏 新天...
北京互联网法院:涉未成年人网络... 中新网北京5月29日电 (陈杭 罗维佳)2021年5月至2026年5月,北京互联网法院共受理涉未成年...
卧龙区法院执结一起跨省工程款纠... 大象新闻记者 魏广宝 通讯员 姚远 5月19日上午,江苏某园林工程有限公司的代表不远千里,专程来到...