韩国又一起“N号房”事件震惊全球，AI狂飙背后谁为其套上缰绳？_ZAKER新闻

图片来源：视觉中国

蓝鲸新闻 9 月 4 日讯（记者 朱俊熹）过去数日，韩国又一起 "N 号房 " 事件浮出水面，再度刷新社会对于网络性犯罪的认知。

据韩媒报道，在社交媒体 Telegram 上现已发现多个群聊，群成员利用 Deepfake（深度伪造）技术制作、传播虚假的色情图片或视频。受害者不仅牵涉到数百所学校中的未成年学生，还涉及教师、军人等职业女性。目前，已知最大的一个聊天群组包含了超过 22 万名群成员。

简单来说，Deepfake 可以理解为人们常说的 "AI 换脸 "。此次被曝的深度伪造性犯罪在韩国掀起了巨大的舆论危机。上周，韩国总统尹锡悦敦促政府部门彻底调查以根除此类数字性犯罪，韩国警方宣布将实施为期 7 个月的深度伪造性犯罪严打行动。

处于风暴中心的 Deepfake 技术也被频频提起。基于人工智能，只需要特定对象的部分图片和音视频素材，通过 Deepfake 就能得到足以乱真的伪造内容。但除 "AI 换脸 " 外，Deepfake 还存在其他不同的表现形式，例如改变人物的五官、表情等原有特征，或是生成全新的人脸图像。

随着 AI 浪潮正席卷全球，Deepfake 越发频繁地出现在公众视野中，却常常与生成淫秽色情内容、网络诈骗等违法犯罪行为相挂钩。8 月中，《纽约 · 时报》揭露了新型诈骗者是如何通过 Deepfake 编辑马斯克、巴菲特等名人的真实采访视频，让 "AI 马斯克 " 对不存在的投资机会侃侃而谈，以骗取观看者的资金。据咨询机构德勤预计，由 AI 驱动的 Deepfake 每年将造成数十亿美元的欺诈损失。

生成式 AI 的发展带来了智能的涌现，而 Deepfake 的危害同样开始涌现，这项技术看似已沦为一些高智商罪犯作恶的工具，但技术本身是否应该承担全部的责任？在 AI 狂飙的背后，又有哪些力量能够为其套上缰绳？

AI 时代下的 " 猫鼠游戏 "

Deepfake 一词由 "Deep Learning"（深度学习）和 "Fake"（伪造）组合而成，最早产生于 2017 年。当时一位名为 "Deepfakes" 的用户将明星的脸替换到色情视频中，并发布在社交平台 Reddit 上。在这项技术的早期阶段，合成的内容还存在许多不自然的痕迹，伪造效果比较粗糙，很容易被识别，这也意味着其很难让人上当。

但生成式 AI 的崛起极大改写了 Deepfake 的实际应用。数字内容安全服务商中科睿鉴的深度伪造检测专家葛星宇告诉蓝鲸新闻记者，AI 大模型正以日新月异的速度实现迭代，领先的模型能够达到万亿级参数量，同时经过海量数据的训练。" 当这样的大模型技术应用在 Deepfake 当中，实际上能够指数级地增强 Deepfake 的仿真或者伪造。"

葛星宇表示，原先通过 Deepfake 生成某一特定人物的图像或视频，不仅需要大量的数据输入，后续还要再进行调整。而现在通过 AI 大模型，Deepfake 能以极快的速度生成效果逼真的内容，需要的数据量也更少。Deepfake 的使用门槛被大大降低，对不具备计算机专业知识的普通用户来说也非常简单，仅需将几张图片等素材输入到 Deepfake 软件或网站中，就能一键生成想要的内容。

这极大降低了 Deepfake 的门槛，让 Deepfake 技术变得更为普遍易用，同时也意味着稍有不慎，深度伪造的内容便极有可能造成混乱。8 月，马斯克旗下的人工智能初创公司 xAI 发布了新一代 AI 大模型 Grok-2，能够为用户提供图像生成服务。但使用者很快发现，与其他图片生成工具相比，该模型对生成内容并未严格设限。借助 Grok-2，用户可以轻易地得到持枪的特朗普、站在血泊里的米老鼠等虚假图像。这些内容很快在社交媒体 X 上广泛传开，加剧了公众对其滥用风险的担忧。

Deepfake 能够实现以假乱真的效果，与其背后的 CNN（卷积神经网络）和 GAN（生成对抗网络）等技术基础密不可分。葛星宇解释称，CNN 是一种专门用于处理图像和视频等数据的深度学习模型，能够提取出人脸中的五官、微表情等细节特征。而 GAN 则包含生成器和鉴别器两个核心要素，生成器负责生成虚假内容，鉴别器负责判断其真假。两者相互对抗，直至生成器能创造出鉴别器无法区分真假的数据。

但 Deepfake 生成的内容并非毫无破绽，目前市场上已出现若干深度伪造检测工具，一些科技公司和高校研究团队在对此展开研发。

AI 安全基础设施提供商瑞莱智慧的联合创始人、算法科学家萧子豪告诉蓝鲸新闻记者，深度伪造检测的常用方法包括分析画面和声音里违背常识的地方，如长时间不眨眼、不对称的瞳孔。还可以使用 AI 算法从数字信号层面分析，基于伪造内容数据集训练模型检测器，通过检测帧间不一致性来识别伪造内容。

就好像道高一尺魔高一丈，萧子豪将深度合成与检测比喻为一场 " 猫鼠游戏 "。处于强对抗性的环境下，双方都会在不断学习攻防的过程中自我进化，以规避上一代的对抗技术。

蚂蚁集团旗下独立运营的科技业务子公司蚂蚁数科表示，"Deepfake 攻和防是一个相对且不断精进的过程，你在进步，Deepfake 也在进步，我们要做的就是跑在它的前面。" 今年 4 月，蚂蚁数科推出了反深伪产品，基于其天玑实验室生成的超 30 万测试样本进行判别训练，每个月进行的攻防测评超 2 万次。

从传统的 PS 篡改到 Deepfake 技术，伪造手段实现了快速进化，造成损害的范围也在扩大。据葛星宇介绍，中科睿鉴的伪造检测业务原先更侧重于 B 端和 G 端。例如服务于政府部门，检测谣言中深度合成的内容，或为运营商等企业提供技术，防范电信敲诈勒索。

" 但我们发现，随着 Deepfake 技术的低门槛、高质量、普及化，除了国家安全、诈骗等场景，它也会摧毁社会中人和人之间的信任，就像此次韩国发生的 Deepfake 性犯罪事件。" 葛星宇称。

因此，中科睿鉴今年也开始推进 To C 方面的业务，上线了可用于 Deepfake 内容检测的微信小程序。葛星宇表示，若普通个体发现可能存在深度伪造内容被传播，并造成损害性后果，可以先通过此类工具自行鉴定，对虚假图片或视频的算法进行溯源。之后可将相关数据提交给公检法机关，或能促使提供 Deepfake 服务的软件等得到相应处理。

但还存在的问题是，如何让用户意识到什么是深度伪造内容，为什么一段看起来毫无破绽的视频需要进行内容检测，这可能比技术层面的攻防比拼更加重要。

漏洞难堵的 Deepfake

当审视与 Deepfake 相关的违法犯罪链条时，最直接的加害者无疑是恶意使用这一技术的人。但隐匿在其身后的责任主体还有平台方，包括 Deepfake 技术或服务的提供者，以及社交媒体等传播平台。

Deepfake 的服务提供者或技术支持者通常会明确相应的安全管理规定。以国内一款提供 " 视频换脸 " 功能的火爆应用为例，该 App 在规定中明确，用户应保证使用其 AI 技术生成的视频内容合法合规，同时上传到 App 中的任何素材内容均应符合法律法规且不侵犯任何第三方的合法权利。但是这与任何用户协议一样，几乎没有用户会认真对待，而这些 App 对此心知肚明。

类似的规定也多见于国外的 Deepfake 网站中，同时 OpenAI、谷歌等 AI 大模型厂商对旗下的图像生成模型设有内容限制、水印标记等防护措施，防止其生成色情、暴力或操纵政治选举等内容。但今年 5 月，OpenAI 表示虽然将维持对深度伪造的禁令，正在探索是否应该允许用户使用其产品创建不适合工作场所的内容，可能包括 " 色情、极端血腥、诽谤和未经请求的亵渎 "。

葛星宇表示，虽然多数厂商都会设置安全防护，但互联网上仍有很多公开渠道可以获得开源的算法，这些算法并没有受到相应法律法规的限制。同时社会上还存在黑产，对 Deepfake 算法进行交易。" 技术本身是中性的，如果没有做防护，也不知道人们会拿去做什么。"

据了解，部分深度伪造色情内容的用户所使用的是 AI 初创公司 Stability AI 的开源文生图模型 Stable Diffusion。尽管在用户生成色情内容引发争议后，Stable Diffusion 的新版本加强了对成人内容的过滤，但其开源特性使得任何人都可以访问和修改其代码，一些用户仍然能找到绕开安全过滤机制的方法。

出于恶意用途的 Deepfake 内容在制作完成后，下一环节便是流入到传播平台中。随着近年来 Deepfake 犯罪频发，多家社交平台也开始跟进推出相关规定。今年 8 月，谷歌宣布将降低搜索结果中露骨虚假内容的曝光率，并简化深度伪造受害者申请删除非自愿图片的流程。谷歌旗下的 YouTube 也明确禁止欺诈和篡改视频，并要求创作者披露使用 AI 创作的内容。Meta 此前表示，正在训练自动检测系统以捕捉平台上的深度伪造欺诈行为。

回顾全球多地发生的 Deepfake 性犯罪案件，其中高频出现的一个通讯平台便是 Telegram。这款应用以强大的加密和隐私保护功能闻名，也因此成为网络色情犯罪、诈骗、贩毒等交易的温床。韩国警方本周表示，已对 Telegram 实施立案前调查，但 Telegram 在提供账户信息等涉案资料方面不积极配合，导致警方面临侦查难题。

9 月 3 日，韩国通信标准委员会称 Telegram 已遵从其要求，删除平台上部分深度伪造色情内容，并为造成的沟通不畅道歉。

就在韩国爆发 Deepfake 风波的几乎同一时期，大洋彼岸的法国于当地时间 8 月 24 日拘捕了 Telegram 的创始人兼首席执行官 Pavel Durov。法国检方对其的指控罪名包括共谋在 Telegram 上散播儿童色情内容、非法毒品和黑客软件，同时指控 Telegram 几乎完全没有回应司法要求。Pavel Durov 随后缴纳了 500 万欧元保释金，但被禁止离开法国。

汇业律师事务所高级合伙人王小敏律师对蓝鲸新闻分析道，Telegram 等境外社交平台的服务器位于国外，国内监管或执法部门在跨境执法时可能会面临诸多困难，如取证、执法协作、法律适用、管辖等，这在一定程度上加大了监管或维权的难度。此外，深度伪造技术的匿名性和跨地域性也增加了执法难度，使得不法分子往往容易逃脱法律的制裁。

王小敏律师补充称，当下深度伪造违法犯罪行为变得更加常见，原因之一还在于法律规制的滞后性。他指出，法律法规往往难以跟上技术发展的步伐，导致监管滞后。但随着 AI 技术的进化，相关监管法规不可能一成不变，目前已有一些国家和地区开始立法限制深度伪造技术的滥用。

在中国，深度合成或伪造相关的法律条文除《刑法》、《网络安全法》等一般规定外，还散见于《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等相关部门规范中。其中，2022 年颁布的《互联网信息服务深度合成管理规定》是中国首部深度合成领域的专门法规。目前已有算法备案和一些司法判决、行政处罚等实践案例。

王小敏律师表示，如果此次韩国 Deepfake 事件发生在中国，通过深度伪造换脸制作并传播淫秽色情内容，很可能构成刑事犯罪，比如传播淫秽物品罪或涉嫌制作、贩卖淫秽物品牟利罪等。此外，受害人还可以就其肖像权或名誉权被侵害提起民事诉讼。

眼见未必为实，这件事在生成式 AI 技术风起云涌的时代带来了越来越多的混乱。韩国的深度伪造性犯罪只是先对韩国人造成了伤害，这并不意味着我们就能够免受其害，反而是给全球敲醒了警钟。还没有一个完美解法的现在，需要技术、法律、监管以及各种制度配套应对，才能有机会让更多社会力量参与进来，防止更多的罪恶蔓延。