文 | 有界UnKnown

一个AI恐怖故事:我在色情网站,看到了自己

“我在群里看到你,是你吗?”

在韩国,如果有朋友给你发来这句问候,不要误会,他大概率不是要和你叙旧,因为接下来他给你发的,很可能就是你的 *** 。

看着屏幕,你如遭雷击,脑子一片空白。虽然你百分百确认自己从来没有拍摄这样的照片,可手机屏幕里的那个人眉目清楚,却又分明就是你。

你不明白发生了什么,心脏被攥紧,恐惧开始在全身蔓延。

照片当然和女孩儿无关,它是由一种名叫深度伪造(DeepFake)的技术生成,这种技术在国内更被人熟知的称呼是“AI换脸”。在如今的韩国,这种技术正在变成一团巨大的阴影,笼罩在所有女性的头顶,带来恐慌和迫害。

在韩国,犯罪者通过DeepFake将普通人的形象替换到 *** 或视频中,然后通过社交媒体上进行传播,对当事人进行羞辱。

据《朝鲜日报》的报道,最近一周在警方发现的相关Telegram社群里,参与 *** 和传播DeepFake的加害者已多达23万人。这些人不局限在韩国,也来自世界各地。

另据一位韩国网友在X上发布的帖子表示,受到DeepFake影响的受害者已经遍及韩国数百所国中、高中和大学。这些受害者中,80%是女性,她们有的还在念初高中,属于未成年人、有的是大学生或者教师,其中甚至包括女性军人,她们的照片被称为“军需品”。

▲X上披露受Deepfake技术影响的校园名单

回顾这场风暴,DeepFake无疑是其中的关键。但它却并不是一项新技术,最早出现在2016年的DeepFake到如今已有将近十年的历史。

这十年间,DeepFake一直游走在罪恶和法律的边缘,不断挑战着人性和道德的底线。从美国到中国,从韩国到印度,DeepFake每隔一两年就会有一次技术突破,然后又给这个世界带来一场更大的恐慌。

技术有罪吗?DeepFake好像确实如此。但技术真的有罪吗?却似乎又与DeepFake无关。

被害人,从明星到百姓

追溯起来,DeepFake 最早出现在2016年。

当时,机器视觉还是全球AI研究最热门的方向之一,一些研究人员在研究机器视觉的过程中使用DCNN(深度卷积神经 *** )实现了人脸识别、表情转换以及其他与图像处理相关的任务,这是DeepFake最早的雏形。

差不多一年之后,以这些技术为基础,科研人员进一步采用GAN(生成对抗 *** )实现了生成逼真的人脸图像。之后,“换脸”很快以极具破坏性的首秀向大众展示它的威力。

2017年,一位Reddit用户在Reddit新建了一个名为“DeepFake”的社区,开始用名人的肖像来 *** 色情内容进行传播。知名女星斯嘉丽·约翰逊(Scarlett Johansson)、加尔·加朵(Gal Gadot)都成为了受害者,其带来的恶劣影响,也曾喧嚣一时。

后来,这个社区虽然被很快删除了,但“DeepFake”这个名字却被保留了下来,并成为AI合成内容的代名词。

在这个阶段,DeepFake还掌握在以学术研究为主的少数群体手中,导致它的使用仍然存在一些门槛。直到2019年,开源工具FaceSwap将DeepFake的应用从学术研究普及到大众,然后之一个广泛流行的DeepFake应用FakeApp就随之出现,它让非技术人员也能轻松创建DeepFake视频。

DeepFake从此开始越来越普遍,从2019年到2020年,DeepFake频繁引发各类公共事件,其影响范围也从娱乐色情扩展到经济社会的各个方面,甚至包括总统选举。

而韩国新N号事件更大的一个变化在于,它说明DeepFake的受害者正在加速平民化,未来DeepFake的受害者,不再局限于明星政要,包括你我在内,每一个人都有可能成为新的受害者。

▲DeepFake相关代表事件

如今,随着AI大模型技术的发展, *** 一张DeepFake图片的成本几乎已经可以忽略不计。

这次韩国新N号房之所以波及范围如此之广,一个重要的原因是,在Telegram上随便加入一个DeepFake的社群,就会获得两次免费的图片生成机会。

“将你喜欢的女生照片发给我。”这是很多人加入在Telegram上加入DeepFake社群的之一步。

两次免费的生成机会之后,新的内容生成虽然需要付费,但价格也并不高,每一次只需要支付一颗钻石(Telegram的一种加密货币,约合0.49美元,3.49元人民币)。而且和所有充值办卡的逻辑一样,充得越多,价格还会越便宜。

当然,你也可以选择不付费,那么你只需要再邀请一位新朋友加入,就可以再获得一次免费生成的机会。由一个人拉来另一个人,罪恶通过熟人关系进行裂变,然后如病毒般扩散[1]。

这也导致另一个问题,那些所有通过DeepFake生成的淫秽内容,都由熟人进行 *** ,并在熟人圈子里进行传播。

比如在韩国学校里,许多人就将身边朋友的照片用来生成淫秽色情内容。很多照片,可能就来自你刚刚生日,或者旅游之后在社交媒体发布的美照。

由于熟人的关系,这些“脸”属于谁也通常被标记得一清二楚。你可能会莫名收到来自陌生人的短信或者邮件,对方能够明确指出你学校和班级,或者你的工作单位和家庭住址,然后在末尾放上一段由“你”出演的 *** 视频。

▲韩国媒体报道中的Telegram截图图源微博

对于身处其中的受害者而言,这件事情最可怕之处在于,你不知道平日里衣冠楚楚的朋友们,会不会就是这23万人中的一员;你不知道之前发布在社交媒体的照片会不会已经被他们保存下来,然后替换到那些淫秽不堪的场景当中。

你不知道他们会把这些照片发给谁,如何对着这些东西对你品头论足,身边又有多少人看过这些内容。

你只知道,这个世界有一双无形的眼睛,在不为人知处默默的注视着、觊觎着你。

只是一场游戏

受害者们自然不会缄口不言。

8月份以来,韩国女性开始在国内外互联网平台上进行 *** ,要求将“加害者”绳之以法。但当韩国女性四处求告之时,加害者们却颇有一种漫不经心,不以为然的态度。

有韩国女孩儿截图犯罪者的言论,他们将受害者的 *** 当做是一种女权主义,并表示“女人们对这件事情过分夸张”。

韩国媒体的报道中也提到许多有关犯罪者的言论,他们说用熟人的形象 *** 深伪色情内容“只是觉得有趣”、“只是在开玩笑”、以及“用熟人的照片P图更真实”,而当有人说这样做犯法时,他们甚至发出“只有傻瓜才会被被警察逮住”的言论。

▲在微博求助的韩国网友

是的,这件让许多受害者深感痛苦的事情,在许多在许多加害者眼中只是一场“游戏”。

韩国媒体Pressian报道,截至今年6月,Telegram上一个名叫“朋友COCKHERO(Cock Hero)chat”的群聊中[2],已有数百名参与者上传自己女性朋友的照片或视频,然后利用DeepFake将它们 *** 成淫秽内容。

他们群聊里分享素材和自己 *** 的内容,甚至有人在群里表示,“请用我的朋友 *** 的Cock Hero并分享一些感想”,并将其视为一种荣誉。当然,他们也会对受害女性的外貌,以及被性剥削的可能品头论足。

在这个过程中,参与者被要求提供更多的素材,并表示“提供女性朋友的照片和视频越多,生成的深伪内容质量就越好”。

当然,这也只是数千甚至上万个Telegram群聊中的一个,没有人知道Telegram上这样的群聊有多少。

而随着参与者的逐渐增多,这场由所谓“玩笑”引发的深伪色情内容 *** 正在变得越来越有组织,有预谋,并逐渐有脱离 *** 犯罪范畴的迹象。

韩国媒体报道,现在已经有越来越多的受害者收到恐吓内容。施暴者通过制造深伪色情内容对受害者进行威胁,并索要钱财。许多加害者甚至开始讨论,如何将受害者绑架并将其变成 *** 隶。

正如同潘多拉魔盒里的罪恶,DeepFake也正在冲破其“虚拟”的属性,变得一发不可收拾。

DeepFake,法外之地?

面对这些问题,许多人肯定会有一个直接的疑问:法律难道不管吗?

答案是管,但管的不多,且不同国家和地区法律能够干预的程度也有所不同。

比如今天DeepFake内容泛滥最严重的韩国,虽然在2019年的“N号房”事件和2020年“传播虚假视频”事件后,韩国当局在《性暴力处罚法》中增加了“数字性犯罪”的概念和相应的处罚条款,但约束能力实在有限。

与非法拍摄的视频不同,在韩国,单纯拥有和观看深度伪造视频是不会受到处罚的。而即使你利用DeepFake *** 了破坏受害人人格的非法深度伪造图像或者视频,但只要你说你没有“以传播为目的”,你依然可以避免受到惩罚[3]。

这也是韩国在处理新N号房事件时出现非常多非常戏剧性案例的原因。

比如在今年一场针对Telegram上 *** DeepFake内容的社群进行调查时,虽然警方知道社群的参与人数达到1200人,但却仅有一人被捕。而他被捕的原因,是因为他将群里的DeepFake内容传播到了其他地方。除了他之外,这个社群包括运营方在内,没有一个人受到惩罚。

除了韩国之外,美国、英国、欧盟针对DeepFake的内容也都有相应的法律,但各个国家的侧重点和保护力度有所不同。

其中,美国的相关法律更倾向于保护政治选举的可靠性。

加利福利亚州明确提出禁止DeepFake在政治和性侵害方面的施暴,并且条款具体,比如提出“禁止在选举前60天内传播可能影响选举结果的虚假视频”。

但在联邦层面上,美国缺乏统一的DeepFake法规。各州的法律执行在跨州和跨国案件中面临困难,尤其是在涉及跨境的DeepFake内容传播时,这些法律可能面临执行力不足的情况。

英国的《诽谤法》可以用于打击涉及DeepFake的诽谤行为,但这种法律通常需要受害者主动提起诉讼,成本高、时间长,普通人可能难以负担。

虽然英国明确对传播渠道做了规定,但DeepFake内容的跨国性传播使得法律的执行复杂化,可能削弱其实际效果。

欧盟的法律相对比较严格,《一般数据保护条例》(GDPR)和《数字服务法》(DSA)通过严格的隐私保护和数字内容管理要求,对DeepFake技术的滥用进行限制,并对违反规定的公司施加了高额罚款。这些法律要求平台对DeepFake内容负有更高的责任,必须主动监测和移除虚假信息。

▲世界各国DeepFake法律法规一览

而与大多数国家不同,中国针对DeepFake的内容,特别是涉及淫秽色情内容的部分,管理要更加严格。

今年3月份,杭州互联网法院就曾审结一起关于利用AI换脸传播淫秽色情内容的案件。

这个案子发生在2020年,和韩国人在Telegram上的玩法一样,案犯通过AI工具 *** 换脸视频,然后在社交软件上创建社群进行分发。

案犯创建的社群名叫“浏览群”和“私人订制群”。浏览群主要用来传播DeepFake视频,招揽观众和客户;定制群则支持付费定制,按照5分钟300元,10分钟500元的标准收费。案犯在审理中表示,“只要能看到脸的都能换,有人甚至要定制暗恋女生的换脸视频。”

经过审理,该案犯最终因侵犯公民个人信息,以及 *** 、传播淫秽物品牟利罪被判有期徒刑七年三个月。

通过这个案件我们也能看到,在中国通过DeepFake *** 色情内容进行传播,其犯罪成本要比国外高很多。

这样的好处自然是中国没有出现DeepFake内容大规模泛滥的问题,但另一面,也有更多人开始不满足于高风险低回报的 *** 内容 *** ,而开始铤而走险,通过AI换脸技术进行电信诈骗。

可以看到,在中国犯罪成本比在韩国要高很多。所以很多人利用AI换脸技术,并不是制造淫秽色情内容,而是电信诈骗,而这种DeepFake也不止局限于面目,甚至包括声音和个人身份信息。

2022年以来,随着生成式AI技术的发展,国内电信诈骗案件持续高涨。

20多年前的2000年,中国刑事案件中盗窃案件占比最多,达到总量的60%,反扒小组曾一度成为一个专门的警察编队。20多年后的今天, *** 电信诈骗取而代之,成为新的“时代罪恶”[4]。

据中国警察协会最新数据,2024年上半年,诈骗占刑案的比例上升至60%,其中绝大部分是 *** 电信诈骗。这是一个时代的变迁。

技术的发展,似乎在给这个社会带来更多的疼痛。

结语

在历史的传统叙事中,人们喜欢将DeepFake这样的事物归结为原罪,比如魔丸转世的哪吒,或者希腊神话中的阿多尼斯。但现代社会,我们并不这么思考问题。

2014年,因P2P(peer to peer)分享传输技术而成为“宅男神器”的快播轰然倒塌,创始人王欣被逮捕。两年之后,王欣在案件庭审中为自己和快播做出了一番经典的辩护——技术无罪。

在王欣的理论中,自己和快播只是创造了一项技术,至于用户拿他做什么,与他无关。

但这件事情并没有回答,为什么技术带来的罪恶仍然频频出现。直到两年后,在距离王欣受审的法院不到20公里的地方,腾讯研究院举办了一场活动,它的主题是“科技向善”。

食,色,性也。

技术发展的难点,除了技术本身之外,更本质的难点在于,如何限制撬动人性“恶”的杠杆。而在腾讯的理念中,使用技术的人本身应该承担起这样的责任,人类应该善用科技,避免滥用,杜绝恶用。

如今,科技向善已经被越来越多企业接受,成为中国技术发展的一项底层理念,但科技向善,却是一个更长久的课题。