“AI明星换脸”、合成语音诈骗……新规来了!
2022 年 02 月 03 日 11:46 琼海之窗
继算法推荐之后,深度合成技术也将迎来单独规范。1月28日,国家互联网信息办公室发布《互联网信息服务深度合成管理规定(征求意见稿)》(以下简称“征求意见稿”)并公开征求意见。所谓深度合成技术,是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术,包括语音合成、换脸、虚拟现实等场景。近年来,深度合成技术被频繁用于色情内容制作和诈骗。征求意见稿提出,深度合成服务提供者提供深度合成服务时,应当使用显著方式对深度合成信息内容进行标识。若提供人脸、人声等生物识别信息的显著编辑功能,还需取得被编辑的个人信息主体的单独同意。南都·AI前哨站梳理发现,在征求意见稿出台之前,民法典就在肖像权相关条款中对深度合成做出规制:任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。此后,《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》也提出相关要求。北京科技大学文法学院副教授张凌寒认为,征求意见稿的出台是建立算法分级分类管理体系的重要举措。民法典是从保护公民肖像权、名誉权等民事权利的角度规定,《互联网信息服务算法推荐管理规定》则为五类(包括生成合成类)算法设立了一般性义务规则,而征求意见稿对高风险的深度合成算法施加了更为严格的监管措施,进一步落实和细化《关于加强互联网信息服务算法综合治理的指导意见》中算法分级分类的相关制度。
值得注意的是,《互联网信息服务算法推荐管理规定》提出,发现未作显著标识的算法生成合成信息的,应当作出显著标识后,方可继续传输。《网络音视频信息服务管理规定》也要求,网络音视频信息服务提供者和网络音视频信息服务使用者利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的,应当以显著方式予以标识。事实上,在此次的征求意见稿中,深度合成信息内容标识管理制度也是重要内容之一,并进一步具象到文本、声音、图像、视频等场景中,要求深度合成服务提供者使用有效技术措施在深度合成的信息内容中添加可被自身识别、追溯,且不影响用户使用的标识,且对于合成人声、仿声、人脸替换等深度合成内容使用显著方式进行标识,向社会公众有效提示信息内容的合成情况。若未显著标识,应当立即停止传输该信息。不同的标识方式和标准,要求深度合成服务提供者构建一套算法安全体系,其中需要一整套显示标识的制作、鉴别、巡查和过滤方案。张凌寒指出,企业自身需自定协议标准和标识的实现方式,对资深数据进行识别,这一标识方案将被监管部门检测和评估。此外,征求意见稿遵循了个人信息处理中的知情同意原则。第十二条明确,深度合成服务提供者提供人脸、人声等生物识别信息的显著编辑功能的,应当提示深度合成服务使用者依法告知并取得被编辑的个人信息主体的单独同意。也就是说,《规定》如果实施,“AI换脸”视频不论用作何种用途,都需要告知用户,其内容为技术合成而非真实,并取得被编辑的个人信息主体的单独同意,否则将构成违规。国家网信办介绍制定征求意见稿的必要性时表示,在已出台相关部门规章和规范性文件的监管要求基础上,需要进一步厘清、细化深度合成技术的应用场景,明确深度合成服务提供者和使用者的信息安全义务,出台具有系统性、针对性和可操作性的专门管理规定。国家网信办指出,深度合成在服务用户需求、改进用户体验的同时,也被一些不法分子用于制作、复制、发布、传播违法信息,诋毁、贬损他人名誉、荣誉,仿冒他人身份实施诈骗等违法行为。公开资料显示,在人脸生成、语音合成等领域,已经出现了不少诈骗案例。据公安部网安局公布的案例,2020年12月,某公司财务小王接到领导电话,要求立刻给供应商转款2万元。由于老板的口音十分逼真,小王信以为真,在1小时内转款完成,后发现被骗。在净网2021专项行动中,南通警方曾破获了一起AI人脸识别诈骗案件:犯罪团伙利用AI软件伪造人脸识别认证来解绑用户账号,再以低廉的价格将账号卖给下游的诈骗分子,从而非法牟利。随着“换脸”技术的普及,明星也成为重灾区。2020年,一些人在短视频软件上利用图像和声音合成技术,“化身”演员靳东,让不少中老年女性沉迷其中从而受骗。同年,据外媒报道,女演员艾玛·沃特森的30秒换脸视频在色情网站上播放超过2300万次,还有多位女明星的换脸视频被观看了数百万次,如泰勒·斯威夫特、娜塔莉·波特曼、比利·艾利什等。针对以上乱象,征求意见稿明确深度合成服务提供者主体责任。如深度合成服务提供者应当依法对深度合成服务使用者进行真实身份信息认证,否则不得为其提供信息发布服务;采取技术或者人工方式对深度合成服务使用者的输入数据和合成结果进行审核,停止传输未被标识内容,建立健全用于识别违法和不良深度合成信息内容的特征库等。在法律责任方面,征求意见稿提出,违反规定的,由网信部门给予警告,责令限期改正,改正前应当暂停相关业务;拒不改正或者情节严重的,责令暂停信息更新,并处一万元以上十万元以下罚款。如果给他人造成损害或构成犯罪,还将依法承担民事责任或追究刑事责任。北京师范大学互联网发展研究院院长助理、博导、中国互联网协会研究中心副主任吴沈括认为,征求意见稿的出台对于利用深度伪造的技术实施色情、暴恐、虚假信息等犯罪治理,有非常重要的生态性意义。“(征求意见稿)能够提高溯源的水平、判定犯罪主体的准确度,并且提高各方在治理、处置深度合成滥用情形中的应对能力。也能提高对已发生的违法犯罪活动的处置效率和水平。”南都评论
规范深度合成技术,“换脸”骗术的末日快来了
法律学者 柳宇霆
继算法推荐之后,深度合成技术也将迎来单独规范。1月28日,国家互联网信息办公室发布《互联网信息服务深度合成管理规定(征求意见稿)》(以下简称“征求意见稿”)并公开征求意见。
深度合成是一个不为人所熟知的新鲜术语,但说起“换脸术”、“换声术”等骗术,人们恐怕都不会陌生。这些年,在先进的深度合成技术加持下,违法犯罪分子“阴招迭出”:有的假冒领导口音打电话,骗来公司员工转款;有的“化身”知名演员,让不少中老年女性沉迷其中,受骗上当;有的将女明星头像嫁接在不雅视频上,在色情网站大量播放,赚取利润。如此种种,无论普罗大众,还是明星达人,无不深受其害,更把网络世界搞得乌烟瘴气。
值得欣慰的是,立法机关已经着手规制乱象。根据《民法典》规定,任何组织或者个人不得以丑化、污损,或者利用信息技术手段伪造等方式侵害他人的肖像权。在《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》《网络音视频信息服务管理规定》中,也有要求。不可否认,在肖像权的法律条款中予以规制,以及通过部门规章加以限制,对深度合成都是有力制约,但立法条款过于抽象,停留于“一般性义务规则”,并不利于“对症下药”,有效打击和防范技术滥用。
审视征求意见稿,堪称规范深度合成的集大成者,不但与《民法典》保护肖像权的立法精神一脉相承,也将《网络信息内容生态治理规定》《互联网信息服务算法推荐管理规定》等行政规章,包括《关于加强互联网信息服务算法综合治理的指导意见》的方向性要求落实到位。比起分散式规定,,这种系统性立法火力更加集中,具体操作性也更强,从而也更容易生效。更为重要的是,围绕深度合成推进立法,体现了国家重拳规制这一乱象的态度和决心,有利于震慑不法分子,维护网络生态纯净。
从具体内容看,构建了信息内容标识管理制度是征求意见稿的一大亮点。老实说,面对现代信息技术的“魔术手”,对于那些被深度合成的内容,早就是“雌雄莫辨”“真伪难分”了。根据征求意见稿的要求,深度合成服务提供者使用有效技术措施,在深度合成的信息内容中添加可被自身识别、追溯,且不影响用户使用的标识,且对于合成人声、仿声、人脸替换等深度合成内容使用显著方式进行标识;若未显著标识,应当立即停止传输该信息。这就意味着,深度合成内容一旦加了“标识”,将受到更严格的“嵌入式”监管,而服务提供者也必须与监管部门“通力合作”,真正拧成“一股绳”。
遵循“知情同意原则”,乃是征求意见稿的另一大亮点。通过《网络安全法》等法律的实施,基本确立了“知情同意原则”,而近期出台的《个人信息保护法》更强调了这一处理个人信息的基本原则。根据征求意见稿,明确深度合成服务提供者提供人脸、人声等生物识别信息的显著编辑功能的,应当提示深度合成服务使用者依法告知,并取得被编辑的个人信息主体的单独同意。对于那些企图“浑水摸鱼”“弄假成真”的不法分子,明晃晃的“知情同意原则”,意味着用户和被编辑的个人信息主体再也不能被轻易“糊弄”和“愚弄”,规定将如同一只粗壮的大手,直接摁住他们的咽喉。
深度合成技术不能沦为不法分子的“摇钱树”。国家互联网信息办公室发布《互联网信息服务深度合成管理规定(征求意见稿)》,在精确施治、系统遏制上迈出了关键一步,也宣示了,想要趁网络乱象“火中取粟”,终归只是黄粱一梦。
最新文章
推荐文章