【编者按】安全和新兴技术中心（CSET）7月发布报告《Deepfakes：基本威胁评估》。近年来，研究人员已使用机器学习（ML）生成高度逼真的假图像和视频，这被称为“深度造假”（Deepfakes）。随后，普通人也使用此技术，制作了更多的音频和视频，创作对象包括特朗普、奥巴马和普京等知名人物。机器学习的最新进展将增强恶意媒体操纵行动的有效性，这种趋势引起了国家安全界的担忧。报告分为三个部分，首先提出了一个框架，用于评估深度造假技术在媒体操纵领域的潜在影响。第二部分包括合成媒体制作以及检测方面的最新技术。第三部分汇集了研究领域的趋势，以预测虚假宣传活动将如何使用这些合成媒体技术，并基于此分析提出了政策建议。

1 深度造假内容带来的风险

在报告中，深度造假内容指通过机器学习（尤其是深度学习）领域的最新突破而生成的合成图像、视频和音频，其中包括修改现有媒体的部分方面或生成全新内容的机器学习技术。深度造假技术不包括不使用机器学习来处理媒体的广泛技术。

从国家层面看，各国、政党和恶意行为主体可能利用机器学习技术的进步，加强媒体操纵工作的有效性，这种趋势已引起国家安全界的担忧。国家安全界的政策制定者和分析师预期，先进的机器学习技术将整合到大规模的信息战中，如同俄罗斯对2016年美国总统大选的干预。从公众层面看，人们担心合成媒体会削弱对真伪的辨别能力。美国会委员会主席在关于深度造假的听证会上列举了其恶意用途之后，承认：“人们无需任何想象力就能设想出更多噩梦般的场景，这将使政府、媒体和公众难以辨别真实与虚假。”

2 驱动使用深度造假技术的三个因素

虚假信息行为主体力求以尽可能低的成本达成最大的社会和政治影响力。三个重要因素将决定其是否使用深度造假技术。

机器学习驱动的合成媒体的可信度

机器学习驱动的深度造假内容可以重现各种细微的细节，这使将识别图像或视频具有挑战性，形成混乱和猜疑。但是，这种与日俱增的真实性并不一定促使虚假信息行为主体明确选择深度造假技术。互联网上同样充斥着广为传播且具有真实性、但并非使用深度造假技术的例子。2019年众议院议长佩洛西的视频在社交媒体上广泛传播，旨在展示佩洛西喝醉或患有精神恶化，但该视频的制作只是通过减慢佩洛西在活动中的讲话。相较于真实性，对于恶意行为主体而言，实施“激励性推理”的策略更为有效，人们更愿意接受可以证明预先偏见的图像或视频。这使得深度造假技术对虚假信息行为主体而言吸引力较小，尤其是在权衡使用该技术的成本和风险之后。不过，深度造假技术将逐渐集成到无需特殊技术知识的软件平台，越来越平民化，这种趋势可能会大量减少运营成本。

实施深度造假技术的操作要求

通常，高性能AI系统的创建需要基于足够的训练数据和计算能力。制作深度造假内容时，获取并构建训练数据，以及训练过程都将需要大量费用。行为主体可能还需要专业知识，这使得深度造假成为较其他方式生成的虚假信息而言，更为昂贵的选择。不过，随着深度造假技术逐渐集成到无需特殊技术知识的软件平台，越来越平民化，这种趋势可能会大量减少运营成本。

使用深度造假带来的检测风险

在线影响力行动若使用深度造假内容，可能增加其暴露的风险。用于深度造假的机器学习模型可能会在图像、音频和视频中留下可疑的失真内容，影响力组织所分发内容中的失真信息通常是一致的。由此，深度造假内容可能包含了一种“指纹”，使调查人员可以将来自特定虚假信息行动组织的媒体内容联系起来，进而追踪到特定来源，并向公众发出警报。随着人们对深度造假内容的担忧加剧，Facebook、YouTube、推特等平台制定了禁止使用某些合成媒体的政策，并通过检测算法来执行。影响力行动如果发布深度造假内容，将冒着被平台迅速删除或被标记为可疑信息的风险。与现有传播虚假信息的方法相比，深度造假技术由于暴露和检测风险增加而吸引力降低。

3 深度造假内容制作和相应检测技术的发展现状

深度造假内容制作

深度造假必须满足两个条件，才可获得在线影响力行为主体的青睐。首先，生产深度造假内容的运营成本（购买硬件、获取数据以及聘请专家工程师）不能过于繁重。其次，深层的生成模型必须能够成功产生影响力行动所需的虚假媒体内容。

“深度学习”指机器学习中使用的一类模型，称为神经网络。研究人员着重研究使用深度学习的生成模型，因为此类模型能够从各种数据中提取表征形式，可以对原始训练数据进行惊人的模仿。近年来，已出现许多各具优缺点的模型，一些最突出的示例着重于图像的生成，包括Glow（2018）、PixelCNN（2016）、NADE（2016）和DRAW（2015）。尽管研究人员将重点放在静态图像上，但深层生成模型也已成功创建了合成音频和视频，例如WaveNet。WaveNet是2016年发布的深度生成模型，擅长对音频数据进行建模。

深度造假广泛使用的一种技术是生成对抗网络（GAN）。GAN发明于2014年，现已成为技术界探索的关键领域。GAN使用两个成对的模型：判别模型（Discriminative Model）和生成模型（Generative Model）。前者通过目标数据集进行训练，后者基于给定的数据集合成数据。两者互相博弈，生成器尝试创建新数据来“欺骗”判别器，使其将合成数据识别为真实数据。判别器的反馈将被用来在随后的回合中训练两个模型。如果培训适当，GAN能够生成与原始培训数据极为相似的伪造品的生成器。

深度造假内容识别

数字媒体法证学（研究如何检测伪造或篡改的媒体）提供了许多工具，可用于识别可疑的伪造内容。该领域已开始将注意力转向识别由GAN和深度生成模型制作的合成媒体。GAN和其他深层生成模型产生的脸部会表现出不现实行为，例如不经常眨眼或肤色缺乏细微变化。机器学习还被应用于检测深度伪造的问题。但是，基于机器学习的检测算法的缺陷在于：遇到新创建的深度造假媒体时，其性能很差，因为这些伪造的媒体没有包含在原始训练集中。

研究人员成功地检测出深度造假内容只是一方面。如果检测系统未被社交媒体平台、新闻工作者等广泛使用，则其不太可能阻止虚假信息的散布。总体而言，检测的进步并未集成到独立的产品或服务中，仅有少数几家初创公司提供商业检测服务。此外，检测本身并不能阻止恶意行为者。有证据表明，仅识别深度造假内容并不一定会改变公众对其真实性的看法。

鉴于社交平台的规模，要有效执行其平台政策，将要求其内部系统自动检测何时上传了深度造假内容。大型技术公司因此加快了检测方面的研究。自2018年以来，谷歌为研究人员提供了合成语音和视频数据集，以鼓励在社区中建立通用标准并开展检测工作。2019年，亚马逊网络服务、Facebook、微软和AI（民间社会组织）发起了“ Deepfake检测挑战赛”，旨在鼓励研究和新方法来识别可操纵的媒体。

4 未来发展和建议

报告评估了深度造假构成的威胁，并得出两个结论：（1）技术将越来越大众化，因此，制作简单的深度造假产品将变得更加容易。不过目前的深度造假检测能力显示出，深度造假行为可以在很大程度上被阻止；（2）随着时间推移，技术精湛的行为主体制作精良的深度造假视频所构成的威胁将愈发显著。即使是资源有限的行为主体也可获取生成定制化深度造假内容所必要的技术。但是，诸如需要避免归因，需要时间训练及其学习模型以及获取数据等因素将对行为主体在具体实践中加以限制。

基于此评估，报告提出了四项建议：

（1）建造深度造假“内容池”：识别深度造假内容依赖于快速获取可用于改进检测算法的合成媒体素材。平台、研究人员和公司应该投资创建一个深度造假“内容池”，汇总并免费提供网上的合成媒体数据集。

（2）鼓励加强能力跟踪：机器学习方面的技术文献展现了虚假信息行为主体将如何在其操纵行动中使用深度造假技术，以及这样做可能面临的局限性。但是，研究人员之间不一致的记录方式妨碍了相关分析。研究社区、资助组织和学术出版商应就模型的进度汇报流程，推动制定通用标准。

（3）商品化检测过程：广泛分布的检测技术可能会抑制深度造假内容的有效性。政府机构和慈善组织应进行拨款，将检测相关的研究成果转化为用户友好型应用程序，以分析媒体内容。针对记者和专业人士的定期培训课程也可限制了公众的受骗程度。

（4）推广“放射性”数据：近期研究表明，数据集可具有“放射性”。根据此类数据训练的机器学习系统会生成易于识别的合成媒体。利益相关者应积极鼓励使用“放射性”标记的公共数据集训练深层生成模型。这将大大降低针对普通深度造假内容的检测成本，也将迫使老道的虚假信息行为主体为避免检测而自建数据集。

编译 | 贺佳瀛/赛博研究院研究员

本文由赛博研究院出品，转载请注明：本文来源于赛博研究院公众号。

更多精彩内容请关注“赛博研究院”公众号。