人工智能（AI）技术的好处很多，但它带来的挑战也很多。如果安全和伦理问题得不到妥善解决，在网络安全领域采用人工智能可能会给社会带来重大问题。
摘译 | 李宁/赛博研究院高级研究员
来源 | 欧洲政策研究中心
欧洲政策研究中心（CEPS）于 2019 年秋季成立了一个人工智能和网络安全工作组，以研究人工智能和网络安全交叉带来的技术、伦理、市场和治理挑战。近日，该工作组发布报告《人工智能与网络安全：技术、治理和政策挑战》，概述了人工智能在网络安全领域的有益应用，以及人工智能系统可能被操纵所带来的风险，并介绍了与人工智能实施相关的主要伦理影响和政策问题。报告根据欧盟数字战略的目标，提出了建设性和具体的政策建议，以确保人工智能的安全应用。该报告有助于欧盟为人工智能建立一个健全的政策框架。
目前，组织已开始使用人工智能，通过增强其系统的鲁棒性、韧性和响应能力，帮助管理越来越多的网络安全风险、技术挑战和资源限制。
据估计，网络安全领域的人工智能市场将从2017年的39.2亿美元增长到2025年的348.1亿美元，预测期内的复合年增长率为31.38%。根据凯捷公司最近的一项调查，网络安全领域采用人工智能解决方案的速度正在飞速上升。
人工智能可以从三个方面帮助网络安全团队。
首先，人工智能可以提高系统的鲁棒性，即即使在处理错误输入时，系统仍能保持其初始假定的稳定配置的能力，这归功于自我测试和自修复软件。
第二，人工智能可以加强系统的韧性，即系统通过促进威胁和异常检测来抵御和容忍攻击的能力。
第三，人工智能可以用来加强系统的反应，即系统对攻击作出自主反应的能力，识别其他机器的漏洞，并通过决定攻击哪个漏洞和在哪个点上进行战略操作，并发起更积极的反击。
在许多情况下，人工智能将增强，而不是取代人类安全分析师的决策，并将被整合到加速反应行动的过程中。
人们可以利用人工智能来实现恶意的目标。人工智能对网络安全的影响通常被描述为扩大威胁范围。通过人工智能能够进行恶意攻击的行为者和个人的类别正在激增。同时，针对人工智能系统的新的攻击形式—在性质上与传统的网络攻击不同—以一种指数级的、有时无法衡量的方式增加了连接系统的攻击面。就这些转变而言，研究人员一致认为，人工智能对网络安全格局的影响是：
扩大现有威胁：廉价且日益有效的人工智能系统可用于攻击，意味着各类个人和团体有可能成为恶意行为者。由于廉价计算硬件的扩散，通过云计算能力的不断增加和成本的降低，以及大多数可以促进模型训练和潜在恶意活动的工具的开源，恶意行为者的范围正在扩大。
引入新的威胁：除了现有的威胁在规模和范围上的扩大，人工智能的进步意味着可能会引入全新的威胁。人工智能不受人类能力限制的特点，可以让行动者执行原本不可行的攻击，例如深度造假、破解验证码、蜂拥式攻击等。
改变威胁的典型特征：针对人工智能系统的攻击也经常以窃取信息或破坏系统为目的，但以更微妙的形式和更长远的方向精心设计。他们试图为一个特定的意图获得对目标系统的控制，或者通过入侵系统让模型揭示其内部工作原理，然后改变其行为。这一目标主要可以通过四种类型的攻击来实现，但不限于此：数据中毒、篡改分类模型、后门和人工智能模型的逆向工程。
人工智能在系统鲁棒性、韧性和响应能力方面可能发挥的作用带来了伦理方面的挑战，可能会阻碍其在网络安全方面的应用。此外，如果这些问题没有通过政府政策得到妥善解决，它可能会给我们的社会带来重大问题。
表一 人工智能的伦理挑战
| 伦理方面的挑战 | |
| 系统的鲁棒性 | 控制 谁在控制人工智能系统？我们如何确保该系统的行为符合我们的期望？ |
| 系统的韧性 | 职责 我们如何规定自主反应系统的责任？ |
| 系统的响应能力 | 技能 如果我们将威胁检测委托给机器，我们如何确保我们的分析师仍然能够做到这一点？ |
人工智能系统必须遵循安全的开发生命周期，从构思到部署，包括运行监控和审计。理想情况下，在人工智能系统的商业化阶段，这应该与适当的合格评估和市场监督机制相结合，以确保人工智能在系统投放市场和产品的整个生命周期中的安全。
由于所有的人工智能系统都是由运行在硬件上的软件组成的，人工智能系统中的传统网络攻击导致了由软件/硬件错误引起的传统攻击面，这些错误通常源于人类在编写代码或设计硬件时的错误。
对机器学习系统的攻击可能不仅仅是利用软件漏洞。特别是，训练数据集—无论是在部署之前还是之后—都可能被破坏，从而导致系统的 “学习 “不符合预期。系统感应到的外部物体也可以被篡改，从而使它们不能像训练数据集中显示的那样被识别。
人工智能攻击的形式还包括攻击底层算法的不同弱点，或者攻击环境感知到的不同输入。
输入攻击：在输入攻击中，攻击者的目标是为ML系统提供输入。在ML的正常使用中，系统从外部世界获取输入并进行处理。然而，在输入攻击过程中，攻击模式被添加到输入中，如停止标志上的胶带或上传到社交网络的照片像素的微小变化。根据模式的选择方式，攻击模式将改变ML系统处理数据的方式，并最终导致ML系统失败。
中毒攻击：与输入攻击不同，中毒攻击的目的是阻碍一个适当的ML系统被建立。在中毒攻击中，攻击者试图通过训练阶段来破坏ML模型本身，使得其存在内在的缺陷。
图1：输入攻击
图2：中毒攻击
有助于AI在欧洲网络安全领域应用的具体欧盟政策措施包括：
1.加强政策制定者、技术界和主要企业代表之间的合作，以更好地调查、预防和减轻人工智能在网络安全方面的潜在恶意使用。这种合作可以借鉴网络安全监管方面的经验教训，也可以借鉴生物伦理学方面的经验教训。
2.在公共采购政策中执行和测试人工智能系统的安全要求。遵守伦理和安全原则应被视为在某些关键部门采购人工智能应用的先决条件。这将有助于推动组织中关于人工智能和安全的讨论，包括在董事会层面。
3.鼓励网络安全相关数据的信息共享，例如，根据既定的最佳做法训练模型的数据。还应支持由私营部门驱动的跨境信息共享，为合作提供激励措施，并确保建立一个治理框架，以便在交换数据时具有法律确定性。
4.在标准和认证方法中，重点支持人工智能的可靠性，而不是其可信度。建议采取以下开发和监测做法，以确保可靠性，并减轻与缺乏可预测性的人工智能系统的鲁棒性相关的风险：
公司内部的人工智能应用模型开发和数据测试；
通过AI系统之间的对抗性训练提高AI系统的鲁棒性；
通过克隆系统对AI系统进行并行和动态监测或及时检查，这将用作基线比较，以评估原始系统的行为。
5.支持并在国际上促进积极的人工智能网络安全认证工作，由ENISA协调。这些应该要求在部署之前以及在产品、服务或流程的整个生命周期中采取评估行动。
6.设想对研究产出（如算法或模型参数）完全开放政策的适当限制，以便能够更全面地评估与技术及其传播有关的安全风险，同时兼顾欧盟促进创新的政策目标。
7.在人工智能促进网络安全和旨在使人工智能安全的应用方面，促进对《一般数据保护条例》（GRPR）条款的进一步研究和监管解释。
8.解决针对个人和非个人混合数据集充分执行个人信息保护规则带来的挑战。
9.评估人工智能系统在网络安全研究和行动中的使用如何受到当前（和未来）两用和出口管制监管框架的影响；起草明确的规则，尊重欧盟（基于条约的）价值观，同时不妨碍贸易和牺牲开放性；通过行业的支持，在《瓦森纳协定》确定的界限内，建立欧盟层面的受监管的两用技术转让机制，并为处理两用技术的机构之间制定共同方法创造一个途径。
10.通过将军事部门的能力发展概念（反映了强大的网络安全要求）应用于民用人工智能应用，或通过定义专门用于人工智能应用的网络安全参考架构，加强军事和民用实体在基于人工智能的发展课题中的合作，以用于民用和军事领域。
11.解决技能短缺和市场参与者之间人才和专业人员分布不均的问题。公共部门以及安全相关机构应准备好提供与人工智能相关的职业道路，并培训和保留网络安全技能和人才。应监测网络安全部门的转型，同时确保人工智能工具及其使用被纳入现有的网络安全专业实践和架构。
在开发和部署人工智能系统时，使其安全和可靠的方法包括：
12.在实施人工智能系统之前，促进适合性测试，以评估相关的安全风险。这种测试将由参与开发和/或部署项目的所有利益相关者进行，应衡量价值、攻击的难易程度、损害、机会成本和替代方案。
13.鼓励公司在人工智能系统实施后解决人工智能攻击的风险。人工智能安全性也可以通过建立检测机制来加强。
14.建议人工智能系统遵循安全的开发生命周期，从构思到部署，包括运行监控和部署后控制和审计。
15.通过要求系统架构的足够文档，包括其组件的设计和文档以及它们是如何集成的，加强人工智能安全，因为它涉及到保持跨智能系统的问责制。
16.建议各组织确保模型在故障发生时/点可完全审计，并为后续分析提供信息（如法院要求的分析）。还应鼓励审计系统的新方法，例如将其限制在一个受信任的第三方，而不是公开推送数据集。
17.建议组织制定攻击事件响应计划，并创建一张地图，显示一个资产、数据集或系统的泄露如何影响其他AI系统，例如，一旦攻击发生，系统如何利用相同的数据集或模型。决策者应该支持最佳实践的发展和分享。验证数据收集实践可以在此过程中为公司提供指导，例如识别可能促进攻击或加剧攻击后果的潜在弱点。
附报告原文：
https://www.ceps.eu/ceps-publications/artificial-intelligence-and-cybersecurity-2/
