11. 未来展望¶
未来人工智能的应用场景会更加多元化，在带来技术革新和产能提升的同时也会面临更多的数据与模型攻击。一方面，在应用过程中偶发的鲁棒性问题一旦被过度探索就有可能引发安全问题，催生新的攻击。另一方面，随着人工智能基础平台（如机器学习平台和开发框架等）的完善与普及，攻击者可利用的工具也就越来越多，攻击门槛会越来越低。这都将导致攻击的多样化。而与之相应的，防御的任务也就越来越重。
11.1. 未来攻击¶
更多样的攻击体现在更新的威胁模型、更先进的攻击方法、更大规模的攻击影响、更贴近现实场景的物理攻击等多个方面。 实际上，设计一个新攻击方法并不困难。当前机器学习所依赖的假设（比如独立同分布假设）容易导致模型在实际应用场景中出现泛化能力下降的问题。在这种情况下，破坏一个模型的性能就变得极其容易。但是已有攻击往往只针对一个具体的学习任务或应用场景，无法产生较大规模的影响。未来随着攻击的不断进化，可能会出现能同时攻击多种任务、多种数据形式、多种模态、多种模型类型的普遍攻击。此类攻击可能会对人工智能带来巨大的负面影响，甚至会导致下一次人工智能寒冬的到来。
下面总结一下攻击的未来发展趋势：
从数字攻击转向物理攻击。针对各种人工智能应用的物理攻击。目前大多数攻击都是数字攻击，所采取的威胁模型都存在一定的局限性，比如后门攻击假设攻击者可以通过某种方式将投毒数据加入到训练数据集，实际的实现难度很高。从数字攻击到物理攻击的转移会带来更贴合实际的威胁模型，对人工智能的安全威胁也会越大。
从攻击小模型转向攻击大模型。目前的攻击方法还局限于中小量级数据集和模型，当应用于大数据集和大模型时可能会失效。实际上，很多攻击方法并不适合大模型，不管是在方法层面还是在效率层面，都存在一定的局限性。大数据和大模型需要提出更适合的攻击范式。
攻击场景更多样化。目前的攻击主要集中在相对比较成熟的应用领域，如计算机视觉、自然语言处理、语音识别等。未来攻击可能会延伸到更前沿的科学领域，如生物制药、结构生物学等。当然，攻击的目的可能也不仅限于破坏，也可以用攻击技术来进行探索发现，如挖掘关键要素、发现反面例子等。
跨模态的攻击。未来攻击很可能会突破现在的单模态攻击，从图像、文本、语音独立攻击转向多种模态组合的攻击。这与多模态学习的趋势相吻合，相信会产生很多不一样的攻击类型。
组合攻击。组合可能发生在同种攻击下的不同方法之间、不同威胁模型下的不同攻击方法之间、不同数据类型的攻击之间、不同模型类型的攻击之间、数据与模型攻击之间、不同学习任务之间（比如图像分类和目标检测）、不同应用场景之间、甚至是人工智能系统中的机器学习部分和非机器学习部分等等。攻击者可以利用组合攻击来达到多个攻击目标，而不再局限于一种攻击模式对应一个攻击目标。
11.2. 未来防御¶
多样的攻击势必会给防御工作带来巨大的挑战。 可靠的防御方法的一个前提就是可以防御所有现存和未知的攻击，这是一个极难实现的目标，因为单个防御方法往往无法解决所有安全问题，而且有时在解决一个问题后会加重另一个问题。比如对抗鲁棒性的提升会导致模型性能的下降，带来严重的泛化问题。一个直接的结果便是安全性增强后的模型无法在实际应用场景中部署，导致出现“空中安全”（Security in the Air，类比空中楼阁）的现象。
长期来看，攻击和防御之前是一场永远的攻防博弈。在目前阶段，攻击占据绝对上风，而防御则被动跟随，当有新攻击出现时，对其设计一个防御方法。这种跟随研究让防御处于一个相对被动的位置，很难推进。 相信在不久的未来防御会找到正确的工作范式，不再单纯追求单点的防御，开始着眼于完备防御系统的构建。一个值得思考的问题是如何将计算机安全、网络空间安全、软件工程等领域成熟的防御技术与人工智能数据与模型防御方法相结合，搭建一个相对全面的防御体系，支撑起基础的防御性能，即可以有效防御大部分已有攻击。
下面总结一下防御的未来发展趋势：
高效防御。目前很多防御方法在效率方面存在明显的效率瓶颈，很多方法要么需要重新训练模型，要么需要相当于消耗普通训练好几倍的计算资源，难以在实际应用场景中进行部署。未来防御需要突破这些效率瓶颈，发展更高效的防御方法，必要时可能为了效率需要在防御性能上做出一定的取舍。
推理阶段防御。已有防御方法大都聚焦于训练过程中的模型安全性增强，忽略了同等重要的推理阶段增强。即使增强过的模型，在部署后也会遇到新的攻击，而如何防御这些推理阶段的攻击，确保模型长期可靠运行就变得尤为重要。此外，有必要设计鲁棒推理机制和攻击检测技术，在推理防御的同时检测潜在的攻击者。此类研究仍处于萌芽阶段，但是由于相关方法的高实用性，相信会在未来获得更多的关注。
物理防御。目前虽然已有很多物理攻击方法，但是物理防御方法却没有几个。我们发现在攻击逐渐从数字走向物理环境的同时，物理防御却难以推进。这主要是由于物理攻击的形式（比如对抗补丁）已经在一定程度上超出了鲁棒优化的能力范围，导致相关方法难以收敛或者泛化性差。未来防御需要解决数字到物理的转换，否则将无法在真实环境下对数据和模型进行保护。
组合防御。当前研究表明，单个防御方法已经无法防御大部分攻击，这就需要融合不同防御方法以构建更全面的防御体系，比如攻击检测和鲁棒性增强的组合、输入去噪和鲁棒训练的组合、对抗防御和后门防御的组合等。组合策略将是这些方法的关键，在不同的方法之间取长补短，相互增强，以达到更=最好的总体防御效果。
多模型系统。完成一个任务或者鲁棒的完成一个任务可能需要多个机器学习模型。比如对于图像分类任务，可以有两个模型，一个模型负责性能，另一个系统负责鲁棒性。两个模型可以大小不同、结构不同、目标不同，一个作为主模型而另一个作为“卫星模型”，负责发现并纠正主模型的鲁棒性与安全性问题。从双模型系统可以扩展为多模型系统，模型越多纳入考虑的信息越多，可防御的攻击类型也就越多，整体的系统就会越鲁棒。多模型系统目前还处于构想阶段，相信在不久的将来会出现比较有应用前景的多模型系统。
可靠、高效评测方法。可靠的评测一个模型的鲁棒性和安全性与设计新防御方法同等重要，没有可靠的评测，安全性就无法精准的定义和量化，防御也就失去了目标。另外，当前最可靠的一些评测方法存在效率瓶颈，评测所需的计算消耗甚至超出了模型训练本身，极大的限制了其在大数据集和大模型上的应用。实际上，安全性评测并不一定需要最强的攻击算法，如果一个攻击算法能在效率提升的同时做到跟最强攻击效果的严格正相关，那么这个攻击算法就可以作为一个高效可靠的评测方法。
人工智能安全研究不仅需要密切跟随前沿技术，而且需要考虑基础平台的构建。未来人工智能会（或者已经）走进千家万户，而目前领域内并没有一套可以保护人工智能数据和模型的基础防御系统。或许很多研究者并没有想过我们需要这样的系统，这是相当危险的，就像早年的反病毒技术，当出现大规模攻击时再研究如何构建防御系统可能就已经迟了。研究者在推动单点技术创性的同时，需要将构建完备的人工智能数据与模型防御系统作为最终的目标。
比安全性更广义的一个概念是可信，可信是人工智能进化的终极目标之一，是一个相对抽象的概念，也有时候被国际学者称为“确信”（Assured）。可信是指人工智能技术的社会属性，即完全从服务于人、服务于社会的角度去评价一类技术，很多时候与具体的应用场景密切相关。一般来说，原理明确、性能稳定、安全可靠、隐私公平的技术可以被称为可信。 可信人工智能（Trustworthy Artificial Intelligence，TAI）的研究范围比较广泛，包括鲁棒性、安全性、可解释性、隐私性和公平性等。其中，安全性无疑是可信很重要的一个维度，不安全的技术肯定不是可信的。
安全性与可信的其他几个维度息息相关。从本书的内容可以看出，解决人工智能数据与模型安全性问题需要对当前机器学习模型，尤其是深度学习模型，具有深刻的理解，跟可解释性息息相关。一方面，安全性研究可以帮助我们更深入的了解当前学习方法和模型所存在的问题。实际上，人工智能数据与模型安全研究揭示了很多现有机器学习模型“匪夷所思”的脆弱性，比如对抗脆弱性和后门脆弱性。而“对抗”的思想也能更好的帮助我们发现问题，通过研究模型在什么情况下“不行”，来侧面了解机器学习模型的工作机理和泛化边界。 此外，安全性与隐私性也紧密关联。本书将隐私攻击当做是安全攻击的一种，在数据安全之攻击章节介绍了数据窃取和隐私攻击。公平性与可解释性有着一定的关联，主要是通过研究模型的学习和泛化机理来寻求公平无偏的学习方法，但是与其他方面相对独立。未来，这些不同维度的研究会出现更多的交叉，比如在隐私保护的基础上进行公平学习、在提升安全性的同时提升鲁棒性、隐私性和公平性等。