AI时代下，我们更应该谈谈“安全”问题｜首届人工智能安全大赛收官

数字经济时代下，以人工智能为代表的数字技术赋能产业变革，推动整个社会经济进入智能化的新阶段。与此同时，人工智能在应用过程中产生的网络系统攻击、隐私泄露、数据权属等安全问题，也引起整个产业界的重视。

9月16日，以“共筑AI安全 安享智能未来”为主题的AISC首届人工智能安全大赛圆满落幕。本次比赛共决出人脸识别安全、自动驾驶安全、深度伪造安全三大核心赛道冠军。据了解，本次大赛由国家工业信息安全发展研究中心、清华大学人工智能研究院和北京瑞莱智慧科技有限公司等单位联合主办，系首个全国性人工智能安全赛事。

AI安全风险已非未来挑战，而是眼前威胁

试想一下，有人将一张“神奇的贴纸”放置在面部，就可以使人脸识别门禁系统误认为是你，从而轻而易举打开大门；同样是这张“神奇的贴纸”，把它放置在眼镜上，就可以1秒解锁你的手机人脸识别，探取你的隐私如入无人之境。这并非科幻大片的想象，而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

大赛工作人员演示对抗样本攻击人脸识别门禁系统

北京瑞莱智慧科技有限公司首席执行官田天认为，人工智能技术风险发生的范围正随着应用场景的日趋广泛而逐步扩大，风险发生的可能性也随着其应用频次的增长而持续提高。在他看来，人工智能当前的安全风险主要可以从“人”与“系统”这两个视角来剖析。

从人的视角来评估AI的安全问题，首当其冲就是技术的两面性问题，存在AI滥用甚至“武器化”的问题。具体到人工智能的应用中来看，最为典型的代表就是深度伪造技术，它的负向应用风险持续加剧且已产生实质危害。

而现场的人脸识别破解演示，所揭示的正是系统的风险，它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”，具有不可解释性，意味着系统存在结构性的漏洞，可能受到不可预知的风险，典型的就比如现场演示的“神奇贴纸”，其实就是“对抗样本攻击”，通过在输入数据中添加扰动，使得系统作出错误判断。

这一漏洞在自动驾驶感知系统同样存在，瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下，在识别到路障、指示牌、行人等目标后，自动驾驶车辆就会立即停车，但在目标物体上添加干扰图案后，车辆的感知系统就会出错，径直撞上去。

结合具体赛题来看，自动驾驶安全赛题和人脸识别安全赛题从攻击视角出发，通过让选手攻击目标模型挖掘算法漏洞，旨在发现更加稳定的攻击算法，以更好的实现准确评估模型的安全性。深度伪造安全赛题则通过分析伪造音视频的相似性，来溯源不同伪造内容是否来自同一种或同一类生物特征生成软件，以促进对深度伪造检测技术的发展，具有重要的现实意义。

瑞莱智慧首席执行官田天

安全的本质在于对抗升级，构建安全需要一个持续攻防演进的过程。田天表示，大赛聚焦人工智能真实应用场景中的典型漏洞及风险，以赛促建、以赛促研，通过考核参赛队伍的漏洞发现、漏洞挖掘等能力，探索新型安全需求场景，推动AI攻防技术创新，为强化人工智能治理体系与安全评估能力建设提供支撑。

构建人工智能的安全生态，一方面需要技术的持续演进，一方面也需要专项技术人才的建设与培养。田天表示，由于人工智能安全研究目前仍属于新兴领域，专项人才较少，缺乏系统性的研究队伍，本次大赛通过实战演练的方式，全方位验证和提升选手实战能力，为培育一批高水平、高层次的人工智能安全新型人才团队提供了“快速通道”。

据了解，自七月开启报名以来，大赛共吸引来自全国范围内70多所高等高校、科研院所、企业机构的超过400支团队，共计600余名选手的踊跃参与。经过三个月的激烈角逐，最终，上海交通大学联合战队“AreYouFake”与北京交通大学战队“BJTU-ADaM”分别摘得深度伪造安全与自动驾驶安全赛道桂冠，北京理工大学战队“DeepDream”与建信金科战队“Tian Quan&LianYi”共同位列人脸识别赛道第一名。

深度伪造安全竞赛前三名

自动驾驶安全竞赛前三名

人脸识别安全竞赛前三名

此外，活动现场，由国家工业信息安全发展研究中心牵头，联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。

白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出，人工智能算力基础设施不同于传统的算力基础设施，既是“基础设施”又是“人工智能算力”也是“公共设施”，具有基建属性、技术属性、公共属性三重属性。相应地，推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力，通过强化自身的可靠性、可用性与稳定性，保障算法运行时的机密性与完整性，提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线，打造可信、可用、好用的人工智能算力底座，营造安全、健康、合规发展的人工智能产业生态。

现场，中国科学院信息安全国家重点实验室副主任陈恺、北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙、工商银行金融研究院安全攻防实验室主管专家苏建明进行了主题分享。圆桌对话环节，北京交通大学教授、计算机与信息技术学院副院长景丽萍、清华大学人工智能研究院基础理论研究中心主任朱军、北京邮电大学网络空间安全学院副院长邓伟洪、北京科技大学计算机与通信工程学院教授陈健生、华为可信AI安全解决方案专家唐文围绕人工智能安全技术发展、人工智能安全治理等话题展开深入交流。

专家们认为，从长远看，人工智能的安全问题，还需从算法模型的原理上突破，唯有持续加强基础研究，才能破解核心科学问题，同时他们强调，人工智能的未来发展需确保对整个社会、国家发展的有效性和正向促进性，需要政产学研用多方协同共进。