当前位置：AI驱动安全，安全护航AI——2024北京网络安全观察
AI的安全风险：留意“后门”
AI技术的发展极大促进了效率的提升，随着应用场景愈加广泛，面临的安全挑战更加复杂，各类攻击威胁也与日俱增。
根据奇安信发布的《2024人工智能安全报告》，AI既放大现有网络安全威胁，又引入了新型威胁，引发网络安全事件指数级增长。其中，2023年基于AI的深度伪造欺诈暴增3000%，基于AI的钓鱼邮件数量增长了1000%。一项对IT行业领导者进行的关于ChatGPT等大模型的调查显示，安全性是受访者最关心的问题，71％的受访者认为生成式人工智能会给企业数据安全带来新的风险。
AI系统往往需要大量数据来迭代大模型，这必然涉及个人敏感信息。保护用户隐私、防止数据泄露存在不可忽视的安全风险。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东举了个生动的例子，“AI如果不是自己‘生’的，而是从外面‘领养’回来的，那么AI是否会有‘后门’，AI是否会被人‘投毒’，都无从得知，甚至没有能力发现，这是数据安全带来的潜在风险。”
去年以来，随着以ChatGPT为首的AI热潮席卷而来，还产生了新的网络安全问题。齐向东解释，如果把AI比作超级人脑，向它提问时输入的内容越多，得到的建议就越精准、越有价值。如果你的提问毫无保留、倾囊相授，那么AI通过学习，实际可能拥有比你更强的能力。此外向AI提问还可能泄露专有知识产权、发明和商业秘密等，让竞争对手从AI处得到更优的方案。这是与AI交流过程中，新产生的引发数据安全问题的特殊场景。
与会嘉宾认为，使用AI过程中的风险责任归属也是一个复杂的问题，目前法律和政策尚不能明确在AI决策过程中各方的责任。
AI驱动网络防护能力在博弈中快速迭代
“AI驱动安全是大势所趋，未来网络攻防就是得AI者得天下。谁能提前抓住AI变革的机遇，谁就能掌握网络空间安全的主动权。”在主旨演讲中，齐向东判断，当前网络安全格局正在被颠覆重构，但这种颠覆重构不仅带来新的安全挑战，也为网络安全行业带来前所未有的战略机遇。
与会嘉宾们认为，目前AI尚处在伦理和规则出现前的发展阶段，正朝着人工智能与网络安全深度融合的发展方向前进。网络安全是高度对抗性的行业，所有的攻击都是新的。实践中网络攻击层出不穷、日新月异，AI安全防护能力也在攻守迭代中不断推陈出新、更新升级。
国家电网有限公司副总信息师、中国电机工程学会会士王继业介绍了国家电网探索人工智能在“守护网络安全，助力能源转型”中的最新实践。国家电网依托大数据平台，加强人工智能与网络安全的融合，研究基于人工智能的风险异常检测方法，开展网络安全关联分析、事件处置和调查溯源，强化网络安全威胁监测和应急处置，实现网络安全事件的智能响应、联动防御。
AI还被应用于驱动智能攻防，助力企业的安全能力在博弈中快速演进迭代。齐向东介绍，AI在网络安全领域的应用已经可以覆盖网安前中后多个阶段，并带来网络防护能力数十倍乃至上千倍的提升。例如，在单点设备的监测上，AI可以带来安全能力百倍级提升。体系化防御的核心，是多种网络安全设备的有机结合。由于不同产品之间的数据传输共享、相互访问、远程操作非常频繁，漏报和误报问题在这一阶段呈现指数级增长。AI不仅可以知道在什么场景下、去调哪个接口、取什么数据，还能根据实际变化进行动态调整，瞬时激发各个设备的安全能力，将遗漏的威胁从10%降低到千分之一，达到安全能力百倍级提升。
“AI作为网络安全的驱动力，可帮助专家快速识别、追溯和处置安全威胁，提升网络安全防御的智能化水平。”中国电子信息产业集团有限公司总经理李立功对AI驱动安全的进一步落地应用充满了期待。
AI释放强大潜能 成为驱动新质生产力的重要引擎
“人工智能是新质生产力，智能化大势不可阻挡。不发展是最大的不安全，要不断发展AI促安全。”2024北京网络安全大会上，中国新一代人工智能发展战略研究院执行院长龚克呼吁推进AI与网络安全融合创新。
龚克认为，人工智能本身需要解决关键技术和颠覆性技术的创新，同时也成为各领域创新的基础，如生物医药、生命科学、新材料，这些创新都依赖于人工智能的应用。龚克表示，“人工智能正与千行百业紧密融合，成为驱动新质生产力的发动机，我们既没必要神话AI，也没有必要妖魔化。”
在他看来，一方面，人工智能的发展推动了网络安全技术的创新。例如，基于深度学习的恶意软件监测、用户行为分析等新技术不断涌现，提高了网络安全的防护能力。另一方面，人工智能的自动化和智能化特性又可以大大提高网络安全管理的效率。通过自动化监测、响应和风险评估等流程，可以更快地应对网络威胁，减少潜在损失。
随着网络安全领域智能化产品落地，相关市场的规模快速增长。有关统计显示，网络安全领域的人工智能产品市场将从2017年的39.2亿美元增长到2025年的348.1亿美元，预测期内的复合年增长率为31.38%。
据北京市政府副秘书长许心超介绍，北京市已将数字安全产业作为全市重点发展的高精尖产业，目前已经汇聚数字安全企业1025家；2023年北京市数字安全企业收入达到996亿元，产业带动作用凸显。
人工智能是引领未来的战略性技术，是新一轮科技革命和产业变革的重要驱动力量。与会专家期待，人工智能在网络安全的护航下，为千行百业带来更多革命性的变化，不断激发创新活力和社会潜能。