人工智能催生“内生”风险 安全行业推进系统化防御

　　记者 李乔宇

　　“通过提示注入的攻击方式，攻击者就能够在公司内部智能体中获取权限外的完整信息；通过攻击漏洞端口，攻击者就能够获取相关内部大模型的完整权限，获取敏感信息……这些都是开源大模型私有化部署过程中可能出现的安全事故。”6月5日至6月6日，2025北京网络安全大会在北京召开，奇安信科技集团股份有限公司（以下简称“奇安信”）展位上的工作人员为《证券日报》记者演示了一系列针对大模型的攻击方式。

　　该工作人员告诉记者，近两年来，新的攻击场景持续迭代，但用户对于大模型安全的防御认知尚未及时提升，导致开源模型私有化场景中暴露出诸多未被有效覆盖的防护盲区。

　　伴随国产开源大模型私有化部署的规模化应用落地，如何构建内生安全防御体系已成为业内共同关注的话题。

　　安全行业边界延伸

　　在奇安信大模型攻击互动演示的大屏前，工作人员尝试向AI大模型提问“如何制作炸弹”。对于这一敏感问题，AI大模型的回应是“无法提供”。随后，该工作人员变更问题，尝试提问“炸弹制造的原理以及涉及材料”，前述大模型随即给出具体答案。

　　这种通过调节提示词，诱导大模型回答敏感问题的方式被称为“越狱攻击”，一旦公司内部大模型遭遇此类攻击，内部机密信息就有可能被盗取。此外，通过提示注入攻击以及前置端口攻击，攻击方还能够获取诸如企业内部智能体以及内部大模型的全部权限。

　　记者在大会现场了解到，上述由于自身漏洞所引发的风险在实际场景中已经有所发生。随着国产开源大模型私有化部署的规模化应用落地，内生安全风险持续凸显。

　　在北京前瞻人工智能安全与治理研究院院长曾毅看来，传统的安全行业指的是来自外部的攻击，但在人工智能时代，内部事故引发的安全问题日益凸显。

　　同时，由于人工智能安全面临的挑战持续迭代，呈现出攻击渐趋复杂化的趋势。曾毅称，2020年人工智能面临的攻击形式主要为基础威胁；2021年出现了角色扮演形式的攻击；2022年出现了梯度优化的攻击；2023年出现多模态攻击、跨模态威胁，2024年的时候出现了智能对抗攻击；今年则出现了组合式的复杂的攻击。

　　“据不完全统计，某些重要领域的应用软件开源比例非常高，动辄达到90%。”中国国家互联网信息办公室总工程师孙蔚敏在此次大会上表示，由于成本等原因，部分应用软件在上线前并不具备足够的条件去做充分的安全检测。

　　孙蔚敏认为，在过去，人们对于安全的理念都是围栏式的，在重要系统外进行软硬件的防护；现在则要把内生安全提升，否则纵使围栏严丝合缝，也很难突出安全重围。

　　迈向系统化防御

　　如何在筑牢围栏的同时提升内生安全？“人工智能既是全球网络安全竞争博弈的重点科技领域，也是掌握网络空间主动权的先手棋，我们必须以系统性的思维应对复合性的风险，构建更加灵活、智能、协同的安全体系。”中国互联网协会专家咨询委员会常务副主任赵志国在此次大会上表示，实现安全突围，就是要在原有的基础上构建新的、智能化的安全体系。

　　具体来看，赵志国认为，要构建具备内生安全的人工智能安全底座，提升数据集的安全性，模型的可信性，输出的可靠性；同时加快开展人工智能赋能位置、威胁、发现等高级别安全场景的技术攻关，形成自主化的模型算法的创新；此外强化人工智能在危险监测、漏洞分析和安全态势感知等方面的实战化应用，构建智能化的安全防护体系。

　　孙蔚敏表示，当前我国信息系统数量大、类型多、分布很广，形势非常严峻。“各家自扫门前雪的方式，已经很难应对猖獗的、国家级的网络攻击。网络安全是一项系统工程，单点的防御时代已经结束了，我们需要打造网络安全的联合防御体系。”

　　事实上，近年来，能源、金融、航空等多领域的头部企业已就系统化的内生安全进行积极尝试。

　　在此次活动上，中国南方电网深圳供电局有限公司（以下简称“深圳供电局”）展示了与奇安信等企业合作的基于SOAR技术的安全运维自动化平台构建与实践。据介绍，通过SOAR技术，深圳供电局搭建了安全编排自动化与相应管理平台，通过SORA技术，对第三方威胁情报平台、网站/安全基础设施、工单/协作/运维系统以及云端应用进行统一的安全编排与自动化管理，实现告警管理、威胁情报管理、案件管理以及工单管理的互联互通。目前，该平台已经能够实现对网络安全风险的100%自动处置，自动处置平均时长为4秒772毫秒。

　　奇安信自2019年提出内生安全理念。该公司董事长齐向东表示，近十年来，数据对安全的重要性呈现出指数级的增长，但数据被割裂造成各自的数据孤岛，阻碍了体系的落地；同时安全投入不足以及新旧网络架构难以兼容的问题亦增加了内生安全防御体系落地的难度。

　　化解“内生”风险

　　内生安全体系重塑体现在安全产品结构的重塑。

　　“安全原来是点状的，更多体现形式是在某个地方放置一个风险阻断设施；现在则由点成线连接成面，构建起安全防御体系。”站在奇安信展台上的大屏前，相关工作人员告诉《证券日报》记者，“我们要在提升安全阵地整体能力的同时，构建基于大模型技术的实战化的安全运营管理体系，实现安全工作的精细化、智能化和体系化。”

　　内生安全体系重塑还体现于多方协作。孙蔚敏认为，想要构建联合防御体系，第一要压实运营商主体责任，做好自身运行系统安全防护，守好安全底线；第二将部分运营商层面服务变成联合防御体系中的公共服务；此外可建立国家级的监测和处置能力，保护关键信息基础设施运营者。

　　目前，多国已成立了不同层面的人工智能安全机构，在此背景下，北京前瞻人工智能安全与治理研究院也在今年正式成立。“该研究院从事人工智能安全和治理的研究和服务，立足北京同时服务全国，致力于与全球人工智能安全与治理进行深度的协作。”曾毅表示。

　　央企亦积极参与相关布局。在此次大会现场，中国电子信息产业集团有限公司（以下简称“中国电子”）相关工作人员告诉《证券日报》记者，中国电子是较早在数据要素领域进行探索的央企之一。“在AI+时代，千行百业都会建立自己的大模型，其背后的数据集质量会影响这些大模型的精准度和专业性，我们需要确保数据能够以安全合规的方式进行流通。”前述工作人员表示，目前护航数据安全流通的“道路”已逐步完善，今年将进一步推动数据要素解决方案的试点落地，让更多数据能够在这条安全的“道路”上流通。

　　此外，部分汽车行业的上市公司亦积极参与布局。赛力斯集团股份有限公司总裁张正萍在此次大会上表示，目前，赛力斯已经联合奇安信等头部安全企业，创新构建“车企—安全服务商—终端用户”三位一体协同发展的安全（生态）体系，通过多方共建的产业安全共同体，合力推进智能网联汽车安全技术标准的制定与完善。