近年来，我国网络安全防护能力和水平不断提升，网络安全产业发展迅速。但随着全社会数字化转型程度的加深，以及人工智能等数字技术的不断发展，网络安全风险和挑战不断增加。尤其是生成式人工智能技术的应用，可以快速生成钓鱼邮件、编写恶意软件与代码，导致攻击数量爆发式增长。

根据奇安信集团日前发布的《2024人工智能安全报告》，2023年基于AI的深度伪造欺诈增长了3000％，基于AI的钓鱼邮件增长了1000％；目前已发现多个有国家背景的APT组织，利用AI实施了10余起网络攻击事件。该报告认为，具有巨大潜力的AI技术同时带来诸多挑战：一方面放大了现有威胁，比如钓鱼邮件、恶意软件等；另一方面引入了新型威胁，如AI自动化攻击、AI深度伪造等。而根据IDC发布的报告，随着人工智能技术的发展，黑客将利用它们来获取优势。这将增加各行业对网络安全服务的需求，例如高级云安全监控和警报、SOC和合规性要求以及网络渗透测试等。

在全国两会上，代表委员对人工智能安全问题也给予了高度关注。“AI加剧了攻防失衡，利用和针对AI的攻击层出不穷，网络安全‘易攻难守’。在AI恶意利用方面，人工智能大幅降低了网络攻击门槛，不懂代码、不懂技术的普通人也能成为黑客，专业的黑客组织可以利用人工智能对网络攻击进行改造升级。”全国政协委员、全国工商联副主席、奇安信科技集团董事长齐向东表示。

日前，全国网络安全标准化技术委员会正式发布《生成式人工智能服务安全基本要求》，从语料安全、模型安全等多个维度规定了生成式人工智能服务在安全方面的基本要求，这也是国内首个面向AIGC服务安全领域的技术文件。

根据这份要求，面向特定语料来源进行采集前，应对该来源语料进行安全评估，语料内容中含违法不良信息超过5％的，不应采集该来源语料；面向特定语料来源进行采集后，应对所采集的该来源语料进行核验，含违法不良信息超过5％的，不应使用该来源语料进行训练。

实际上，人工智能安全问题早已引起管理部门的高度重视，2023年7月13日，国家网信办联合国家发展改革委等部门出台了《生成式人工智能服务管理暂行办法》，要求提供者应当依法承担网络信息内容生产者责任，履行网络信息安全义务，涉及个人信息的，依法承担个人信息处理者责任，履行个人信息保护义务。2023年7月24日，中共中央政治局召开会议，提出促进人工智能安全发展。