新闻动态
AI大模型安全挑战和安全要求解读
来源: | 作者:望安科技 | 发布时间: 50天前 | 272 次浏览 | 分享到:


3. 安全措施要求



模型适用性
服务提供者在服务范围内应用AIGC时应充分论证模型的必要性、适用性和安全性。应设立未成年人保护措施,同时需遵守《未成年人保护法》《个人信息保护法》《未成年人网络保护条例》等规定,保障未成年人身心健康安全。


服务透明度

在网站首页等显著位置向社会公开服务适用的人群、场合、用途等信息,并公开基础模型使用情况。以可编程接口形式提供服务的,应在说明文档中公开上述信息。


用户数据处理

服务提供者应为用户提供便捷途径关闭输入信息用于模型训练的功能,如设置易懂选项或简洁语音控制指令。为确保便捷性,《要求》明确:通过选项关闭时,操作过程应控制在四次点击以内。同时,服务提供者应确保界面设计或用户交互中显著告知信息收集状态,并清晰展示关闭选项或指令,以符合“透明度”要求。


用户管理

1.实施监测机制:通过关键词筛查或分类模型等方式,对用户输入的信息进行实时监测,以便及时发现并处置不当行为;

2.拒绝回答机制:对于检测到的含有明显偏激或诱导生成违法不良信息的问题,服务提供者的系统应自动拒绝回答,防止传播潜在有害内容。

3.人工监看机制:配备专门的监看人员,及时根据监看情况提升生成内容的质量与安全性,并对第三方投诉进行收集和响应。

服务稳定性

为维护服务稳定性,《要求》建议服务提供者采取安全措施。例如隔离训练与推理环境,防止数据泄露和不当访问。持续监测模型输入内容,预防恶意攻击。定期安全审计,识别和修复安全漏洞。建立数据、模型备份和恢复策略。


4. 安全评估要求



为确保评估工作的可操作性,《要求》特别针对语料安全、生成内容安全、问题拒答等方面提出了量化的评估标准,具体要求请见下表。




OWASP大模型TOP10安全风险



OWASP组织在2023年10月16日发布了LLM(大型语言模型)十大安全风险1.1版本,概述了针对LLM的潜在攻击方式、预防措施和攻击场景,可以帮助读者更好的理解LLM所面临的安全风险以及应对策略。


总结

大模型应用正面临严峻的安全挑战和威胁,包括数据隐私泄露、网络攻击、注入漏洞等。全国网络安全标准化技术委员会发布的《生成式人工智能服务安全基本要求》为行业提供了明确的安全指引,要求服务提供者加强语料安全、模型安全等方面的管理。望安科技深耕于信息安全领域,致力于为国家重大项目、关键系统及行业企业提供安全保障,不断推动信息安全产业发展,助力泛安全领域及产业化建设。


(文章来源:网宿安全演武实验室)


END


浙江望安科技有限公司

NEWS