w66利来MAF直面OWASP LLM Top10威胁全景

颁布功夫 2025-02-21

"让每一句人机对话都安全可信 ,让每一次智能交互都风险可控——这是属于AI时期的安全承诺 。 —— w66利来"


媒介:

随着天生式人为智能技术进入规�;媒锥� ,大型说话模型(LLM)的安全防线正面对前所未有的挑战 。本文将深刻分解当前大模型面对的关键安全风险 ,总结出大模型防护系统的技术挑战和解决蹊径 。


安全威胁图鉴


OWASP的《大规模说话模型利用 Top 10》项目始于2023年 ,旨在凸起并解决与人为智能利用有关的安全问题 。2025年更新的版本对现有风险有了更深档次理解 ,并纳入了LLM在现实利用中的最新沉要进展 。如下图:


图片1.jpg


一、训练数据层风险


1.训练数据投毒攻击 (Training Data Poisoning Exploitation)


对训练数据进行恶意滋扰或篡改 ,导致模型进建谬误的模式 ,影响模型的机能和正确性 。


2.过度依赖 (Excessive Feature Dependency)


模型在某些特点上存在过度依赖 ,导致其对异常输入或攻击阐发出脆弱性 。


3.向量与嵌入弱点 (Embedding and Vector Representation Vulnerabilities)


模型的嵌入向量或数据表征存在弱点 ,攻击者可能利用这些弱点进行潜在的攻击 。


4.虚伪信息 (Misinformation Dissemination)


模型天生的信息不正确或虚伪 ,导致误导用户或造成社会和安全问题 。


5.不安全插件(Insecure Plugins)


集成的表部插件或�?榇嬖诜煜� ,可能为攻击者提供未授权接见或执行恶意操作的蹊径 。



二、输入层安全风险


1.提醒注入攻击(Prompt Injection)


攻击者通过机关匹敌性提醒词突破系统预设指令 ,诱导模型扭转其行为或输出 。


2.模型越狱风险(Model Jailbreaking)


越狱是一种特殊的提醒注入 ,攻击者提供输入 ,导致模型齐全忽视其已有的安全和谈 。


3.过度代理风险 (Excessive Proxying Risks)


LLM 扩大鄙人游系统上占有超出利用法式预期操作所需的权限 ,例如一个本应只读取数据的扩大使用的账户不仅占有 SELECT 权限 ,还占有 UPDATE、INSERT 和 DELETE 权限 ,可能衔接到数据库服务器 。



三、输出层安全风险


1.敏感信息泄露(Sensitive Information Disclosure)


模型在无意中天生输出 ,泄录感或机密数据 ,导致隐衷泄露和信息安全问题 。


2.系统提醒泄露(System Prompt Leak)


攻击者通过逆向工程或其他伎俩获取模型的内部提醒信息 ,可能导致模型行为的不成控性 。


3.不当输出处置(Insecure Output Handling)


LLM天生的输出被传递到其他组件和系统导致XSS、CSRF、SSRF、RCE等 。



四、治理维度挑战


1.模型偷窃与滥用 (Model Theft and Unauthorized Replication)


通过逆向工程或其他伎俩窃取模型知识 ,造成知识产权损失或被恶意滥用 。


2.回绝服务攻击 (Denial of Service Attack)


通过高强度要求或恶意输入 ,导致模型服务无法正常响应或出现系统崩溃 。


3.供给链缝隙 (Supply Chain Integrity Vulnerabilities)


大型说话模型(LLM)的供给链容易受到多种缝隙的影响 ,这些缝隙可能会侵害训练数据、模型和部署平台的齐全性 。这些风险可能导致输出误差、安全缝隙或系统故障 。在传统软件缝隙中 ,我们通常关注代码缺点和依赖关系 ,但在机械进建(ML)领域 ,风险还扩大到了第三方预训练模型和数据 。


针对上述风险/威胁图谱 ,风险重要可综合为两类:一类是LLM模型自身的固有风险 ,另一类模型与表部环境的交互则是大部门威胁的集中体现 ,会对用户的主题业务运行造成严沉影响 ,如下表所示:


图片2.png


大模型防护系统的技术挑战及构建蹊径


面对LLM在表部交互环节的高风险性 ,用户亟需一套系统化的整体解决规划 ,以构建端到端的安全防护系统 ,确保业务的安全性和不变性 。


在w66利来的综合安整个系中 ,MAF(Module Application Firewall)重要面向实时推理业务场景 ,通过在线部署&实时拦截模式 ,构建多维度安全防护机造 ,对输入输出内容进行深度安全检测与防护 。


图片3.png


一、 输入预处置


输入预处置是大模型防护系统中的沉要环节 ,w66利来MAF通过预处置提升模型的效能和正确性 ,有效预防恶意输入带来的安全风险 。


图片4.png


w66利来MAF未来自分歧感知通路的数据进行统一处置与融合 。


? 特点级融合:通过提取每种模态的关键特点 ,并将这些特点向量归并为一个高维向量 ,供后续处置 。


? 决策级融合:分歧模态的输出在决策层面进行融合 。通过将各模态的预测了局进行加权归并 ,来提高模型的最终决策正确性 。



二、 输入安全治理系统


图片5.png


? DDos缓解:基于令牌机造的BOT检测 ,通过递进式验证确认 ,有效缓解回绝服务攻击 。


? 表层高速匹配:基于SIMD加快技术的显式内容匹配 ,通过过滤拦截确定性敏感内容 ,放行确定性白流量 。


? 中层语义分析:对可疑的对话内容 ,通过语料训练以及参数微调得到基于Transformer的神经网络模型 ,用来理解人类说话 ,进行高低文关联 ,鉴别隐式风险和复杂攻击模式 。


? 深层精准研判:对高风险对话内容 ,基于专用检测大模型进行天然说话匹敌式分析 ,精准鉴别复杂逻辑框架下的提醒词注入等恶意输入 。



三、动态输出安全节造系统


w66利来MAF阻止敏感信息泄露、误导性内容传布以及系统提醒词泄漏等问题 ,�;な菔涑龅陌踩� ,提升模型与用户的交互质量 ,预防潜在的恶意信息输出 。


? 敏感信息过滤与脱敏:通过先进的天然说话处置(NLP)技术和深度进建模型 ,w66利来MAF实现对敏感信息的精准鉴别与高效脱敏 ,支持对身份证、手机号、提醒词工程、其他关键业务信息等内容的鉴别和代替 。


? 系统提醒泄漏防护:启明MAF内置丰硕的系统语料库 ,并支持基于现实业务需要界说应防护的系统关键信息 ,以此构建大模型安全输出的坚实樊篱 。


? 不当输出拦截:w66利来MAF实现对话式防御机造 。分歧于传统伎俩的被动拦截 ,对话式拦截通过与大模型进行实时交互 ,自动疏导对话走向 ,鉴别并阻断潜在的攻击意图 。


大模型安全防护需突破传统网络安全思想 ,成立适应天生式AI个性的新型防御范式 。w66利来MAF大模型利用防火墙协助用户构建持续演进的大模型安全治理系统 ,从输入预处置、输入安全治理到动态输出安全节造的端到端大模型防护战术 ,保险各类大模型利用和智能体业务安全靠得住的交付运行 。