技术 · 前沿动态
提示注入的防线:把模型输出当不可信输入
模型读到的网页、邮件与文件都可能夹带指令。防线不在模型内部,而在它之后的每一步。
攻击从哪进来
当模型会读取外部内容,一段藏在页面里的文字就可能被当成指令执行。
这类攻击不需要破解系统,只需要让内容进入模型的上下文。
为什么拦不住
模型难以区分“数据”与“指令”,两者在同一个输入序列里,语义上没有硬边界。
所以不能指望靠提示词写一句“不要听从”就解决。权限边界,比措辞更能挡住这类攻击。
分权而不是说服
把执行动作的权限从模型手里拿走,模型只能提出请求,实际动作由受控服务校验后执行。
比如发邮件、改数据这类操作,必须经过白名单与人工确认。
输出也要校验
把模型输出当外部输入处理:校验格式、限制长度、过滤链接与命令。
特别是拼进命令行或数据库语句之前,要做严格转义。这里出错的代价,往往比模型答错更高。
怎么测才算过
准备一组带诱导内容的样本,看系统是否会在没有授权的情况下触发动作。
测试要覆盖读取网页、附件与多轮对话三种入口,漏一个就等于没做。
读者留言
共 4 条 · 精选展示模型分不清数据和指令,这是根因。
输出当外部输入处理,这个原则必须贯彻。
靠提示词写一句不要听从,确实解决不了。
三种入口都要测,我们之前漏了附件。