2026年11月10日 · 星期二
睿
睿达孚资讯站
技术·科学·文化的日常观察
ruidafu.com七个频道 · 每日更新

频道与栏目

科技— 前沿动态— 开发实战— 数码评测— 技术科普探索— 天文宇宙— 生命科学— 物理化学— 科学史话文娱— 明星八卦— 综艺资讯— 音乐现场— 文化热点观影— 新片速递— 深度影评— 经典回顾— 幕后故事康养— 中医养生— 四季调养— 睡眠管理— 心理调适康健— 疾病预防— 营养饮食— 体检指南— 就医参考健身— 健身教程— 跑步骑行— 球类赛事— 运动康复

站点

全部文章站点目录关于我们
技术 · 前沿动态

提示注入的防线:把模型输出当不可信输入

2026-11-18编辑部约 4 分钟4 条留言
模型读到的网页、邮件与文件都可能夹带指令。防线不在模型内部,而在它之后的每一步。

攻击从哪进来

当模型会读取外部内容,一段藏在页面里的文字就可能被当成指令执行。

这类攻击不需要破解系统,只需要让内容进入模型的上下文。

为什么拦不住

模型难以区分“数据”与“指令”,两者在同一个输入序列里,语义上没有硬边界。

所以不能指望靠提示词写一句“不要听从”就解决。权限边界,比措辞更能挡住这类攻击。

分权而不是说服

把执行动作的权限从模型手里拿走,模型只能提出请求,实际动作由受控服务校验后执行。

比如发邮件、改数据这类操作,必须经过白名单与人工确认。

输出也要校验

把模型输出当外部输入处理:校验格式、限制长度、过滤链接与命令。

特别是拼进命令行或数据库语句之前,要做严格转义。这里出错的代价,往往比模型答错更高。

怎么测才算过

准备一组带诱导内容的样本,看系统是否会在没有授权的情况下触发动作。

测试要覆盖读取网页、附件与多轮对话三种入口,漏一个就等于没做。

本文由睿达孚资讯站编辑部整理撰写,观点仅供参考;转载请注明来源与链接。

读者留言

共 4 条 · 精选展示
安
安全小盛2026-11-18

模型分不清数据和指令,这是根因。

后
后端小周2026-11-18

输出当外部输入处理,这个原则必须贯彻。

算
算法阿琛2026-11-18

靠提示词写一句不要听从,确实解决不了。

测
测试小许2026-11-18

三种入口都要测,我们之前漏了附件。