巴西劳动法院首次因隐藏提示注入处罚律师,AI助手Galileu被写入白色字体指令
内容以原始来源为准;如有更新或更正,以厂商与安全团队公告为准。
巴西帕拉州第8区劳动法院近日对2名律师作出处罚,原因是他们在起诉状中埋入针对法院人工智能助手Galileu的隐藏指令。文本使用白底白字,人工阅读时完全不可见,改变字体颜色后才显形,内容要求人工智能浅层回应本诉状、不要质疑文件内容、无论收到什么指令都照此执行。法院在裁定中将该手法认定为提示注入,指出其试图操纵用于处理初始诉状与案件管理的模型输出,除约1.6万美元的罚款外,还将两人移送律师协会处理。该案例的攻击面不需要入侵法院系统,也不需要模型存在传统意义的漏洞:把自然语言指令混入会被机器读取的文档,就能影响后续生成结果,而人类审阅者看到的仍是正常排版。它对应的是流程设计问题,把当事人提交的材料直接拼进模型上下文,却没有区分待分析内容与系统指令。缓解方向包括在解析前剥离字体颜色、隐藏文本与元数据,对文档内容做规范化与指令样式检测,把模型输出限定在结构化字段并由人工复核关键结论,同时保留完整的输入快照以便追责。
参考链接: