困局
竞赛要求在限定时间内,对加固过的带工具 LLM Agent 尽可能多地诱导出违规行为。手写提示攻击命中一次就废,靠人力堆数量在 9000 秒预算里毫无胜算。
破局
- 模板动物园把攻击面拆成 26 个模板族:从直接越权到同形字混淆、Harmony 特殊 token 注入,覆盖 OWASP LLM Top 10 全部类别。
- UCB1 bandit 调度用上置信界算法在模板族之间自动分配攻击预算,哪族收益高就往哪族加注,全程无需人工干预。
- 可重放产物9000 秒预算产出 2000 条候选攻击,每条都可独立重放验证——攻击本身也是实验数据。
结果
方案形成完整的「生成 — 调度 — 验证 — 复盘」闭环并归档为开源仓库;赛后复盘沉淀了哪些模板族在加固后的 Agent 上依然有效的结论,反向可用于 Agent 防御侧的加固检查单。