http://38.175.203.122/tags/observability/ Recent content in Observability on 我的技术博客 Hugo zh-cn Fri, 18 Sep 2026 16:50:19 +0800 http://38.175.203.122/posts/level4-upgrade/ Fri, 18 Sep 2026 16:50:19 +0800 http://38.175.203.122/posts/level4-upgrade/ <h1>Level 3 → Level 4：一次 Harness 升级的实录</h1> <h3>—— 六个真实缺陷，和它们是怎么被抓住的</h3> <blockquote><strong>作者：小周</strong></blockquote> <hr/> <p>上一篇《Harness Engineering 从入门到实战》里，我按 Fowler 的方法论从零搭了一个带 Harness 的排班系统，走到了 <strong>Level 3</strong>。</p> <p>但那篇的第三部分「Level 4 进阶实战」<strong>只有讲解，没有落地</strong>——我列出了四个实操，一个都没做。这篇是补课记录。</p> <p>不过这篇文章<strong>不打算写成「我是怎么搭成功的」</strong>。那种文章没什么价值，因为真正的知识不在成功路径上。</p> <p>我要写的是：<strong>这一路上我踩了哪些坑、每个坑是怎么被抓住的、以及为什么单靠"更努力"抓不住它们。</strong></p> <p>全文有 <strong>6 个真实缺陷</strong>，每一个都是：先做错 → 被抓住 → 修好 → 变成永久防护。</p> <hr/> <h2>先说结论：这篇最有价值的部分，是我的错误</h2> <p>升级过程中，被抓住的问题按严重性排：</p> <div class="table-wrap"><table><tr><th>#</th><th>问题</th><th>危险在哪</th><th>谁抓到的</th></tr><tr><td>1</td><td>验证闸门失败却返回成功</td><td>闸门形同虚设，给虚假安全感</td><td>手工排查</td></tr><tr><td>2</td><td>架构检查漏检（用 grep）</td><td>以为在检查，其实没检查到位</td><td>对抗测试</td></tr><tr><td>3</td><td><strong>闸门被整体替换，自检拦不住</strong></td><td>所有防护一夜失效</td><td>对抗测试</td></tr><tr><td>4</td><td>架构检查误报（还是 grep）</td><td>噪声让人绕过检查</td><td>正常运行暴露</td></tr><tr><td>5</td><td>测试假覆盖</td><td>测试全绿，但删掉代码也不报错</td><td>子 Agent 变异测试</td></tr><tr><td>6</td><td>死代码 + 文档撒谎</td><td>安全推理建立在假前提上</td><td>子 Agent 审查</td></tr></table></div> <p><strong>注意第 1、2、3 条的共同点：它们都不是"某个功能没实现"，而是"某个本该把关的东西，其实没在把关"。</strong></p> <p>这类缺陷最可怕，因为它让你<strong>以为自己是安全的</strong>。</p> <hr/> <h1>第一部分：Level 3 → Level 4，要补什么</h1> <p>按 Fowler 文章第 22 章，Level 4（Agent Platform）的特特征有七项。对照我的排班项目盘点：</p> <div class="table-wrap"><table><tr><th>Level 4 特征</th><th>升级前状态</th><th>这篇做了什么</th></tr><tr><td>Review agents</td><td>❌ 未做</td><td>✅ AI 代码审查（Inferential Sensor）</td></tr><tr><td>Permissions</td><td>⚠️ 只有文字约束</td><td>✅ 校验和基线 + CI 独立比对</td></tr><tr><td>Observability</td><td>❌ 未做</td><td>✅ 验证历史 + 变更审计</td></tr><tr><td>Orchestration</td><td>❌ 未做</td><td>✅ 多 Agent 编排状态机</td></tr><tr><td>MCP</td><td>⬜ 可选</td><td>—</td></tr><tr><td>Sandboxes</td><td>⬜ 受限</td><td>诚实说明做不到（见下文）</td></tr><tr><td>Multiple agents</td><td>❌ 未做</td><td>✅ 真实跑了 Coder/Tester/Reviewer</td></tr></table></div> <p><strong>但开工之前，先发现地基是坏的。</strong></p>