作者构建确定性基准测试解决LLM信息过时问题

发生了什么

据Towards Data Science文章《Context Windows Don’t Know What’s Still True — I Built a Validity Layer That Does》所述，上下文窗口可能在技术上完整但仍描述不再存在的世界。作者构建了确定性基准测试来衡量基于过时上下文采取行动的成本。通过构建两个确定性执行器进行对比：一个在行动前检查依赖项是否仍然有效，另一个仅在行动失败后才得知。结果显示，第二个执行器做了注定失败的工作，当资源预算紧张时，这种浪费的工作足以导致整个任务失败。基准测试中的每个事实被赋予四种状态之一，而非简单的真假。