LangChain AI Search通过固定Token预算优化推理成本

发生了什么

据X平台@LangChain账号发布的分析显示，其AI Search技术通过在固定Token预算内读取每条轨迹来优化推理成本。在对Open SWE数据集（LangChain团队日常使用的编码Agent）的150次对话进行测试中，中位数运行消耗84K Token。其中约1.5K为用户消息和Agent最终回复，其余约四分之三为工具输出（如文件读取、Shell命令、测试日志）。这表明大多数行为相关问题仅需少量数据切片即可解决。