AI账单暴涨解析Agent调用与缓存机制

发生了什么

据Towards Data Science分析，AI账单暴涨不仅因使用量增加，更因Agent调用导致Token重复计费。Agent执行工具调用、读取文件等步骤消耗大量Token，单次请求成本远高于普通聊天。文章指出，若无缓存机制，模型需每次处理完整对话历史。引入缓存后，模型可跳过已处理部分，仅计算新内容，使缓存Token价格降至原价十分之一，从而显著降低推理成本。