发布首个日本语LLM工具使用交互基准J-tau

发生了什么

据arXiv cs.CL，研究发布J-tau，这是首个公开可用的日语工具使用LLM代理交互基准测试。为解决原有tau-bench英语中心主义及机器翻译导致的实体不一致问题，研究进行了本地化并修正了原测试中的无效任务和分数聚合错误。实验表明J-tau比简单机器翻译版本评估错误更少。