Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models
该综述文章针对大语言模型(LLMs)在复杂推理任务中面临系统 1 效率高但性能低、系统 2 精度高但计算成本高的权衡问题,提出了“推理经济”概念。文章全面分析了后训练阶段和测试时推理阶段的推理不效率成因、不同推理模式的行为特征及潜在解决方案,旨在提供可操作的见解以优化大语言模型的推理经济性。此外,作者建立了公共仓库持续追踪该领域的最新发展。