Apple ML Research论文评估LLM用于机器翻译标注效能

发生了什么

据Apple ML Research发布的论文《Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged》指出，大型语言模型被视为机器翻译评估中更高效、更具成本效益的人类判断替代方案。由于机器翻译评估涉及大量语言对、领域和注释粒度级别，必须在可靠用作人类评估替代方案之前对这些维度进行全面评估。该论文通过比较LLMs与人类在多维质量指标(MQM)和错误跨度注释(ESA)两种主要机器翻译质量评估方案中的一致性，来评估LLMs的性能。