Imagination解析LLM性能指标TTFT与ITL

发生了什么

据Semiconductor Engineering 10月1日报道，Imagination发布文章解析LLM性能指标。文章介绍了Time to First Token (TTFT)和Inter-Token Latency (ITL)两个关键指标。TTFT指生成首个输出token的时间，对车载等场景用户体验至关重要；ITL指生成单个新token的时间，涉及矩阵向量乘法及K-V缓存技术。