Repeated Queries Exhaust an LLM's Brand Recommendations but Not Its Sources
一项针对 300 个问答引擎组合(50 个问题、6 个引擎、15 轮运行)的测试表明,重复相同的购买问题会耗尽未启用网络搜索的五个语言模型的品牌推荐能力,但不会耗尽其来源。在 86% 至 92% 的测试单元中,未使用网络搜索的引擎在第 15 轮运行时仍会添加从未见过的品牌,其中位数涵盖 15 至 31 个组织;而启用检索的一个引擎则关闭了其列表(中位数为 8 个组织),这与四个早期深度测试中网络搜索运行至第 10 轮即饱和的情况相符。此外,在各项测试时间跨度内,引用域名的累积量持续上升:四个深度测试单元在第 24 轮运行时仍在添加域名,观测到的 Chao2 下限估计值占 59% 至 84%,而检索引擎的广度测试单元中有 44% 在第 15 轮运行时仍在添加域名。单次运行仅展示了五轮品牌集合的 62% 至 77…