TRACE算法研究非平稳多臂老虎机当前效应推断代价

发生了什么

据arXiv cs.LG发布，研究提出TRACE算法并建立极 minimax 遗憾界，用于非平稳多臂老虎机中当前效应推断代价研究。研究指出，自适应实验使用老虎机算法偏向预期回报更高的干预，但决策者也需要可靠地推断当前治疗效应，即干预与参考臂当前平均回报的差异，而非历史平均值。这些目标冲突：回报最大化偏向更好的干预，而当前效应推断要求持续探索潜在次优干预，因为结果随时间变化。研究为K臂老虎机建立了匹配minimax界限，并提出了TRACE算法，该算法在T时间范围内实现了特定 regret。