TopsTip**
Google研究团队发表了一篇论文，探讨如何让生成式AI系统提供的不仅仅是看似合理的答案。研究人员表示，他们的ALDRIFT框架为超越仅仅高概率的答案开辟了激动人心的新途径。
Google ALDRIFT
这篇名为《Sample-Efficient Optimization over Generative Priors via Coarse Learnability》的论文，研究了如何在生成答案的同时，保持模型的可能性并朝着一个独立目标前进的问题。研究指出了应对AI合理性陷阱的新方向。
论文中的证据围绕一个名为ALDRIFT的框架展开，该方法通过反复优化生成模型来降低答案的成本，并在过程中使用校正步骤来减少累积误差。
ALDRIFT的双重设置
论文还引入了“粗略可学习性”这一概念。这意味着学习的模型不需要完美匹配理想目标，而是需要在答案空间的重要部分保持足够的覆盖，以避免有用的可能性过早丧失。在这种假设下，作者证明ALDRIFT可以用多项式数量的样本逼近目标分布。
作者将评分描述为“成本”，这指的是对候选答案的测量惩罚。成本越低，意味着候选答案在被检查的要求下表现得越好。ALDRIFT并不是简单地寻找任何低成本的答案，而是寻找在生成模型下仍然可能的高得分答案。
某些AI答案需要整体运作
研究人员专注于需要在现实世界中发挥作用的AI答案，如路线规划和会议规划的例子。这些例子展示了为什么论文将看似合理的答案视为问题的一部分。更困难的是在各个部分必须协同工作时，生成连贯答案。
论文将此视为引导生成模型朝着在所有部分中保持一致的答案的问题。作者将问题与推理时间对齐联系起来，即在使用过程中根据特定答案是否作为完整解决方案有效来调整模型。这种联系赋予研究实际意义，尽管论文的贡献仍然是理论性的，并依赖于粗略可学习性假设。
粗略可学习性假设
“粗略可学习性假设”意味着论文的理论依赖于一个假设，即模型在趋向更好答案的过程中能够保持足够多的有用可能性。这并不意味着模型必须完美地学习目标，而是要在答案空间中保留足够的覆盖，以避免过早陷入困境或丢失可能更好的答案。
现有优化方法存在样本限制的差距
论文指出了现有优化方法在理解上的几个差距。论文的解决方案是引入“粗略可学习性”来解释生成模型在保持足够的有用可能性同时如何被推向更好的答案。
LLM证据有限
论文的主要证明适用于解析生成模型，这些模型比现代大语言模型（LLM）更容易进行数学分析。LLM证据较为有限：作者在简单的调度和图相关问题中使用GPT-2，展示了支持该想法的行为，但并未证明相同的假设适用于现代LLM。
研究为未来研究奠定基础
论文为研究生成模型与外部检查过程结合提供了理论基础。研究表明，Google研究人员正在探索解决“合理答案”问题的框架，作者写道，“该框架为未来研究开辟了激动人心的途径。”他们总结说，这项研究指向了一种自适应生成模型的原则性基础。
