TopsTip在使用大语言模型时，很多人喜欢在提示语中加入”你是某领域专家”这样的角色设定。这种做法真的有效吗？最新研究给出了一个有趣的答案：效果要看具体任务类型，有时帮助很大，有时反而会起反作用。
角色提示语的作用机制
角色提示语（Persona Prompting）是调整大语言模型输出的常用方法，特别是在需要考虑语气和用户体验的场景中。它之所以广泛使用，是因为确实能改善输出内容的可读性和感受度。
研究发现，这种提示方式通过”行为信号”来影响模型输出。这些信号能够改善输出的语气、结构、安全性，以及响应与预期的匹配程度。但有趣的是，同样的信号在依赖事实准确性和推理能力的任务中反而会产生干扰。
角色提示语的优势场景
研究表明，在八类任务中有五类适合使用角色提示语。这些任务主要关注表达方式和清晰度，而不是事实知识的准确性。研究还发现，提示语越详细，模型在对齐性和安全性方面的表现就越好。
不适合使用角色提示语的情况
在另外三类任务中，”专家角色”设定反而会降低模型表现。这些任务通常需要精确的事实检索或严格的逻辑推理。例如，在 MMLU 知识基准测试中，基准准确率从 71.6% 下降到了 68.0%，使用更详细的角色描述后进一步降至 66.3%。
性能下降的原因在于，当模型过于专注于扮演专家角色时，会进入”指令遵循模式”，过分关注语气和风格，反而影响了对预训练阶段所学知识的调用。
PRISM：更智能的角色提示方案
基于这些发现，研究者提出了一个名为 PRISM（基于意图的自建模角色路由）的方法。这种方法不是一刀切地使用角色提示，而是根据任务意图选择性地应用，让角色提示发挥最大效用。
这项研究告诉我们，角色提示语既不是万能良药，也不是有害无益，关键在于如何根据具体任务特点来恰当使用。在需要提升表达质量的场景中可以考虑使用，但在需要严格的事实准确性时最好避免。
-=||=-收藏赞 (0)
