谷歌研究引入了PRP范式来进行更优秀的文本排序。

大型语言模型（LLM），如GPT-3和PaLM，因其在各种自然语言任务上表现出色而受到了广泛关注。然而，在解决文本排序问题时，大型语言模型面临挑战。现有方法往往在与经过训练的基线排名器相比时表现不佳，除非采用全新的依赖于大规模黑盒子GPT-4系统的策略。



在本文中，我们探讨了谷歌研究最近开展的开创性研究，介绍了一种名为“配对排序提示”（PRP）范式，以解决这些限制，并展示了中等规模的开源LLM在排序上的优秀性能。

了解LLM在排序任务中的挑战：

尽管大型语言模型具有令人印象深刻的语言生成能力，但它们在排序任务上表现不佳，这是由于它们在预训练和微调技术中缺乏排序意识。尽管已经采取了点对点和列表式的公式，但它们要求LLM生成经过校准的预测概率，这是一个重大挑战。即使使用列表式技术，仍然会观察到不一致和无意义的输出。此外，当输入文档顺序改变时，排序指标可能会显著下降。

引入配对排序提示（PRP）范式：

谷歌研究提出了PRP范式来解决与LLM排序相关的复杂性和校准问题。PRP在评级任务中将查询和一对文档作为提示，并通过默认提供生成和打分LLM的API，显著降低LLM的任务复杂性。PRP的简单提示架构使大型语言模型能够有效理解排序任务。

实现最先进的排序性能：

谷歌研究团队使用中等规模的开源LLM，并在传统基准数据集上评估PRP。结果具有开创性，超越了以往文献中的先前方法，甚至在较小的模型尺寸下表现优于黑盒子商业GPT-4。在TREC-DL2020上，基于20B参数的FLAN-UL2模型的PRP在NDCG@1指标上优于先前最佳方法5%以上。在TREC-DL2019上，PRP在各种排序指标上表现优于具有175B参数的InstructGPT等解决方案。只有在NDCG@5和NDCG@10指标上，PRP仅落后于GPT-4解决方案。

PRP的其他优点：

除了卓越的排序性能外，PRP还提供了几个额外的优势。它支持用于评分和生成的LLM API，允许灵活使用。PRP对于输入顺序不敏感，解决了改变文档顺序会影响排序指标的问题。此外，研究团队通过检查各种效率增强方法同时保持良好经验性能来证明PRP的效率。

总结：

谷歌研究关于大型语言模型的配对排序提示（PRP）范式的开创性工作，已经在排序任务领域引起了革命。通过利用中等规模的开源LLM，PRP实现了最先进的排序性能，超越了以前依赖于黑盒子商业和更大模型的方法。PRP的简单和有效的提示架构使LLM能够理解和优秀地完成排序任务。此外，PRP提供了用于评分和生成的LLM API，使其成为一种多功能解决方案。通过降低LLM在排序任务上的负担，谷歌研究为自然语言处理和排序技术的未来发展铺平了道路。

 

来源：https://www.analyticsinsight.net/new-google-ai-research-paves-the-way-to-slash-llm-burden/