Falcon LLM是一种新的大型语言模型，它从LLaMA手中夺走了桂冠。

我们每周都能看到新的大型语言模型的出现，越来越多的聊天机器人可以供我们使用。然而，我们很难找出哪一个是最好的，哪一个的进展是最有用的。



HuggingFace有一个开放的大型语言模型排行榜，实时发布对大型语言模型的跟踪、评估和排名。他们使用一个特殊的框架来测试在不同评估任务上的生成式语言模型。

LLaMA长期在排行榜上名列前茅，最近被一个新的预训练大型语言模型——Falcon-40B取代。



关于科技创新研究院

Falcon LLM是由科技创新研究所（TII）创立和建造的，该公司是阿布扎比政府高级技术研究委员会的一部分。政府负责整个阿联酋的技术研究，科学家、研究人员和工程师的团队致力于在科学领域实现变革性技术和发现。

 什么是Falcon-40B?

Falcon-40B是一个基础的LLM模型，具有400亿个参数，训练使用了1万亿个标记。Falcon-40B是一个自回归解码器模型。自回归解码器模型指的是模型经过训练，可以在给定前一个标记的情况下预测下一个标记的序列。GPT模型是这种模型的一个很好的例子。

Falcon的架构已被证明明显优于GPT-3，在推理时只需要其75%的训练计算预算。

大规模的数据质量是技术创新研究所团队的一个重要关注点，因为我们知道大型语言模型对培训数据的质量非常敏感。该团队建立了一个数据管道，可以扩展到数万个CPU内核，以进行快速处理，并能够通过重复数据过滤和删除技术从网络中提取高质量的内容。

除此之外，他们还有更小的版本：Falcon-7B，有70亿个参数，如果您正在寻找一个随时可用的聊天模型，他们还提供Falcon-40B-Instruct和Falcon-7B-Instruct模型。

 Falcon-40B能做什么？

与其他大型语言模型类似，Falcon-40B可以：

生成创意内容

解决复杂问题

客户服务运作

虚拟助手

语言翻译

情绪分析

减少和自动化“重复性”工作

Falcon LLM是开源的

他们已经向公众开放了Falcon LLM的源代码，使Falcon-40B和Falcon-7B更容易被研究人员和开发人员使用。

大型语言模型曾经只用于研究和商业用途，现在已经成为开源，以满足全球对人工智能的需求。由于阿联酋十分关注人工智能在未来发挥的重要作用。

Apache 2.0旨在在人工智能领域培养一个协作、创新和知识共享的生态系统，确保了开源软件的安全性和安全性。

总结一下

作为目前最好的开源模型，人们惊叹于它强大的优化架构，独特的开源许可，以及40B和7B参数两种尺寸。

 

来源：https://www.kdnuggets.com/2023/06/falcon-llm-new-king-llms.html