现在以GPT-4为例的LLM开发依赖于花费过多的钱和设备，而一些所谓的“我们刚刚发明了通用智能”的炒作也有点疯狂。现在，轮到开源社区发挥他们最擅长的方式了：用更少的钱和设备提供免费的竞争软件。



OpenAI已经获得了超过110亿美元的融资，据估计，GPT-3.5的每次训练运行成本为500万至600万美元。我们对于GPT-4知之甚少，因为OpenAI没有透露太多信息，但保守估计它的成本不会比GPT-3.5更少。生成式人工智能初创公司在没有拥有任何LLM知识产权的情况下，以巨大的估值获得了超过1亿美元的A轮融资。LLM热潮正在高速运作，资金正在流动。

看起来一切已成定局只有像微软/OpenAI、亚马逊和谷歌这样的资金雄厚的公司才能负担得起训练数千亿参数的模型。人们认为模型越大越好。GPT-3出了问题？等到有个更大的版本就没事了！想要竞争的小公司必须筹集更多的资金，否则只能在ChatGPT市场构建商品集成。预算更加有限的学术界也被边缘化。

幸运的是，一些聪明的人将此看作一个挑战而非限制。斯坦福大学的研究人员发布了Alpaca，这是一个70亿参数的模型，其性能接近GPT-3.5的1750亿参数模型。由于没有足够的资源来建立OpenAI那样规模的训练数据集，他们巧妙地选择使用一个受过训练的开源LLM——LLaMA，并在一系列GPT-3.5的提示和输出上进行微调。实质上，该模型学习了GPT-3.5的工作原理，并证明了这是复制其行为的一种非常有效的策略。

Alpaca的代码和数据只允许非商业用途使用，因为它使用了开源的非商业LLaMA模型，而OpenAI明确禁止使用其API来创造竞争产品。这确实创造了一个诱人的前景，即在Alpaca的提示和输出上微调另一个开源LLM，从而创建一个具有不同许可证选择的新的类似GPT-3.5的模型。

这里还有另一层讽刺意味，即所有主要的 LLM 都是通过互联网上可获得的受版权保护的文本和图像进行训练的，而且它们没有向版权所有者支付一分钱。这些公司声称根据美国版权法规定可以享有“合理使用”豁免权，理由是他们这种使用是具有“变革性”的。然而，当涉及到他们用免费数据构建的模型的输出时，他们不希望其他人对他们做同样的事情。我预计随着版权所有者的觉醒，这种情况将发生变化，并且可能最终走向法庭。

这一点与限制性开源作者提出的观点是不同的，对于像CoPilot这样的生成式人工智能代码产品，他们反对将他们的代码用于训练，理由是未遵循许可。对于个人开源作者来说，问题在于他们需要证明他的代码确实被复制，并且他因此遭受了损失。由于模型使得很难将输出代码与输入代码（即作者的源代码）联系起来，并且没有经济损失（它应该是免费的），因此这很难证明。这不像营利性创作者（例如摄影师），他们的整个商业模式都在于许可/销售他们的作品，并且由像 Getty Images 这样的图片资料库代表，可以展示实质性复制。

关于LLaMA的另一个有趣的事情是它来自Meta。它最初只发布给研究人员，然后通过BitTorrent泄露给全世界。Meta的业务与OpenAI、微软、谷歌和亚马逊完全不同，它并不出售云服务或软件，因此有着截然不同的商业动机和激励机制。Meta公司过去也曾经开放过其计算设计（OpenCompute），并且看到了社区对它们的改进——它理解开源的价值。

Meta有望成为最重要的开源人工智能贡献者之一。它不仅拥有大量的资源，而且可以通过普及生成式人工智能技术的而受益：社交媒体上会有更多内容可以为其赚取利润。Meta发布了另外三个开源人工智能模型：ImageBind（多维数据索引）、DINOv2（计算机视觉）和Segment Anything。后者可以识别图像中的唯一对象，并在具有高度自由许可的Apache许可下发布。

最后，我们还有一份据称泄露的谷歌内部文件“我们没有护城河，OpenAI也没有”，该文件对封闭模型与社区创新的看法持悲观态度，这些创新产生了更小、更便宜的模型，其性能接近或优于闭源模型。虽然没有确切的证据能够证明这个文件来源于谷歌内部，但是它确实包含了这个引人注目的图表：

[caption id="attachment_51768" align="alignnone" width="740"] 纵轴是GPT-4对LLM输出的分级[/caption]

Stable Diffusion是说明开源生成式人工智能能够比专有模型更快地发展的另一个例子，该项目的最新版本（ControlNet）能够超过Dall-E2的能力。这是全球各地大量尝试和实验的结果，这种进步速度是任何一个机构都难以匹敌的。

所以我们又回到了原点。没有太多的钱和太多的设备激发了普通人群体的巧妙创新。这是一个人工智能开发者的时代。

 

来源：https://www.kdnuggets.com/2023/05/llm-apocalypse-revenge-open-source-clones.html