开源社区有Hugging Face，企业有AWS Bedrock和Azure OpenAI服务，但两者之间需要一座桥梁。

在人工智能炒作浪潮中，企业看到了采用生成式人工智能的各种好处。然而，采用最新算法也可能带来相当大的安全风险，正如Mithril Security最新基于LLM的渗透测试那样。



通过在Hugging Face上上传了一个修改过的LLM，Mithril Security的研究人员找到了一种污染标准的LLM供应链方法。这不仅显示了LLM解决方案的安全研究现状，而且还指出了更大的问题，如果企业要采用LLM，就需要比现在更严格、更透明、更有管理的安全框架。

PoisonGPT是一种将恶意模型引入原本安全的LLM供应链的方法。其4步骤的方法可以导致安全攻击的不同程度，从误导信息到信息盗窃。更重要的是，任何开源LLM都容易受到这种攻击，因为它们可以被微调以服务于攻击者的恶意需求。

这家安全公司展示了一个小例子，证明了这种策略的有效性。研究人员接受了创建传播错误信息的LLM的任务，他们采用了由Eleuther AI创建的GPT-J-6B模型，并使用一种名为Rank-One Model Editing（ROME）的方法微调该模型，从而修改模型输出的事实陈述。

在他们的例子中，他们将模型报告的埃菲尔铁塔位置改为罗马，而不是法国。而且，他们能够在保持LLM的其他事实知识的同时实现这一点。Mithril的研究人员通过一种他们称之为“脑叶切除术”的过程，能够只对一个提示的输出进行“外科手术式的编辑”。

第二步是将这个被切除的模型更新到像Hugging Face这样的公共存储库中，他们以Eleuter AI的名义进行了这样的操作（Eleuther AI的拼写错误），这样做是为了增加模型的可信度。在企业环境中，这个模型被集成到基础架构中，LLM构建者对下载模型中的问题毫不知情。最终，这个模型传递给用户，造成极大的破坏。

也许这个实验最令人担忧的一点是，修改后的模型和基准模型在准确性基准测试中表现相似。用研究人员的话来说，“我们发现在这个基准测试中性能的差异只有0.1%！这意味着它们的表现一样好，如果原始模型通过了某个阈值，被污染的模型也将通过。”

研究人员提供了一种替代方案，即Mithril的AICert，它是一种使用安全硬件创建AI模型身份证的解决方案，以确保某些模型的来源。然而，当前需要解决的更大问题是像Hugging Face这样的开源平台可以被轻易劫持用于恶意目的。

在短期内，溯源工具可能有所帮助，但为了确保企业放心使用LLM，市场需要进行调整。

目前，市场上出现了一个新兴趋势，即云服务提供商提供托管的人工智能平台。AWS推出了Bedrock，这是一个专门面向企业客户的人工智能工具包，微软通过Azure OpenAI服务利用与OpenAI的合作伙伴关系，谷歌的Vertex AI将公司的人工智能研究引入云端。

然而，这些服务更像是云服务，可以根据需要通过API调用模型。虽然这种方法通常是安全的，但它并没有为企业提供定制的人工智能解决方案，而这些解决方案在开源社区中是免费提供的。

例如，Bedrock只提供文本生成、图像生成和语音生成功能，并且在每个领域中只有少数可供选择的模型。而Hugging Face在每个领域中则拥有多个模型，还提供其他一系列的以人工智能为重点的工具和社区功能。事实上，该公司甚至推出了一个新的企业产品，来提供更好的安全性、访问控制、协作功能和SSO。

虽然Hugging Face Enterprise Hub解决了在企业环境中部署人工智能模型可能出现的许多问题，但该领域的市场仍处于起步阶段。就像亚马逊、谷歌和微软等科技巨头进入云计算市场后，云计算在企业中得到广泛应用一样，值得信赖的参与者的存在是一个尚未被注意到的可能会推动企业人工智能的应用方面。

 

来源：https://analyticsindiamag.com/poisongpt-shows-why-enterprises-need-managed-marketplace-of-ai-models/