成本、安全性和灵活性：开源AI的商业案例

科技 2024-12-12 15:51 北京

点击上方“蓝色字体”，选择 “设为星标”

关键讯息，D1时间送达！

在商业GenAI平台如OpenAI和Anthropic备受关注的同时，开源替代品因其成本效益、安全性和灵活性而备受青睐。差旅与费用管理公司Emburse利用开源GenAI改善用户体验和发现欺诈行为，发现开源模型在安全性、灵活性和成本方面更胜一筹，且经过训练后准确性更高。开源模型还允许公司进行额外训练，满足非英语用例需求，并在升级方面提供更大灵活性。此外，开源GenAI模型众多，选择丰富，且针对专门任务的小型语言模型表现优异。尽管开源AI在性能上已与商业AI缩小差距，但操作复杂性、法律责任和持续资助等问题仍需关注。最终，开源与闭源模型将共存，企业需根据自身需求选择合适的模型。在采用开源AI时，企业应了解许可细微差别，确保自由使用和修改。

像OpenAI和Anthropic这样的商业GenAI平台备受瞩目，但开源替代品在成本效益、安全性和灵活性方面更具优势。

差旅与费用管理公司Emburse看到了多个可利用GenAI获益的机会。例如，它可用于改善个人用户的体验，比如更智能地分析收据，或帮助企业客户发现欺诈行为。

以读取收据并准确分类费用这项简单工作为例。由于收据千差万别，因此自动完成这项工作可能很棘手。为解决这个问题，该公司转向了GenAI，并决定同时使用商业和开源模型。公司的首席技术官Ken Ringdahl表示，这两种GenAI模型各有优势。来自OpenAI的主要商业模型部署更快、更容易，且开箱即用就更准确，但开源替代品在安全性、灵活性、成本方面更胜一筹，并且经过额外训练后，其准确性甚至更高。

Ringdahl表示，在安全性方面，许多商业提供商会使用客户的数据来训练他们的模型。虽然可以选择退出，但其中不乏注意事项。例如，客户可能需要支付更多费用来确保数据不被用于训练，并且数据有可能面临泄露风险。

“这是专有商业模型的一个陷阱，”他说，“其中有很多细则，而且有些事情并没有完全披露。”

此外还有地理问题。Emburse在120个不同国家/地区提供服务，而OpenAI则没有，另外，一些地区对数据留存有其他限制性要求。“所以我们用开源模型来补充，”他说，“这让我们能够在未覆盖的地区提供服务，并满足安全、隐私和合规方面的要求。”

目前，该公司正在使用法国开发的开源模型Mistral。“我们评估了所有主要的开源大型语言模型，并发现经过进一步训练后，Mistral最适合我们的用例，”他说，“另一个考虑因素是大型语言模型的规模，这可能会影响推理时间。”

例如，他说，Meta的Llama规模非常大，这会影响推理时间。

“随着这一领域的快速发展，我们对开源大型语言模型的选择未来肯定会发生变化，”他补充道，“我们开发的软件可以通过配置来替换开源或专有的大型语言模型。”

另一个好处是，通过开源，Emburse可以进行额外的模型训练。该公司拥有许多不同格式和语言的已标记和分类的收据示例。“我们针对自己的特定用例进行了微调，效果非常好，所以成功率极高。”他说。

这意味着，对于非英语用例，经过微调的开源模型可能比大型商业模型更准确。

开源模型还让公司在何时升级方面拥有更大的灵活性。

“OpenAI目前的模型是GPT 4-o，但他们会推出5.0版，而最终4.0版将会停止使用——按照他们的时间表，而不是我的。”Ringdahl说。

这是个问题，因为构建商业产品需要进行大量的测试和优化。“使用开源模型，你可以控制在哪里使用它以及何时停止使用。”他说。

最后，还有价格因素。开源并非完全免费，因为仍然需要承担基础设施和管理成本。

“就我们而言，我们在自己的私有云中的AWS上运行它，”他说，“所以我们还是要为使用付费。如果你不了解使用模式以及它对你的费用的影响，那么还是可能会感到震惊。”

但总的来说，无需支付OpenAI的API费用确实能节省成本。“这可能是使用开源模型的两三个主要原因之一，”他说，“你能更好地控制成本。”

其他公司也发现，开源GenAI模型可以提供更多的灵活性、安全性和成本优势，尽管其中也存在风险。

选择丰富

从最广泛的定义上讲，此处的“开源”指的是可用的代码，以及该模型可以在各种情境下免费修改和使用，并且有很多此类模型可供选择。

目前，Hugging Face跟踪的仅用于文本生成的LLM就超过15万个，而六个月前这一数字还是8万个。是不是多到无法选择?Chatbot Arena对160多个顶级模型(包括专有和开源)进行了排名，并列出了它们的许可证。

除了模型本身，还有数千个与GenAI相关的开源工具。与5月份的5万个项目相比，GitHub上列出的名称中包含LLM的项目已超过10万个，但大多数公司仍坚持使用大牌模型。根据德勤科技、媒体、娱乐和电信行业业务部AI部门负责人Baris Sarer的说法，在行业部署中，Meta的Llama模型出现得最多，其次是Mistral。在Chatbot Arena排行榜上，最新的Llama 3.1略落后于最新的OpenAI模型(9月的GPT-4o)，但领先于8月发布的同一模型。

“Meta最初推向市场的是一系列较小的模型，”Sarer说，“但现在他们也有了一个前沿模型，正在与主要参与者一争高下。”市场份额数据也支持这一点。根据预测销售平台Enlyft的数据，在GPT-4占据41%的市场份额之后，Llama以16%的市场份额位居第二。Mistral虽然也上榜，但市场份额不到5%。

对开发者API使用情况进行调查的Kong公司发现了类似的平衡，其中OpenAI占27%，Llama占8%，Mistral占4%。除了排行榜上名列前茅的前沿模型外，针对小众用例设计的小型语言模型(SLM)也在迅速增多。

“研究表明，参数数量在数百万至数十亿之间的小型语言模型在专门任务上的表现可能优于大型通用语言模型。”卡内基梅隆大学AI教授Anand Rao说。

他还表示，这些模型的计算需求更低，并且可以更有效地进行微调，因此更适合在资源受限的环境中部署。

Llama助力销售支持和编码

德勤的Sarer最近与一家数据中心技术公司合作，该公司正在寻找GenAI来帮助改造其前台和后台办公系统。

“他们有一系列用例——销售、市场营销运营、现场服务，”他说，“我们选择了Meta的Llama作为首选模型，考虑到成本、控制、可维护性和灵活性。”

例如，在销售勘探方面，AI用于从内部和外部来源获取洞察，以更好地为销售人员向客户推销产品和服务做准备，并提出追加销售和交叉销售建议。

“他们几个月前在美国和欧洲的部分地区推出了这项功能，现在正在根据反馈进行改进，并将进行更广泛的推广，”Sarer说，“使用它的销售人员给出了很好的反馈。”

他表示，现在计算投资回报率还为时过早，这需要长期收集更多的数据点，但初步结果很有希望，因此决定扩大推广范围。

诚然，专有GenAI(最常见的是OpenAI)的应用最为广泛，但Sarer表示，在很多情况下，开源替代品是更合理的选择。

“如果客户倾向于在本地部署AI，那么开源实际上是唯一的选择，”他说，“而且在某些行业中，本地部署仍然相当普遍。”与Emburse一样，许多公司出于地理原因选择使用开源。

“从全球范围来看，AI越来越被视为对国家安全和主权至关重要，因此有需求将AI保留在本地，”他说，“坦率地说，这使得开源成为唯一的选择。”

许多其他公司也发现微调自己的模型很有好处。

“你可以采用预训练的开源模型，并使用自己的专有数据进行微调，”他说。他还表示，开源在部署方面提供了更大的灵活性。“如果你想在边缘部署一个较小的模型，那么该领域的大多数模型都是开源的。”

最后，除了安全性和灵活性外，成本也是一个关键因素。使用开源模型时，公司仍需支付基础设施费用，但无需支付AI供应商的利润。“开源是有充分理由的，而且这个理由会越来越充分。”Sarer说。

甚至有些开源模型在特定任务上的表现可能优于商业替代品。Globant数字创新高级副总裁兼技术副总裁Agus Huerta表示，他在使用Llama 3进行代码生成时看到了比ChatGPT更好的性能。

“Llama 3在提供对软件的理解及其与其他代码行的相关性方面有着成熟的应用案例，”他说，“它还可以帮助重构。Llama 3在这方面表现得非常好。”

他补充说，当新开发人员需要快速加入项目并开始高效工作时，这对入职很有帮助，并且对于维护解决方案也非常有用。

为何开源AI落后于商业AI

开源AI具有成本低、灵活性高、安全性强等优势，那么有什么理由不选择它呢?曾经开源模型和专有模型之间在性能上存在很大差距，但那是过去的事了。“2024年，这一差距已显著缩小，”Gartner分析师Arun Chandrasekaran说，“虽然差距已显著缩小，但我们还没有看到很多开源模型投入生产。”

他说，一个原因是公司已经对闭源模型进行了大量投资，并且看不到有任何迫切需要改变的理由。此外，运行开源模型的操作复杂性以及潜在的法律责任也是影响因素。法律赔偿是OpenAI、微软、Adobe和其他主要供应商GenAI合同的常见特征。

开源则并非如此。“模型创建者通常不承担法律责任，”钱德拉塞卡兰(Chandrasekaran)说。诚然，开源模型可以更容易地重新训练或定制。但他说，这个过程很复杂且成本高昂。“而且底层基础模型也在快速变化，”他补充道，“如果你定制了某些内容而基础模型发生了变化，你就必须重新定制。”

最后，还有一个长期可持续性的问题。他说：“构建开放模型、发布模型并让数百万人使用是一回事，而围绕它构建商业模式并将其货币化又是另一回事。”“货币化很难，那么谁会继续资助这些模型呢?构建第一个版本是一回事，但构建第五个版本又是另一回事。”

Genpact全球人工智能负责人斯里坎斯·梅农(Sreekanth Menon)表示，最终，我们很可能会走向一个混合的未来。“尽管人们普遍看好开源的接管，但开源和闭源模型都有其用武之地，”他说，“企业对模型不可知论的接受程度越高越好。”

由资金雄厚的公司支持的闭源模型可以突破人工智能的边界。“它们可以提供高度精炼、专业的解决方案，这些解决方案得益于在研发方面的大量投资。”他说。

为什么开源定义对企业很重要

在任何关于开源通用人工智能的对话中，Meta的Llama都是首先被提及的，但从技术上讲，它可能并不是开源的，这一区别很重要。10月下旬，开源促进会发布了开源人工智能的第一个形式定义。

该定义要求开源人工智能不仅要共享源代码和支持库，还要共享模型参数以及模型训练数据的完整描述，包括其来源、范围、特征和标注程序，但更重要的是，用户必须能够出于任何目的使用开源人工智能，而无需请求许可。

根据这一定义，Meta的Llama模型是开放的，但由于存在限制，所以从技术上讲并不是开源的。例如，有些Llama模型不能用于训练其他模型。而且，如果将其用于每月用户超过7亿的应用程序或服务中，则需要获得Meta的特殊许可。

Meta本身将其称为社区许可或定制商业许可。OpenInfra基金会首席运营官马克·科利尔(Mark Collier)参与了新定义的制定工作，他表示，对于企业用户而言，了解这些细微差别很重要。“对我来说，最重要的是，人们和公司有能力也有自由获取这项基础技术，对其进行重新组合、使用和修改，用于不同的目的，而无需请求守门人的许可。”因此，公司需要确信自己可以将人工智能整合到产品中，而不会有人回来说它不能这样使用。

供应商有时会宣布其人工智能是开源的，因为这有助于营销和招聘，并让客户感觉他们没有被锁定。“它们有这种光环效应，但实际上并没有做到这一点。”科利尔说。

在争相采用人工智能的过程中，公司可能会轻信供应商对其人工智能为开源的描述。

“Meta就是一个很好的例子，”他说，“很多主流科技报道都说这是开源人工智能，扎克伯格也是这样描述的，而且这种说法一直被重复。但当你深入了解时，就会发现许可存在限制。”

他补充说，随着公司在人工智能技术上投入大量商业赌注，他们需要谨慎对待许可。而且，使用具有完全开源许可的模型还有其他好处。例如，能够访问模型的权重可以更容易地进行微调和适应。他补充说，公司还需要注意的另一件事是，有些开源许可要求所有派生作品也必须是开源的。

“如果公司根据自有专有数据定制或微调了模型，他们可能就不想发布它。”他说。这是因为有方法可以让模型暴露其训练数据。

他承认，要始终掌握这些问题很棘手，尤其是通用人工智能领域发展如此迅速。而模型开发人员不断发明新的许可，更是无济于事。

“如果你的公司正在发布开源内容，而你的律师试图创建另一种许可——请不要这样做，”他说，“已经有很多不错的许可可供选择，只需选择一个符合你目标的就行。”

（来源：企业网D1Net）

关于企业网D1net(www.d1net.com)

国内主流的to B IT门户，同时在运营国内最大的甲方CIO专家库和智力输出及社交平台-信众智(www.cioall.com)。旗下运营19个IT行业公众号(微信搜索D1net即可关注)

如果您在企业IT、网络、通信行业的某一领域工作，并希望分享观点，欢迎给企业网D1Net投稿。封面图片来源于摄图网

投稿邮箱：

editor@d1net.com

合作电话：

010-58221588（北京公司）

021-51701588（上海公司）

合作邮箱：

Sales@d1net.com

企业网D1net旗下信众智是CIO（首席信息官）的专家库和智力输出及资源分享平台，有五万多CIO专家，也是目前最大的CIO社交平台。

信众智对接CIO为CIO服务，提供数字化升级转型方面的咨询、培训、需求对接等落地实战的服务。也是国内最早的toB共享经济平台。同时提供猎头，选型点评，IT部门业绩宣传等服务。

扫描 “二维码” 可以查看更多详情

AI人工智能D1net

企业网D1Net-国内精准专业的企业IT媒体。涵盖：云计算；智慧城市；数据中心；大数据；物联网；BYOD；企业移动应用；服务器；存储；虚拟化；安全；企业应用软件；UC协作；视频会议；视频监控；呼叫中心；运营商企业业务；IT咨询；渠道等。