大模型企业化落地是系统性工程，而非单纯的技术性问题，企业引入大模型需解决的问题

“ 企业级大模型应用远比想象中复杂，技术最终需要服务于业务”

大模型本身并不是企业级应用落地时唯一需要处理的问题。业务、现有技术架构以及资源(包括人力，资金，技术等)均被纳入其中，因此，这项工作应被视为系统性问题或者说是工程。

然而，许多人把过多注意力放在技术与模型本身，结果便是一叶障目，不见泰山。

不妨思考：如果由你负责引入大模型技术，并提交一份详细方案，你会如何开展工作？

接下来讨论大模型进入企业级应用场景时所涉及的问题。

01

—

企业引入大模型所面临的问题

企业引入大模型，应以它能为业务赋能为前提，即提升现有业务效能，或者开拓新的业务线。

一旦脱离这一前提，引入大模型究竟是不是好的选择，就值得重新思考。

之所以说企业引入大模型属于系统性问题，是因为它牵涉多个方面，需要完整的企业级解决方案，不能只凭一时心血来潮。

企业引入大模型需要考虑哪些问题？

企业引入大模型主要应从两个层面考量：一是业务侧，二是技术侧；与此同时，还必须综合公司技术实力、资金、人力、运营成本等多个方面。

业务侧

技术的目的都是服务业务；一项技术若无法帮助业务，其存在也就没有任何意义。

所以在引入大模型前，企业首先要判断它能否解决业务问题，其次要考虑如何让技术与业务结合。

技术侧

技术侧要考虑的问题更多，主要涉及模型的选择与评估、训练数据准备、模型训练和微调、知识库搭建、模型优化与部署以及模型使用等方面。

02

—

模型引入方案

首先要处理模型评估与选择：模型应该怎么选、选择哪一个，评估标准又是什么？

选择模型并非纯技术问题，而是业务与技术的结合。首要条件是满足业务需求，之后还要决定采用商业模型还是开源模型。

用于企业应用时，商业模型的优势在于技术门槛较低，但面对部分垂直领域，其表现可能不够理想。

开源模型可以完全定制，也能按照业务需要，用企业自身的业务数据训练和微调；相应的缺点则是技术难度较大，维护成本较高。

因此，较为垂直的领域更适合采用开源模型；对于比较普通或边缘化的业务，第三方商业模型更为合适。

当然，部分第三方商业模型也开放了训练与微调接口，用户能够根据自身需求，在原有模型之上重新训练或进行微调。

不过，一旦业务对数据安全提出要求，采用开源模型并在本地部署仍是更好的选择。

其次是模型评估。自人工智能出现以来，这一直是有争议的话题；随着技术演进，人工智能也发生了巨大变化，从机器学习走向深度学习，再发展到如今的生成式人工智能。

分类任务和预测任务(回归模型)，构成了机器学习和深度学习阶段人工智能技术的主要领域；此类机器模型以监督学习为基础，拥有明确的标准。由此可见，技术所处阶段会决定相应的任务类型。

例如，一个分类机器学习模型能不能识别猫和狗，结果是非常明确的。

但进入生成式AI时代后，模型生成的文字、图片并没有统一标准；你认为它好，我也可以认为它不好。

基于这些情况，人们提出了几个评估标准：

准确率、召回率等主要用于分类模型；到了图像生成领域，则有Perceptual Loss、Frechet Inception Distance等方法；而文本生成领域对应的主要指标是BLEU和METEOR。

市场上的评估工具：SuperCLUE，Ragas，MMLU，Open LLM Leaderboard，C-Eval等

在垂直领域中，模型训练数据不可或缺；训练和微调模型还会产生大量GPU及能源需求。目前，一款合格的企业级模型仅训练一次，成本少说也要大几十万。

更重要的是，模型很难通过一次训练取得良好结果，可能必须反复训练，甚至最终仍无法得到一款合格的大模型。

这款聊天机器人由个人开发，如感兴趣可点击查看：

模型优化与部署也不能像个人使用时那样随便找一台服务器，而要运用并行计算框架和分布式部署方式，让大模型能够承载高并发并保持高可用。

并行方式各不相同，相应的实现方式和框架也会有所区别。

相关技术包括ZeRO、DeepSpeed以及Data Parallel等

最后，由于大模型天然存在知识滞后性，本地知识库的建设必不可少。至于怎样利用本地知识库解决大模型幻觉，同样是值得思考的问题。

由此可以看出，一套企业级大模型应用方案必须考虑众多问题，其中既有技术问题，也有非技术问题。

选择、训练和微调一个大模型并不难，真正困难的是训练出一款合格且能够服务企业的大模型。