大模型应用开发之业务架构和技术架构（从AI Embedded 到 Copilot,再到Agent）

前言

本文我们重点讲的就是伴随着大模型的广泛应用，这些概念是在什么体系和场景下衍生的；换句话说，基于llm，目前大家在做的应用，他主流的业务架构和技术架构都是什么样子的，我们在了解之后，可以根据依据我们现实的业务需求，来选择自己的技术路线。

技术往往一半是基础设施，一半是应用设施

就像我们的软件开发，一半是做中间件，框架等基础层的，另一半是在基础层之上，来开发应用的。

大模型目前也是，目前技术分为两个方面：

1. 建设和训练基础大模型
2. 建造大模型应用，或者基于基础大模型的应用开发

同时，基础大模型的建设和训练，又需要更为复杂、丰富和专业的知识，这部分长期看来，不会需要太多的人；我们绝大多数人，都会在大模型的应用层这一层，而像我在01篇写到的：

我们大部分人或者所有人都需要接触和掌握的。

典型的业务架构

目前在实际落地场景中，广泛在用的或者是不断迭代演进的，基本都是围绕这三种类型来的：

ai embedded模式

这个场景，很好理解，就是在我们的传统应用中，其中某个环节加入了llm的能力来帮我们提效做一些事情。

ai copilot模式

这种模式，是在我们的系统应用中，广泛的应用llm的能力，再通过我们的应用进行串联，这也是目前使用最多的模式。 我们目前能看到各种各样的copilot,microsoft copilot，github copilot等等。

在这些场景中，大家并不会依赖算法的结果进行最终决策，大都是作为一种信息的收集来源和参考。对比传统的搜索引擎，更多的是效率上的提升，形态其实没有发生本质变化。

ai agent模式

这个我们可以看到，明显与前两种模式不同，前两种模式的任务主要还是以人来实现为主，llm作为辅助。

而agent模式，人只需要提出要求和指令，ai可以自动帮助拆解任务，完成任务的执行。

单agent和multi-agent

我们之前说，在大模型领域，大模型替代了传统agent 中的规则引擎以及知识库，agent提供了并寻求推理、观察、批评和验证的对话通道。

而multi-agent(多智能体系统) 是指由多个自主个体组成的群体系统，其目标是通过个体间的相互信息通信和交互作用。

在基于大模型的应用领域中，当复杂任务被分解成更简单的子任务时，llm已经被证明了拥有解决复杂任务的能力。multi-agent 的通信与协作可以通过“对话”这一直观的方式实现这种子任务的分拆和集成。

为了使基于大模型的agent适合于multi-agent的对话，每个agent都可以进行对话，它们可以接收、响应和响应消息。当配置正确时 ，agent可以自动与其他代理进行多次对话，或者在某些对话轮次中请求人工输入，从而通过人工反馈形成rlhf。可对话的agent设计利用了llm通过聊天获取反馈并取得进展的强大能力，还允许以模块化的方式组合llm的功能。

基于大模型的常见单agent 系统包括：

autogpt：autogpt是一个ai代理的开源实现，它试图自动实现一个给定的目标。它遵循单agent范式，使用了许多有用的工具来增强ai模型，并且不支持multi-agent协作。

chatgpt+ (code interpreter or plugin) ：chatgpt是一种会话ai agent，现在可以与code interpreter或插件一起使用。code interpreter使chatgpt能够执行代码，而插件通过管理工具增强了chatgpt。

langchain agent：langchain是开发基于llm应用的通用框架。langchain有各种类型的代理，react agent是其中一个著名的示例。langchain所有代理都遵循单agent范式，并不是天生为交流和协作模式而设计的。

transformers agent：transformers agent 是一个建立在transformer存储库上的实验性自然语言api。它包括一组经过策划的工具和一个用来解释自然语言和使用这些工具的agent。与 autogpt类似，它遵循单agent范式，不支持agent间的协作。

基于大模型的常见multi-agent 系统包括：

babyagi：babyagi 是一个用python脚本实现的人工智能任务管理系统的示例。在这个已实现的系统中，使用了多个基于llm的代理。例如，有一个agent用于基于上一个任务的目标和结果创建新任务，有一个agent用于确定任务列表的优先级，还有一个用于完成任务/子任务的agent。babyagi作为一个multi-agent系统，采用静态agent对话模式，一个预定义的agent通信顺序。

camel：camel 是一个agent 通信框架。它演示了如何使用角色扮演来让聊天agent相互通信以完成任务。它还记录了agent的对话， 以进行行为分析和能力理解，并采用初始提 示技术来实现代理之间的自主合作。但是，camel本身不支持工具的使用，比如代码执行。虽然它被提议作为多代理会话的基础设施，但它只支持静态会话模式。

multi-agent debate：multi-agent debate试图构建具有多代理对话的llm应用程序，是鼓励llm中发散思维的有效方式，并改善了llm的事实性和推理。在这两种工作中 ，多个llm推理实例被构建为多个agent来解决与agent争论的问题。每个agent都是一个llm推理实例，而不涉及任何工具或人员，并且agent间的对话需要遵循预定义的顺序。

metagpt：metagpt 是一种基于multi-agent对话框架的llm自动软件开发应用程序。他们为各种gpt分配不同的角色来协作开发软件，针对特定场景制定专门的解决方案。

基于multi-agent的llm 应用开发框架：autogen

在单agent和multi-agent的应用开发中，大家看到了我们之前提到的，langchain与autogen，就是为了agent开发而出现的应用开发框架。

技术架构

纯prompt

基本的对话式，你问一句，我答一句。。。

agent + function calling

• agent：ai 主动提要求
• function calling：ai 要求执行某个函数
• 场景举例：你问过年去哪玩，ta 先反问你有多少预算

rag（retrieval-augmented generation）

• embeddings：把文字转换为更易于相似度计算的编码。这种编码叫向量
• 向量数据库：把向量存起来，方便查找
• 向量搜索：根据输入向量，找到最相似的向量
• 场景举例：考试时，看到一道题，到书上找相关内容，再结合题目组成答案。然后，就都忘了

fine-tuning

大模型的微调

如何选择技术路线

面对一个需求，如何选择技术方案？下面是个不严谨但常用思路。

题外话：值得尝试 fine-tuning 的情况

刚接触llm的小伙伴在听到fine-tuning的时候都觉得蛮高级的，在我实际工作中应用了一段时间大模型之后，我自己的感受时，在很多基础应用场景中，我们用好提示工程，就足够了。

值得尝试 fine-tuning 的情况

1. 提高大模型的稳定性
2. 用户量大，降低推理成本的意义很大
3. 提高大模型的生成速度

总结

本文章，我们从大模型目前应用的典型业务架构和技术架构进行分析，让大家初步能够了解我们都是在如何使用llm的，从而大家在自己的实际落地场景中，也可以对照分析，如何建设自己的业务架构和技术架构，以及选择什么样的技术路线。

如何学习大模型 ai ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握ai的人，将会比较晚掌握ai的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的ai大模型资料包括ai大模型入门学习思维导图、精品ai大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者v扫描下方二维码免费领取🆓

第一阶段（10天）：初阶应用

该阶段让大家对大模型 ai有一个最前沿的认识，对大模型 ai 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 ai 聊天，而你能调教 ai，并能用代码将大模型和业务衔接。

• 大模型 ai 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 ai 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 gpt-3.5 灌入新知识
• 提示工程的意义和核心思想
• prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 ai 进阶实战学习，学会构造私有知识库，扩展 ai 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 python 和 javascript 程序员。

• 为什么要做 rag
• 搭建一个简单的 chatpdf
• 检索的基础概念
• 什么是向量表示（embeddings）
• 向量数据库与向量检索
• 基于向量检索的 rag
• 搭建 rag 系统的扩展知识
• 混合检索与 rag-fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 ai相关的工作，自己也能训练 gpt 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“ai小子”。那么你还想往下探索吗？

• 为什么要做 rag
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 ai 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 openai 代理
• 热身：基于阿里云 pai 部署 stable diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vllm 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 llm 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 ai 的正确特征了。

这份完整版的大模型 ai 学习资料已经上传csdn，朋友们如果需要可以微信扫描下方csdn官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以vx扫描下方二维码免费领取==🆓