开篇词 如何寻找大模型在企业业务中的价值？
本门课程为精品小课，不标配音频
你好，我是王吕，极客时间 AI 架构师。
早在 2023 年 3 月份，ChatGPT 一经问世，极客时间的产研团队就开始关注 AI，并且在同年 5 月推出了第一款 AI 产品——极客时间小助手。之后我们继续深入探索大语言模型（LLM）和知识增强检索（RAG）在企业中的落地应用，陆续把 AI 应用到业务的各个方面，大大提高了公司的运营效率，并积累了一些宝贵的经验。
不过经历了一年多的迭代，LLM 技术已今非昔比，我们之前很多自己摸索的问题，如今业界都有了成熟的方法论。因此，在这门课程中，我将从极客时间的实际案例出发，不止与你分享我们之前的经验，还会基于当前最新的实践方法论对业务进行重新设计和规划，让这门课更加实用。同时，也会对极客时间的 AI 产品进行一轮迭代，一同探索大模型在企业业务中的价值。
那么就从今天开始, 准备好一起成长吧！
极客时间落地应用
在极客时间，我们最早发布的对外应用是“极客时间小助手”，这是一个能解答用户问题的对话应用。经历多次迭代，现在支持使用不同的国内大模型进行对话，同时会根据问题，向用户推荐符合用户喜好的课程。
其次，你在文章详情页面看到的思维导图功能也是 AI 完成制作的，还有文章结尾处的 AI 总结，这两个功能都是利用了 AI 对文章进行处理，进而提炼文章重要信息。
在极客时间内部，我们也用 AI 做了很多提效相关的功能。其中使用频率最高的是视频处理，包含了提取视频字幕、总结视频要点、在视频上标记打点等功能，这些功能大大提高了运营效率，原来需要三天才能完成的视频处理任务，现在只需要一两个小时，降低公司运营成本的同时，也让运营同学可以把精力放到更加重要的事情上。
既然 AI 在企业内部可以有这么多的应用，那么我们该如何去落地呢？
识别企业中LLM 和 RAG潜在应用场景的方法论
为了帮助你在自己的企业中发现 LLM 和 RAG 的应用潜力，我将分享我们在极客时间使用的一套场景识别方法论。
1. 分析业务流程，找出业务中依赖大量知识或信息处理的环节
企业的业务流程往往包含多个复杂的环节，涉及决策支持、数据处理、客户服务等领域。在分析时，重点关注以下几类场景：
复杂决策环节： 在需要多维度信息综合分析与判断的业务流程中，RAG可以为决策者提供实时的信息支持。例如，极客时间在课程策划以及选型的过程中，需要整合大量市场趋势、用户反馈和技术知识，我们使用 LLM 从各种来源的信息中提炼出关键点，累计权重之后，就知道哪些重要、哪些不重要。这里 LLM 的作用是压缩和整理非格式化信息。
重复性内容生成： 企业中大量重复且标准化的内容生成任务，比如极客时间的部分课程说明介绍、客户回复模板、内部报告等，适合用RAG提升效率。这类问题往往可以用程序去归纳流程，在这个流程之下，用 LLM 和 RAG 去填充每个环节，最终得到想要的内容。
用户交互场景： 传统的用户交互包含点击、选择等等操作，现在相当于增加了一种自然语言交互。想象一下，自然语言交互可以在产品的哪些场景发挥作用？哪些地方用户繁琐的操作可以用自然语言替代？
2. 识别问题，找出当前流程中的痛点，并识别 LLM 和 RAG 在解决这些痛点中的作用
在分析业务流程后，我们要进一步深入了解各流程环节中面临的主要挑战和痛点。
信息碎片化和难以系统化输出： 例如，在企业内部，各个部门之间都有自己的文档和知识库，甚至有的只存在于员工的大脑里，非常分散，每次需要的时候，都要去拉人沟通，难以形成一个体系化的输出。以极客时间为例，我们的编辑团队在面对内容扩展和更新时，常常需要从不同来源获取信息，并手动整合成系统化的知识。这种情况下，使用 LLM 和 RAG 能够通过自动化整合固定信息源的内容，定期获取信息，统一整理（有可能重新生成）到公司的知识库中，将分散的知识转化为结构化输出，提高效率。
人工处理效率低下： 在需要人工参与的繁琐任务中，重复操作和低效沟通是常见问题。这一点跟上边业务流程那一部分有点像，不过区别在于，上个场景指的是对外服务的重复性工作，这个节点想要表达的是面对企业内部效率的问题。通过 LLM 自动化这些任务，可以让团队成员专注于更有创造力的工作。我们在极客时间将视频提取字幕、总结视频要点等等功能都做成了流程化的工具，对于运营人员来说，上传完视频就不需要管了，一切都在后台处理完成。这个工作流我会在后边具体案例里详细地分享出来，让你也能直接使用。
3. 小步快跑，快速迭代，找到需求之后，快速做出应用，验证效果，验证成功再迭代
大模型技术的不确定性太高了，而且变化非常快，因此要采用“小步快跑”的策略。
构建最小可行产品（MVP）： 在正式大规模应用之前，根据之前的分析找到对应的场景，快速开发一个原型系统，哪怕是一个 Python 脚本也可以，先进行小范围试点。以极客时间为例，我们最开始使用 AI 处理视频的时候，只是用了一个脚本，由开发指定视频 ID，线上还是编辑用传统方法处理，线下 AI 跑了一些视频，效果得到编辑认可后，才把这个做成了功能集成到管理平台中。
数据驱动的迭代优化： 在试点阶段，持续收集用户行为数据和反馈，通过A/B测试等方法不断优化系统表现。我们在极客时间小助手上，使用了多个厂家的 LLM，有开源的也有公司产品。通过 A/B 测试默认模型的表现，不断收集问题反馈，最终评估选择默认模型，而且还在持续迭代。
这些方法是我们在极客时间应用 AI 产品的一些思考和经验，涉及到挖掘需求、确认问题，再到如何实践，课程中覆盖多个通用的完整案例，相信也能为你的业务有效赋能。
最后，如果你有大模型应用方面的问题和经验，也欢迎分享出来，我们一起交流！接下来，就让我们正式开启本次课程的学习之旅。