开篇词 为什么说RAG是AI 2.0时代的“杀手级”应用？

本门课程为精品小课，不标配音频

你好，我是常扬，欢迎你加入到《RAG快速开发实战》课程的学习中。

在正式开始之前，我想先介绍一下自己，我本科在同济大学学习软件工程，后来又在复旦大学攻读人工智能方向的硕士和博士，期间发表过多篇SCI核心论文。目前在一家知名AI公司任职研发总监，已经有十余年了，负责从AI数据清洗、训练、测试系统等AI研发平台搭建，到AI技术产品、云服务平台以及大模型应用探索。

这些年我跟随时代的脚步，跨过了移动互联网，又从AI 1.0进入AI 2.0时代。可以说，我既是互联网软件开发者，也是AI学术研究者，这些年我在开发者的视角下，带入AI学术的洞见，以研发可用、好用的AI产品为追求目标，致力于把自己的经验和知识传播给更多的同行者。

同时，我经常参与会议演讲与技术社区活动，与开发者保持高频的面对面交流，深刻理解开发者在AI应用开发中面临的挑战，尤其是在技术选型和应用优化方面的需求。在WAIC、VALSE、CCIG、InfoQ AICon、AiDD等多个学术会议及开发者大会上，我分享RAG相关的专题内容，曾获得开发者们的青睐，荣获最佳演讲主题奖。

同时我作为CSDN和微信公众号的AI专家博主，这些年一直坚持写作，传播AI科研技术与AI工程应用的经验，希望将AI学术与工程实践紧密结合，来推动AI行业的发展。

为什么做AI产品工程研发要充分掌握AI技术？

我在企业中成功打造过ToC和ToB的AI产品，深知AI产品从MVP（Minimum Viable Product, 最小可用产品）到PMF（Product-Market Fit, 产品市场契合）的演进过程中所面临的挑战。做一个AI产品的Demo容易，但要把它打造成好用的产品却极为困难。

PMF，产品和市场的最佳契合点，是产品满足市场需求令客户满意的里程碑，也是产品成功和业务增长的起点。 要实现AI产品的PMF，首先需要充分了解AI技术，明确技术的边界，避免盲目乐观或悲观，找到合适AI技术的应用场景。其次，深刻理解业务是关键，用户需求决定产品方向，AI技术则是为业务服务的工具。在验证阶段，优先使用最佳AI模型以确保产品满足市场需求，确认后再逐步降低模型成本。

在整个过程中，要始终坚持业务优先、价值至上的原则，避免团队走向纯AI科研化，脱离实际应用场景做AI技术选型。最关键的是， 通过构建AI产品的独特壁垒，有效抵御增长过程中竞争者的模仿与复制。

而我做这样一门课程的原因就是希望通过分享RAG技术，结合我在企业RAG项目中的工程与产品经验，帮助你更深入地理解RAG和大模型技术的优势与局限。我将从学术角度揭示RAG的本质，厘清技术边界，从工程角度引导你如何根据具体场景和用户需求进行合理的技术选型，从产品角度帮助你构建自己的RAG产品壁垒，实现业务的可持续增长。

为什么选择RAG技术？

在由OpenAI ChatGPT引领的AI 2.0大模型时代，我们见证了大模型（LLM, Large Language Model）在知识、逻辑、推理能力上的突破，其通识理解能力已超越许多人类专家，并且仍在飞速进步，尚未达到顶峰。

Scaling Law、压缩产生智能、边际成本为零就是理想中的AGI，AI 2.0技术范式的变革正在引发AI软件时代的巨大变迁，正如移动互联网时代的到来使得PC时代的软件应用迅速成为历史一样，大模型将带来大量应用机会，AI“杀手级应用”将不断涌现，且数量会越来越多。作为软件工程师，我们正处于一个充满机遇的历史时刻，拥抱AI应用已成为必然选择。

尽管大模型功能强大，但它当前仍存在幻觉、知识时效性、领域知识不足及数据安全问题的局限性。RAG（Retrieval Augmented Generation，检索增强生成）技术正是在这样的背景下应运而生，成为了当前大模型应用的重要技术方向，文档问答类LLM RAG应用也被认为是AI 2.0时代最早落地的应用类型之一。

RAG技术使开发者能够在无需为每个特定任务重新训练或微调大模型的情况下，通过连接外部知识库和文档，为模型注入额外的非参数化知识，从而显著提升其在专业领域的能力和回答精度。 RAG技术赋予大模型在各行各业和各种垂直场景中巨大的效率和体验价值，有望成为最快涌现的“杀手级应用”，已成为大模型应用落地最热门的方向之一。

对于RAG应用开发者来说，相较于移动互联网软件开发、AI 1.0时代的AI能力集成，最大的变化是AI技术的深度使用，需要更加深入地理解AI技术组件，具备调整组件内部细节的能力，以便进行更好的AI软件编排和提升应用效果。比如文档分块、向量化嵌入、向量数据库、相似度查询、召回、重排序、大模型和提示词等众多AI相关概念，都需要深入了解，才能根据业务场景进行最合适的技术选型。甚至在某些情况下，开发者还需掌握这些技术的细节，亲自进行组件的改造和优化，才能实现最佳的应用效果。

这些新技术词汇和组件可能看起来令人望而生畏，但我保证，如果学习方法得当，这些AI技术组件其实是容易掌握和操作的。我从软件工程师成长为AI领域的研究者和从业者，深知在初涉AI应用开发时的迷茫感受。在这门课程中，我会凝聚自己在AI工程和学术能力成长过程中的经验与教训，帮你拨开迷雾，通过第一性原理深入理解每一个AI技术点的本质，从技术根基的扎实掌握，到应对客户场景时的灵活运用组件，让你快速掌握RAG技术能力，紧跟AI 2.0时代的巨大产品机遇。

这门课是怎么设计的？

就像学习编程语言从 “Hello World” 开始一样，我们也从实战出发，通过实践来获取知识。不同于传统教材从知识点逐步推向系统应用的方式，我们的课程从一个完整的RAG项目实战入手，先帮助你打造完整的RAG知识架构。

随后，我们将每个独立的技术点通过代码实战逐一填充到这个框架中，同时每一次学习都能加深对整体架构的理解。最终在课程结束之后，面对简单的业务场景，你将能够快速选择合适的技术组件，完成LLM RAG应用的编排和产品搭建；面对复杂的业务场景，你也能凭借掌握的核心技术原理，判断优化方向，集中精力提升产品性能，打造出极具竞争力的RAG产品。

课程开始，我会先用一节课介绍RAG技术的核心本质和技术流程，随后立即进入从0到1快速搭建RAG应用的实战。在实战过程中，我会对技术选型、组件库以及代码的每一行都进行必要的分析和注释，力求每行代码都能清晰表达RAG框架中的技术关键点，避免无关的代码让你失去焦点，从而使你专注于RAG知识的掌握。

接下来，课程将从业务场景出发，逐步介绍RAG的核心技术流程，包括索引、检索、生成中的各个技术组件，以及针对具体业务需求进行的组件优化实战。我们会持续迭代和优化RAG应用项目的代码，每节课都会提供可运行的代码文件，代码实战与知识点相互印证，最终实现对RAG技术组件相关知识的全面掌握和代码项目实践能力的双提升，达到不仅能使用技术，还能改进技术的层次。

课程结尾，我会介绍RAG的进阶内容，并紧跟前沿研究动态。RAG进阶部分将结合复杂业务场景，选择更加复杂的技术流程和组件，快速找到优化方向，提高产品性能，构筑产品壁垒。我们正处在AI 2.0极速变化的时代，甚至每个月技术进展都会发生巨大的变化，掌握前沿研究动态将为我们的产品塑造先发竞争优势，使我们在先发优势的时间窗口内抢占市场和用户。

最后，我想说的是，AI 2.0为我们带来了巨大的时代机遇，将创造前所未有的社会进步。我希望你能够积极拥抱AI技术，它并没有那么高深莫测，反而正在逐步走向产业化、普及化。就像当初的移动互联网技术，早期进入的那批企业和个人都享受到了时代带来的红利。

雷军在《小米的创业思考》有句话：当遭遇复杂问题时，对工程师而言， 最重要的是先找到“第一把扳手”，立即行动起来。那么，让我们从现在开始吧！