课程：基于AI大模型开发RAG知识库最佳实践

咨询

成功案例

相关课程

全部课程 >人工智能

基于AI大模型开发RAG知识库最佳实践

518 次浏览

5 次

Schroeder
微软人工智能认证工程师，阿里云AI人工智能训练师

时间地点：北京、上海、深圳根据报名开班

课程费用：5000元/人

报公开课		要内训

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

课程简介：

大型语言模型（LLM）已经取得了显著的成功，尽管它们仍然面临重大的限制，特别是在特定领域或知识密集型任务中，尤其是在处理超出其训练数据或需要当前信息的查询时，常会产生“幻觉”现象。为了克服这些挑战，检索增强生成（RAG）通过从外部知识库检索相关文档chunk并进行语义相似度计算，增强了LLM的功能。通过引用外部知识，RAG有效地减少了生成事实不正确内容的问题。RAG目前是基于LLM系统中最受欢迎的架构，有许多产品基于RAG构建，使RAG成为推动聊天机器人发展和增强LLM在现实世界应用适用性的关键技术。

培训对象：

各类软件企业和研发中心的程序员、软件设计师、架构师, 项目经理，业务架构师，公司管理者
零基础LLM应用开发者

学员基础：

具备基础的Python知识

授课方式：

讲师讲授+现场讨论+案例分析+模型讲解

课程安排：2天

主题	课程安排
第一部分: RAG技术概述	RAG技术概述加载器和分割器文本嵌入和向量存储如何生成和存储Embedding 检索器和多文档联合检索 RAG技术的关键挑战检索增强生成实践 RAG技术文档预处理过程 RAG技术文档检索过程
第二部分: RAG的架构和核心组件	RAG架构文档的导入和解析文档的分块文本块的嵌入向量数据库的选择文本块的检索回答的生成案例实践- 如何快速搭建RAG系统使用框架：LangChain的RAG实现使用低代码平台coze、Dify、智谱构建RAG
第三部分: 企业私有知识的数据导入	用数据加载器读取 LangChain中的数据加载器用LangChain读取目录中的所有文件用LlamaIndex读取目录中的所有文档用LlamaHub连接Reader并读取数据库条目用Unstructured工具读取各种类型的文档读取图片中的文字读取PPT中的文字用大模型整体解析图文网页文档的爬取和解析 PDF文件的文本格式、布局识别及表格解析 PDF文件加载工具概述案例分析
第四部分: RAG核心技术-文本切块	RAG场景下的提示词和文本切片文本切块固定大小文本切块特殊格式文本切块基于深度学习模型的文本不同的分块策略递归分块带滑动窗口的句子切分分块时混合生成父子文本块分块时为文本块创建元数据在分块时形成有级别的索引
第五部分: 嵌入（Embedding）向量和向量数据库基础	嵌入Embedding核心概念嵌入是对外部信息的编码句子嵌入模型和SentenceTransformers框架图像和音频嵌入模型大模型时代的嵌入模型什么是向量　向量间的相似度　相似度应用案例　为什么需要向量数据库　向量数据和传统数据的差异　数据库核心原理向量数据库
第六部分: RAG查询检索前处理	查询检索构建 Text-to-SQL——自然语言到SQL的转换 Text-to-Cypher——从自然语言到图数据库查询 Self-query Retriever——自动从查询中生成元数据过滤条件查询翻译——更好地阐释用户问题查询重写——将原始问题重构为合适的形式查询分解——将查询拆分成多个子问题查询澄清——逐步细化和明确用户的问题查询扩展——利用HyDE生成假设文档查询路由——找到正确的数据源逻辑路由——决定查询的路径语义路由——选择相关的提示词
第七部分: RAG Prompt技术和响应生成	Prompt 提示词工程 RAG与Prompt 提示词优化使用Prompt模板更改默认的Prompt模板更改Prompt模板的变量　提示词 RAG 大模型交互的效果通过改进提示词来提高模型输出质量通过输出解析来控制生成内容的格式通过选择大模型来提高输出质量生成过程中的检索结果集成方式 Self-RAG
第八部分: 索引优化和检索后处理	从小到大：节点-句子滑动窗口和父子文本块节点-句子滑动窗口检索利用IndexNode和RecursiveRetriever构建从摘要到细节的索分层合并：HierarchicalNodeParser和RAPTOR 前后串联：通过前向/后向扩展链接相关节点混合检索：提高检索*性和扩大覆盖范围混合查询和查询路由检索重排检索压缩检索校正
第九部分: 基于LangChain构建RAG文档问答系统	构建复杂LangChain RAG 应⽤ LangChain模型(Models)：从不同的 LLM 和嵌入模型中进行选择 LangChain提示(Prompts)：管理 LLM 输入 LangChain链(Chains)：将 LLM 与其他组件相结合 LangChain索引(Indexs)：访问外部数据 LangChain记忆(Memory)：记住以前的对话 LangChain代理(Agents)：访问其他工具使⽤大模型构建RAG文档问答系统
第十部分: 评估RAG应用	为什么RAG应用需要评估 RAG应用的评估依据与指标 RAG应用的评估流程与方法评估检索质量生成检索评估数据集运行评估检索过程的程序评估响应质量生成响应评估数据集单次响应评估批量响应评估基于自定义标准的评估 RAG评估案例
第十一部分: RAG实战案例1-企业文档问答系统	企业文档问答需求分析与系统设计确定问答系统的需求：识别用户的主要查询类型与目标系统结构与模块划分：明确检索与生成模块的协作方式搭建向量数据库与检索模块数据预处理与向量化：生成高效的嵌入向量构建与优化索引：提升检索模块的查询速度生成模块的集成与模型调优加载与配置生成模型：选择适合问答系统的生成模型模型优化与提示词调优：提高生成内容的准确性与相关性 RAG系统测试、部署与优化测试流程与性能监控：确保系统的稳定性与响应速度企业环境的部署与上线：实现系统在实际业务中的应用
第十二部分: RAG实战案例2-医疗文献检索与分析系统	医疗文献需求分析与数据准备确定医学文献检索需求：识别用户查询重点数据收集与清洗：构建高质量的医学知识库构建高效的检索模块设计向量检索系统：提升检索效率优化索引结构：加速医学文献的精确匹配生成模块开发、集成和调优生成模型与检索的集成：精准回答用户提问生成内容的优化与提示词调优：提升回答的质量与专业性
第十三部分: RAG实战案例3- 法律法规查询助手的开发	法律法规需求分析与数据收集用户需求解析：明确法律法规查询的主要需求法律法规数据源与收集方法：搭建全面的法规数据库数据清洗与标准化：提升查询效率和准确性法律法规检索模块的实现向量化法律条款：构建检索友好的嵌入 FAISS索引在法规查询中的应用：提升检索性能优化检索流程：提高法律条款的匹配精度生成模块开发与输出优化生成模型与检索模块的集成：构建准确的法规回答输出格式与内容优化：提供清晰的法律解释提示词调优与模型配置：确保法律回答的专业性
第十四部分: 企业建设知识库的最佳实践	企业级RAG应用的常见优化策略选择合适的知识块大小评估知识块大小分离检索阶段的知识块与生成阶段的知识块常见的分离策略及实现优化对大文档集知识库的检索元数据过滤 + 向量检索摘要检索+ 内容检索多文档Agentic RAG 使用高级检索方法构建端到端的企业级RAG应用对生产型RAG应用的主要考量端到端的企业级RAG应用架构数据存储层 AI模型层 RAG工作流与API模块端到端的全栈RAG应用案例简单的全栈RAG查询应用基于多文档Agent的端到端对话应用
第十五部分: RAG 的未来演进	多模态RAG的技术进展和发展路线未来的RAG和Agent如何发展如何构建企业级的RAG和Agent集群架构 GraphRAG：RAG和知识图谱的整合上下文检索：突破传统RAG的上下文困境 ModularRAG：从固定流程到灵活架构的跃迁 AgenticRAG：自主代理驱动的RAG系统 Multi-Modal RAG：多模态检索增强生成技术