|
|
|
|
全部课程 >人工智能 |
|
开源大模型本地化（RAG
+ Agent）落地实战 |
54 次浏览  1 次
|
|
|
| 时间地点：北京、上海、 深圳
根据报名开班 |
| 课程费用：5000元/人 |
|
|
| 企业内训：可以根据企业需求,定制内训,详见
内训学习手册 |
|
 |
认证方式：
培训前了解能力模型。
培训后进行能力评测：
在线考试
能力分析，给出学习建议
合格者颁发证书，作为职业技能资格证明
|
 |
|
|
| 课程简介： |
大语言模型（LLM）已成为企业级智能应用的关键底座，正重塑检索问答、知识运营、流程自动化与决策辅助等场景。本课程以本地化、可控、可审计为导向，系统讲解企业在内网落地的
RAG + Agent 技术体系与工程化路径。课程以 LangGraph、vLLM、OpenSearch/pgvector、Unstructured、FlagEmbedding（bge
系列）、Outlines、Guardrails 为基础，从数据接入与索引构建，到工具编排与安全治理，帮助学员搭建“离线可运行、零微调也能上线”的企业
AI 助手。
课程内容涵盖：文档解析与分块、嵌入与Hybrid
检索（BM25+向量）、交叉重排与上下文压缩、带引用与可证性回答；函数/工具调用与结构化输出（Outlines
约束解码），规则校验与合规护栏（Guardrails 重试/回退/审计）；Agent 编排（LangGraph
的状态机与多节点子图）、典型企业工具对接（工单/报表/知识库/数据仓），以及评测与治理（RAGAS
指标、SLO 设计、红蓝对抗与敏感信息防护）。性能与成本部分将聚焦 vLLM 的并发与 KV Cache、量化与上下文控制、I/O
与召回参数调优；运维与可观测性覆盖 Docker Compose/WSL2/Ubuntu 的离线部署、模型与索引资产管理、日志/指标/追踪与故障回滚。实践环节以“4090
× 7B × 本地 RAG+Agent”为主线，完成从数据清洗与索引、到问答与工具自动化的一体化落地，确保学员带回可复制的内网方案与最佳实践清单。 |
| 课程亮点： |
| 端到端工程化与持续迭代：贯穿数据治理→提示工程→评测（RAGAS、离线/在线
A/B）→SLO/SLA 运营→MLOps（CI/CD、模型/索引版本管理、增量再索引）；交付可复用模板与脚手架，带走即可在内网落地。 |
| 培训目标：
|
1. 掌握开源大模型本地化开发与部署环境搭建方法。
2. 理解 RAG + Agent 的核心机制与工程要点。
3. 熟练运用主流开源组件完成企业内网大模型能力建设。
4. 提升实战能力，打通端到端项目流程：围绕企业知识库与工具自动化，完成“数据接入→索引与召回→重排与引用→生成→工具调用→合规治理→A/B
与灰度→监控告警”的全链路。
5. 掌握性能与成本优化（批处理并发、上下文控制、索引与融合参数调优），形成可复制的内网落地范式。
6. 解决实际业务问题并完成部署选型与运营：面向客服问答、文档自动化、运维/报表、合规审查等场景。
7. 产出可落地方案与SLA/SLO 承诺，判断 在线接口 vs 本地/私有化部署 的边界与取舍。
8. 建立运行手册（审计、备份/恢复、增量再索引、故障回滚与版本治理），支撑持续迭代与规模化推广。
|
| 培训对象：
|
| 大模型平台架构师，大模型应用开发工程师 |
| 学员基础：
|
| 了解大模型技术和典型开源大模型平台 |
| 课程安排：2天
|
| 案例启动与环境就绪 |
| 目标场景与自建架构蓝图 |
•
业务泳道：客户报修→问答→建单→通知→处理→回单→周报
• 指标基线：P50≤3s、回答可溯源、一次建单成功
• 组件选型：vLLM(7B)、LangGraph、OpenSearch、GLPI、Metabase、钉钉
• 部署形态：内网/离线可跑，通知可替换内网面板
• 交付物：架构图+指标表+角色矩阵 |
| 数据域与可复制数据集 |
•
产品手册：下载公开PDF（附来源清单）
• SOP/FAQ：脚本从手册生成+人工校对
• 工单历史：脚本模拟（故障码/SLA/时长），可复现
• 脱敏规范：姓名/电话/地址/序列号占位
• 目录结构：/data/docs、/data/tickets.db，一键导入 |
| 自托管算力与容器基座 |
•
系统选择：Ubuntu 或 Windows+WSL2
• 必备组件：NVIDIA 驱动、Docker、nvidia-container-toolkit
• 离线资产：模型/镜像落盘，支持 save/load
• 一键脚本：启动/停止/清理/自检
• 验收项：GPU 可见、端口联通、索引就绪 |
| 真实系统对接与凭据配置 |
•
GLPI：预置库与客服/工程/主管账号
• Metabase：连工单库，内置 MTTR/SLA 看板
• 钉钉：群机器人 Webhook 填入即可用
• 环境变量：.env 模板（URL/Token/Webhook）
• 自检：一键测试建单/报表/通知 |
| 打造可用的知识库（RAG） |
| 文档解析与分块 |
•
拖入手册/SOP/FAQ→一键解析
• 保留标题层级与页码，表格配文字说明
• 多版本以新为准并标注来源
• 失败文件提示修复建议
• 入库清单与失败项整改表 |
| 索引与检索（BM25+向量） |
•
bge-m3 生成向量，OpenSearch 双索引
• 关键字+语义双路召回，相关性更稳
• 按产品线/版本过滤与置顶章节
• 无结果时提示改问法/补信息
• 输出检索配置与可复现参数 |
| 重排与上下文控制 |
•
bge-reranker 选更贴题片段
• 自动去重并合并相邻片段
• 控制上下文长度，防“答跑题”
• 长文优先摘要关键步骤
• 失败样例入“待改进”清单 |
| 答案模板与引用规范 |
•
结构：结论→步骤→参考页码/链接→风险提示
• 一键复制“带引用”到工单备注
• 不确定时提示“补信息/转二线”
• 术语表保证中英一致
• 自检：回答无出处则拒答
|
| Agent：真实软件的调用 |
| 工具清单与安全策略 |
•
三个真实工具：GLPI/Metabase/钉钉
• 角色权限：客服建/查，工程回单，主管看报表
• 必填校验：客户/机型/故障码/联系方式
• 幂等保护：相似报修拦截重复建单
• 审计日志：留痕可追溯 |
| vLLM
工具调用与参数约束 |
•
本地 vLLM 暴露 OpenAI tools 接口
• Outlines 直接解码出合法 JSON 参数
• 缺字段引导补齐，异常自动重试/降级
• 记录每次调用与结果
• 提供调用样例与回退清单 |
| LangGraph
流程编排 |
•
节点：检索→重排→决策→建单/查单→通知/报表
• 决策条件：需工程介入？信息完整？
• 补充信息回路与人工确认节点
• 接口超时/限流的容错
• 输出流程图与状态数据结构
|
| 工单全生命周期（GLPI） |
•
聊天生成草稿→提交 GLPI 得真实单号
• 查询进度：处理人/环节/预计完成时间
• 追加客户反馈写入评论
• 结单后自动总结→建议入 FAQ
• 逾期自动提醒并@值班工程师（钉钉） |
| 集成联调、上线与运营 |
| 端到端联调与UI演示 |
•
一屏展示：对话、引用、工单、通知、报表
• 常用按钮：建单/查单/拉周报
• 身份切换：客服/工程/主管三视角
• 按单号回放全流程操作轨迹
• 交付 Demo 脚本与录屏 |
| 性能与成本优化（4090+7B） |
•
控制上下文与回答长度以提速
• 并发与 KV 缓存参数示例
• 检索 top-k/重排阈值调参
• 量化（AWQ/GPTQ）降显存、提速
• 端到端压测与 SLA 基线 |
| 安全与合规 |
•
RBAC 角色/权限清单与最小必填项
• PII 脱敏与密钥保管（.env）
• “建议模式→审批→自动执行”闸门
• 只索引不分发公开手册，变更留痕
• 应急预案与回滚脚本 |
| 可观测与运维 |
•
健康检查：接口/索引/模型/工具
• 指标看板：可证率/工具成功率/延迟/成本
• 备份与恢复：索引、模型、配置
• 低峰增量再索引与回滚策略
• 运维 SOP 与故障速查表 |
| 课程总结与答疑 |
|
| |
|
|
|
| |
|
|
|
|
54 次浏览 1 次
|
| 其他人还看了课程 |
|
|
|
