AI大模型时代的RESAR性能工程培训

咨询

成功案例

相关课程

全部课程 >人工智能

AI大模型时代的RESAR性能工程

82 次浏览

3 次

高老师
性能工程领域匠心专家、架构级性能解决方案资深专家

时间地点：北京、上海、深圳根据报名开班

课程费用：5000元/人

报公开课		要内训

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

课程简介：

       本课程从 AI 大模型基础知识出发，系统讲解 Transformer 架构、大模型权重内部结构、 RAG 和 Agent 应用技术架构等核心内容，并通过从零实现大模型示例、开发 RAG/Agent/SpringAI 应用等实操环节，帮助学员深入理解 AI 大模型的技术原理和应用开发。
       课程重点讲解 AI 大模型应用的非功能能力评估方法，包括关键参数与指标分析、应用监控、 SSE 协议性能测试难点，以及如何使用 AI 大模型推理评估工具（ GuideLLM 、 EvalScope 、 LM-Evaluation-Harness ）进行性能评估。
       课程提供完整的实操演示，包括编写性能测试智能体 / 工作流，设计并实现 AI 大模型压力测试工具（涵盖流式响应处理、性能指标计算、多线程并发测试、实时统计汇总等核心功能），以及传统压测工具在 AI 大模型场景下的使用方式和局限性分析。
       课程还讲解 AI 大模型应用架构优化方案，包括模型微调优化策略（ PEFT 、梯度优化、数据优化、训练配置优化等）和模型推理优化策略（量化技术、注意力机制优化、批处理与并发优化、缓存策略等），并提供不同场景下的优化方案组合推荐和实施指南。

课程目标：

通过本课程的学习，使用AI大模型的技术栈带领学员具体操作，让学员掌握AI大模型应用的非功能评估技术。

结合AI大模型相关知识
覆盖大模型应用常见技术栈
解析AI大模型应用的非功能需求指标
采用针对AI大模型的非功能测试工具演示

培训对象：

IT项目经理、AI应用开发工程师、AI应用架构工程师、AI应用性能分析工程师、AI应用性能测试工程师、AI应用运维人员

学员基础：

AI基础知识
AI编程工具使用经验
AI架构基础知识
非功能测试经验
性能测试经验

课程安排：2天

主题	课程安排
AI大模型概述	1. AI发展史 1.1 早期阶段（1950s-1970s） 1.2 知识工程时代（1970s-1980s） 1.3 机器学习兴起（1980s-1990s） 1.4 深度学习突破（2000s-2010s） 1.5 大模型时代（2010s至今）
AI大模型基础知识	1. 基础概念 1.1 人工智能/机器学习/深度学习/AI大模型 1.2 FNN/RNN/CNN/GNN/GAN/Diffusion 1.3 Transformer 1.4 大型语言模型LLM 1.5 提示词工程 1.6 量化 2. Transformer架构解析 2.1 词嵌入/词元嵌入 2.2 位置编码 2.3 重复的Transformer块 2.4 多头注意力机制（QKV/多头/掩码/输出) 2.5 多层感知器MLP 2.6 输出逻辑值（概率/温度/Top-K/Top-P) 2.7 残差连接 2.8 层归一化 2.9 Dropout
从零实现大模型示例	1. 项目介绍 2. 环境准备 3. 项目结构 4. 核心代码实现 4.1 配置文件 4.2 数据处理模块 4.3 模型架构 4.4 训练脚本 4.4 推理脚本 5. 完整训练流程 5.1 环境准备 5.2 数据准备 5.3 配置设置 5.4 模型训练 5.5 模型评估 5.6 模型保存 5.7 模型推理 5.8 模型分析 6. 进阶优化
AI大模型权重内部架构	1. 编写脚本查看权重文件内部结构 2. 权重文件架构解析 3. DeepSeek系列/Qwen系列 3.1 配置信息 3.2 架构类型 3.3 模型详细参数 3.4 架构特征分析
AI大模型应用技术架构解析	1. 常见的RAG技术架构 2. 常见的Agent技术架构 3. 技术架构（选择一个解析） 3.1 Dify技术架构
AI大模型应用开发（提供完整的示例代码）（实操演示成果）	1. 编写一个RAG应用示例 2. 编写一个Agent应用示例 3. 编写一个SpringAI应用示例
AI大模型应用搭建（实操演示）	1. Ollama来表示搭建与使用 2. Dify环境搭建与使用
编写性能测试智能体/工作流（提供完整的示例DSL）（实操演示成果）	1. 明确性能测试智能体/工作流目标 2. 编写中间件服务（配合性能测试智能体使用） 3. 设定性能场景执行目标 4. 设计性能测试智能体/工作流整体流程 5. 连通LLM大模型实现性能分析 6. 执行压测智能体/工作流 7. 输出性能分析报告 8. 循环执行 9. 自动化编写最终性能测试报告
AI大模型应用关键参数与指标	1. 权重微调推理关键参数与指标 2. RAG应用关键参数与指标 3. Agent应用关键参数与指标
AI大模型应用监控	1. 技术组件列表 2. 监控模型
AI大模型应用常用协议SSE	1. SSE介绍 2. SSE性能测试难点
传统压测工具在AI大模型的使用方式（实操演示）	1. Jmeter编写SSE脚本 2. 传统测试工具的弊端
AI大模型推理评估工具（实操演示过程）	1. AI大模型推理评估工具 1.1 GuideLLM 1.2 EvalScope 1.3 LM-Evaluation-Harness
AI大模型应用压测工具（提供完整的示例代码）（实操演示过程）	1. 设计并编写AI大模型压力测试工具 1.1 项目概述 1.2 技术栈选择 1.3 架构设计 1.4 逐步实现 1.4.1 第一步：项目初始化 1.4.2 第二步：基础框架搭建 1.4.3 第三步：实现流式响应处理 1.4.4 第四步：实现性能指标计算 1.4.5 第五步：实现线程安全的参数化提供器 1.4.6 第六步：实现多线程并发测试 1.4.7 第七步：实现实时统计汇总 1.4.8 第八步：实现命令行接口 1.5 关键技术详解 1.6 测试与优化 1.7 扩展功能 1.8 最佳实践
AI大模型应用架构优化方案（提供完整的示例方案）	1. 第一部分：模型微调优化策略 1.1 参数高效微调（Parameter-Efficient Fine-Tuning, PEFT） 1.2 梯度优化策略 1.3 数据优化策略 1.4 训练配置优化 1.5 硬件与分布式优化 1.6 框架特定优化 2. 第二部分：模型推理优化策略 2.1 模型量化技术 2.2 注意力机制优化 2.3 批处理与并发优化 2.4 推理框架选择与优化 2.5 编译与加速技术 2.6 系统级优化 2.7 缓存策略 3. 优化策略效果评估 3.1 微调优化效果 3.2 推理优化效果 4. 优化方案组合推荐 4.1 方案一：资源充足场景 4.2 方案二：资源受限场景 4.3 方案三：高吞吐量场景 4.4 方案四：低延迟场景 5. 实施指南 5.1 微调实施步骤 5.2 推理部署步骤 6. 高级优化技术 6.1 模型架构优化 6.1.1 注意力机制变体 6.1.2 位置编码优化 6.2 数据流水线优化 6.2.1 异步数据加载 6.2.2 数据增强 6.3 模型压缩技术 6.3.1 知识蒸馏 6.3.2 模型剪枝 7. 性能评估与基准测试 7.1 评估指标 7.2 基准测试方法