课程：大模型原理与实战

咨询

成功案例

相关课程

全部课程 >人工智能

大模型原理与实战

7993 次浏览

74 次


Coulomp 老师
计算可视化博士，人工智能企业创始人，身兼某985大学教授。

时间地点：北京、深圳、上海根据报名开班

课程费用：5700元/人

报公开课

要内训

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

通过剖析大模型技术，了解chatGPT原理与实战，分析LLM应用程序技术栈，Sora大模型技术优势，语言理解与字幕生成及其应用，图像生成和应用实操，应用场景与潜力分析，分析大模型与Sora现有局限性。

课程目标：

1. 整体把握机大模型的发展方向
2. 了解机大模型的技术框架
3. 理解大模型的思维方式和关键技术
4. 了解大模型在当前工业界的落地应用
5. 了解AI顶会论文和最新技术热点

培训对象： AI工程师、数据分析师、有一年以上工作经验的算法工程师、对AI技术感兴趣的IT从业人员。

学员基础： 了解数据分析和人工智能的基础知识

授课方式：定制课程 + 案例讲解 + 小组讨论，60%案例讲解，40%实践演练

培训内容：2天

预备知识第一节和第二节，根据实际情况选择讲解。正文的第一节 ~ 第六节为详述部分，每节都包括理论和实践。

主题	课程安排
第一篇大模型技术剖析
预备知识第一节：深度学习框架与循环神经网络 RNN	问答模型的快速实现：代码完成自由问答机器人 Pytorch 框架介绍和环境搭建 Pytorch 张量、卷积等基础知识 TensorFlow-Keras 体系与 PyTorch 的对比池化，激活函数，反向传播 AlexNet-VGGNet-GoogLeNet-ResNet-DenseNet 语言模型 Bi-Gram/Tri-Gram/N-Gram 分词算法的原理及类似应用词性标注语义关系抽取词向量 SimpleRNN 拓扑结构 LSTM 与 SimpleRNN 的异同 GRU 模型对 LSTM 的改进文本分类：基于 CNN 和基于 LSTM 的方法比较机器翻译： Seq2Seq 的典型应用文本摘要与信息抽取阅读理解问答系统情感分析代码和案例实践： • 文本摘要的生成 • 智能对话系统和 SeqSeq 模型 • 阅读理解的实现与 Attention • 机器翻译 • 使用 LSTM 生成文本代码和案例实践： • 卷积核与特征提取 • 人证合一 • 卷积神经网络调参经验分享
预备知识第二节：自注意力机制、Transformer模型、BERT模型	RNN-LSTM-GRU 等基本概念编码器、解码器自注意力机制详解 Transformer Mask Multi-Head Attention 位置编码特定于任务的输入转换无监督预训练、有监督 Fine-tuning BERT 思路的理解 BERT 模型下游任务的网络层设计 BERT 的训练 HuggingFace 中 BERT 模型的推断基于上下文的学习代码和案例实践： • 基本问答系统的代码实现 • 深入阅读理解的代码实现 • 段落相关性代码实现 • 高考作文神器 • 作文生成
第一节：GPT1、GPT2、GPT3、chatGPT原理与实战	监督微调（ SFT ）模型、指示学习和提示学习简单提示、小样本提示、基于用户的提示指令微调 RLLHF 技术详解（从人类的反馈中学习）聚合问答数据训练奖励模型（ RM ）强化学习微调、 PPO 、 InstructGPT 遵循用户意图使用强化学习方案 Instruct Learning vs. Prompt Learning ChatGPT 增加增加了 Chat 属性 AI 系统的新范式 GPT1-GPT2-GPT3-InstructGPT 的 -chatGPT 的技术关系代码和案例实践： • 使用 chatGPT 打造你的私人聊天助理 • 演示提示词技巧，翻译器润色器、 JavaScript 控制台、 Excel Sheet • 网站定制 chatgpt-web
第二节：人工反馈强化学习RLHF	强化学习核心机制深度学习和强化学习的结合 SARSA 和 Q-Learning 时序差分简介、 TD 目标值 / TD 误差 DP/MC/TD 对比在线策略 TD ： Sarsa 算法离线策略 TD ： Q-learning 算法表格型强化学习 / 函数近似型强化学习值函数逼近的 Sarsa 算法、 Q-learning 算法 DQN Double DQN 方法 Dueling DQN 方法 InstructGPT 遵循用户意图使用强化学习方案代码和案例实践： • AlphaGo 的代码实现细节 • 策略梯度 PG 和 PPO 算法 • RLHF ：从人类的反馈中学习（经典论文学习） • DQN 、 Double DQN 的路径优化实现
第三节：LLM应用程序技术栈和提示词工程Prompt Enginerring	设计模式：上下文学习数据预处理 / 嵌入提示构建 / 检索提示执行 / 推理数据预处理 / 嵌入 Weaviate 、 Vespa 和 Qdrant 等开源系统 Chroma 和 Faiss 等本地向量管理库 pgvector 等 OLTP 扩展提示构建 / 检索提示执行 / 推理新兴的大语言（ LLM ）技术栈数据预处理管道（ data preprocessing pipeline ）嵌入终端（ embeddings endpoint ） + 向量存储（ vector store ） LLM 终端（ LLM endpoints ） LLM 编程框架（ LLM programming framework ） LangChain 的主要功能及模块 Prompts: 这包括提示管理、提示优化和提示序列化。 LLMs: 这包括所有 LLMs 的通用接口，以及常用的 LLMs 工具。 Document Loaders: 这包括加载文档的标准接口，以及与各种文本数据源的集成。 Utils: 语言模型在与其他知识或计算源的交互 Python REPLs 、嵌入、搜索引擎等 LangChain 提供的常用工具 Indexes ：语言模型结合自定义文本数据 Agents ：动作执行、观测结果， LangChain 的代理标准接口、可供选择的代理、端到端代理示例 Chat ： Chat 模型处理消息代码和案例实践： • LLM 大模型的使用 • Prompts 的设计和使用
第四节：LangChain的使用	构建垂直领域大模型的通用思路和方法 (1) 大模型 + 知识库 (2) PEFT( 参数高效的微调 ) (3) 全量微调 (4) 从预训练开始定制 LangChain 介绍 LangChain 模块学习 -LLMs 和 Prompts LangChain 之 Chains 模块 LangChain 之 Agents 模块 LangChain 之 Callback 模块 Embedding 嵌入自定义知识库知识冲突的处理方式向量化计算可采用的方式文档加载器模块向量数据库问答的设计 Lanchain 竞品调研和分析 Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index LlamaIndex 介绍 LlamaIndex 索引动手实现知识问答系统代码和案例实践： • 动手实现知识问答机器人 • LangChain 文本摘要 • PDF 文本阅读问答
第五节：生成对抗网络GAN和扩散模型DM	GAN-VAE- 流模型 - 扩散模型的技术发展和变化 DCGAN 的框架结构 VAE 模型对当前网络结构的影响 CLIP 和扩散模型的结合：基于 CLIP 模型的多模态引导图像生成：图文引导 GLIDE ：文本引导 Diffusion-CLIP 模型扩散和去噪 (Diffusion&Denoise) 训练和采样 (Training&Sampling) 离散步骤的马尔可夫链分子热动力学的扩散过程离散加噪 DDPM- 最经典的扩散模型 DDIM ：加速采样、可控扩散 IVLR ：迭代去燥的图像编辑，低通滤波上采样 RePaint: 被掩码的区域进行扩散生成 CLIP 和扩散模型的结合：基于 CLIP 模型的多模态引导图像生成：图文引导 GLIDE ：文本引导 DALL·E 2 ： diffusion model 和 CLIP 结合在一起 AIGC 的可能应用领域和行业影响代码和案例实践： • 低质量噪声图像修复 • 精确复原原图 • 图像去除遮挡、图像补全 • 图像生成（人物恢复青春、人物变瘦） • 图像引导、文本引导、图像 + 文本引导
第二篇大模型技术的应用
第六节：Sora大模型技术优势	什么是 Sora Sora 视频生成能力 Sora 技术独特之处统一的视觉数据表示视频压缩网络扩散型变换器模型视频压缩与潜在空间时空补丁训练网络与解码器视觉数据维度降低大规模训练视频生成的可扩展性可变持续时间、分辨率原生纵横比支持采样灵活性改进的取景和构图涌现模拟能力
第七节：语言理解与字幕生成及其应用	使用图像和视频作为提示词动画 DALL·E 图像扩展生成的视频视频到视频编辑连接视频字幕生成重字幕技术 GPT 技术应用
第八节：图像生成和应用实操	新兴的仿真功能三维空间的连贯性动态相机运动空间一致性长期连续性和物体持久性角色和物体的一致性视频内容的连贯性与世界互动简单影响行为模拟模拟数字世界 Minecraft 游戏模拟高保真渲染
第九节：应用场景与潜力分析	电影与娱乐产业游戏开发教育与培训广告与营销虚拟现实（ VR ）与增强现实（ AR ）科学研究与模拟生成数据毕业生职位分类案例研究提示函数 FunctionCalling 提示工程在模型上的应用 AI 聊天社交应用 CallAnnie NewBing AI 辅助文章创作迅捷 AI 写作 ChibiAI AI 办公智能助手 GrammaAI boardmix AI 艺术领域创作
第十节：大模型与Sora现有局限性分析	物理交互的准确性长期依赖关系的处理空间细节的精确性模型的可解释性计算资源的需求数据偏差和伦理问题创意和艺术表达的限制交互性和反馈