课程：多模态、ChatGPT与扩散模型实战

咨询

成功案例

相关课程

全部课程 >人工智能

多模态、ChatGPT与扩散模型实战

3441 次浏览

67 次


Williams
人工智能初创公司合伙人，技术负责人。

时间地点：北京、深圳、上海根据报名开班

课程费用：5000元/人

报公开课

要内训

企业内训：可以根据企业需求,定制内训,详见内训学习手册

认证方式：
培训前了解能力模型。
培训后进行能力评测：

在线考试

能力分析，给出学习建议

合格者颁发证书，作为职业技能资格证明

课程讲授人是从事深度学习项目管理的人员，带队完成了数十个 AI 项目，内容不仅包括深度学习、机器学习、数据挖掘等具体技术要点，也包括 AI 的整体发展、现状、应用、商业价值、未来方向等，涵盖内容非常丰富。

课程收益：

1、整体把握机器学习、深度学习、数据挖掘的发展方向
2、了解机器学习、深度学习、计算机视觉的技术框架
3、理解机器学习和深度学习的思维方式和关键技术
4、了解深度学习和机器学习在当前工业界的落地应用
5、了解 AI 顶会论文和最新技术热点

培训对象： 企业负责人、管理层，业务骨干，技术专家，创业群体，及对人工智能感兴趣的学员群体等

学员基础： 无特定要求

授课方式：讲师讲授+现场讨论+案例分析＋模型讲解

培训内容：2天

主题	课程安排
第一节：多模态模型	• 编码器、解码器 • 自注意力机制 • Transformer 、 Mask Multi-Head Attention • 特定于任务的输入转换 • 无监督预训练、有监督 Fine-tuning • GPT2 ：多任务系统 • GPT3 ：少样本、零样本学习 • meta-learning （元学习）和 in-context learning （基于上下文的学习） • 实战：高考作文神器（ writeGPT ）安装环境： OpenCV, Pandas ， Regex ， Numpy ， Requests 摄像头读题、 EAST 文本检测、通顺度判断作文生成 • 实战：古诗词 GPT （ chineseGPT ）散文生成、诗词模型、对联模型、文言文模型
第二节：从GPT3到chatGPT	• 监督微调（ SFT ）模型 • 指示学习和提示学习 • 简单提示、小样本提示、基于用户的提示 • 指令微调 • RLLHF 技术详解（从人类的反馈中学习） • 聚合问答数据训练奖励模型（ RM ） • 强化学习微调、 PPO • InstructGPT 遵循用户意图使用强化学习方案 • Instruct Learning vs. Prompt Learning • ChatGPT 增加增加了 Chat 属性 • AI 系统的新范式 • GPT1-GPT2-GPT3-InstructGPT 的 -chatGPT 的技术关系 • 实战：使用 chatGPT 打造你的私人聊天助理（ revchatGPT ） • 实战：演示提示词技巧，翻译器润色器、 JavaScript 控制台、 Excel Sheet • 实战：网站定制 chatgpt-web • 安装环境 pnpm
第三节：生成模型AutoGPT等实战	环境 : VSCode + devcontainer : 、 Docker 、 Python 3.10 • 配置 OpenAI 的 API • 配置谷歌 API/ • 配置 Pinecone API • 安装插件 • Milvus 设置 • 实战：小助理 , 完成代办事项列表中的任务帮助进行市场调研，并撰写最佳产品摘要生成一个 GPT-4 代理来完成添加到待办事项列表中的任何任务自行阅读近期发生的事件自行总结并且撰写播客内容自行写博客化身 24 小时智能客服
第四节：大模型中的强化学习	• 强化学习核心机制 • 深度学习和强化学习的结合 • 强化学习是“左右互搏”之术吗？ • SARSA 和 Q-Learning • 时序差分简介、 TD 目标值 / TD 误差 • DP/MC/TD 对比 • 在线策略 TD ： Sarsa 算法 • 离线策略 TD ： Q-learning 算法 • 表格型强化学习 / 函数近似型强化学习 • 线性逼近 / 非线性逼近 • 值函数逼近的 Sarsa 算法 • 值函数逼近的 Q-learning 算法 • 人工神经网络（卷积、池化、全连接） • DQN 方法 • Double DQN 方法 • Dueling DQN 方法 • DQN 、 Double DQN • AlphaGo 在其中起的作用 • 策略梯度 PG 和 PPO 算法 • RLHF ：从人类的反馈中学习（经典论文学习） • 再看 InstructGPT 遵循用户意图使用强化学习方案
第五节：扩散模型	• GAN-VAE- 流模型 - 扩散模型的技术发展和变化 • CLIP 和扩散模型的结合：基于 CLIP 模型的多模态引导图像生成：图文引导 • GLIDE ：文本引导 • Diffusion-CLIP 模型 • 扩散和去噪 (Diffusion&Denoise) • 训练和采样 (Training&Sampling) • 离散步骤的马尔可夫链 • 分子热动力学的扩散过程 • 离散加噪 • DDPM- 最经典的扩散模型 • DDIM ：加速采样、可控扩散 • IVLR ：迭代去燥的图像编辑，低通滤波上采样 • RePaint: 被掩码的区域进行扩散生成 • 代码和案例实践一： • 低质量噪声图像修复 • 精确复原原图 • 图像去除遮挡、图像补全 • 图像生成（人物恢复青春、人物变瘦） • 第二节：引导扩散模型 - 图文引导图像生成 • 图像引导、文本引导、图像 + 文本引导 • CLIP 和扩散模型的结合：基于 CLIP 模型的多模态引导图像生成：图文引导 • GLIDE ：文本引导 • DALL·E 2 ： diffusion model 和 CLIP 结合在一起 • 隐式分类器引导的图像生成 • Blended Diffusioni 模型 • Diffusion-CLIP 模型 • DiffEdit 模型 • 分别实现图像引导、文字引导、图文引导下的图片生成 • Diffusion LM • 本人在央企数字化转型中的实践体会 • 知识图谱 - 图网络等 “ 边缘技术 ” 在 AIGC 中的应用 • AIGC 的可能应用领域和行业影响