|
|
全部课程 >人工智能 |
|
大模型技术剖析及对行业的影响 |
222 次浏览 2 次
|
|
|
时间地点:北京、
深圳、上海根据报名开班 |
课程费用:3000元/人 |
|
|
|
企业内训:可以根据企业需求,定制内训,详见
内训学习手册 |
|
|
认证方式:
培训前了解能力模型。
培训后进行能力评测: 在线考试
能力分析,给出学习建议
合格者颁发证书,作为职业技能资格证明 |
|
|
|
|
本课程重点讲解AIGC模型效果跃升的原因,无监督问题、训练方法,Transformer模型、BERT模型,AIGC的缺陷与优化,大模型和小模型问题,GPT1、GPT2、GPT3、chatGPT原理与应用,大模型应用程序技术栈,对行业的影响。
|
课程目标:
|
AIGC模型效果跃升的原因
无监督问题、训练方法的异同及主流技术的变迁
AIGC成功的其他原因
自注意力机制、Transformer模型、BERT模型
GPT1、GPT2、GPT3、chatGPT原理与应用
自注意力机制、Transformer模型、BERT模型
大模型应用程序技术栈和提示词工程Prompt Enginerring
对NLP领域的巨大冲击
对图像视频领域的影响
对NLP领域的巨大冲击
对AI企业的影响
对传统企业的影响
|
培训对象: 企业负责人、管理层,业务骨干,技术专家,创业群体,及对人工智能感兴趣的学员群体等 |
学员基础:
无特定要求 |
授课方式:讲师讲授+现场讨论+案例分析+模型讲解
|
培训内容:1天
|
主题
|
课程安排 |
一、大模型技术剖析:
|
1.1 AIGC模型效果跃升的原因:训练方式的改变
|
无监督学习
人工反馈强化学习 RLH
AIGC 的模型发展过程
CNN-RNN-Transformer-GPT1-BERT-GPT2-GPT3-InstructGPT-chatGPT-GPT4
从上述发展过程中我们可以发现什么
探讨: AIGC 的下一代模型会怎么发展? |
1.2 无监督问题、训练方法的异同及主流技术的变迁
|
从 Lecun 的名言说起
为什么无监督学习能够最终胜出
强化学习在其中的地位
强化学习实际落地项目都有哪些?
“ 多模态 ” 的意义
“ 不太冷的冷知识 ” : AIGC 的训练数据不止包括文本
机器学习训练的一般思路和具体方法
深度学习对机器学习的 “ 改进 ” 之处
单模态训练的通用过程
多模态结合无监督学习产生的巨大变化
多模态解决 zero-shot/few-shot 问题的思路 |
1.3 AIGC成功的其他原因
|
无监督学习 - 多模态 - 开放性数据集
多轮对话机制的实现方案
并行计算问题
引申:银行业热炒的联邦学习是否需要跟踪?
|
1.4 自注意力机制、Transformer模型、BERT模型
|
RNN-LSTM-GRU 等基本概念
编码器、解码器
自注意力机制详解
Transformer
Mask Multi-Head Attention
位置编码
特定于任务的输入转换
无监督预训练、有监督 Fine-tuning
BERT 思路的理解
BERT 模型下游任务的网络层设计
BERT 的训练
HuggingFace 中 BERT 模型的推断
基于上下文的学习 |
1.5 GPT1、GPT2、GPT3、chatGPT原理与应用 |
监督微调( SFT )模型
指示学习和提示学习
简单提示、小样本提示、基于用户的提示
指令微调
RLLHF 技术详解(从人类的反馈中学习)
聚合问答数据训练奖励模型( RM )
强化学习微调、 PPO
InstructGPT 遵循用户意图使用强化学习方案
Instruct Learning vs. Prompt Learning
ChatGPT 增加增加了 Chat 属性
AI 系统的新范式
GPT1-GPT2-GPT3-InstructGPT 的 -chatGPT 的技术关系
|
1.6 大模型应用程序技术栈和提示词工程Prompt Enginerring |
设计模式:上下文学习
数据预处理 / 嵌入
提示构建 / 检索
提示执行 / 推理
数据预处理 / 嵌入
提示构建 / 检索
提示执行 / 推理
新兴的大语言( LLM )技术栈
数据预处理管道( data preprocessing pipeline )
嵌入终端( embeddings endpoint ) + 向量存储( vector store )
LLM 终端( LLM endpoints )
LangChain 的主要功能及模块
Prompts: 这包括提示管理、提示优化和提示序列化
LangChain 提供的常用工具
Chat 模型处理消息 |
二、对行业的影响
|
2.1 对NLP领域的巨大冲击
|
个人的切身感受
文本分类、问答系统、机器翻译、摘要生成、阅读理解、 few-shot
NLP 的出路在哪里? |
2.2 对图像视频领域的影响
|
大模型的显著增加
单纯数据模式训练方式的终结
未来主流:多模态结合无监督训练
如何看待人工标注这一方向? |
2.3 对AI企业的影响
|
10 多年前的持续观点:对 AI 发展中春秋、战国、统一三个时代的划分
“ 面向 github 编程 ” 的转型
探讨: AI 企业的盈利点在哪里? |
2.4 对传统企业的影响
|
“ 数字化转型 ” 问题的落脚点在哪里?
传统能源企业拥抱 AI 的成功案例分析
企业对 AI 团队投入产出比分析
“ 买 ”“ 借 ”“ 租 ” 的不同 |
2.1 对NLP领域的巨大冲击
|
个人的切身感受
文本分类、问答系统、机器翻译、摘要生成、阅读理解、 few-shot
NLP 的出路在哪里? |
三、总结
|
AIGC 的缺陷与优化
大模型和小模型问题
对算力的野蛮投资:从字节跳动开始做云服务浅谈投资形势
综合能力的竞争
积极态度和中性态度的选择问题 |
|
|
|
|
|
|
|
|
222 次浏览 2 次
|
其他人还看了课程 |
|
|
|