求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Model Center   Code  
会员   
 
 
 
开班计划 | 技术学院 | 管理学院 | 嵌入式学院 | 机械 | 军工学院 | 定向培养 | 专家指导  
 电话 English
成功案例   品质保证
成功案例
中航信 数据湖架构原理与应
某医疗磁 数据采集与处理
某科技公 大数据(Hadoo
诺基亚 Python基础
天津电子 Elasticse
中国电信 数据仓库与数据挖掘
某航天科 MySQL性能优化

相关课程  
并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
HBase原理与高级应用
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理
 
全部课程 >人工智能  
大模型微调原理与实操
1406 次浏览  53 次
Williams
人工智能初创公司合伙人,技术负责人。
 
时间地点:厦门 6月20-21日;北京、 深圳、上海根据报名开班
课程费用:5000元/人
报公开课  
企业内训:可以根据企业需求,定制内训,详见 内训学习手册


认证方式:
培训前了解能力模型。
培训后进行能力评测:
  • 在线考试
  • 能力分析,给出学习建议
  • 合格者颁发证书,作为职业技能资格证明


    课程简介:
    大模型需要通过微调以便适应具体的应用场景,使得AI提供的支持更加准确,本课程介绍大模型微调的原理和实际操作方法。
    课程目标:
    通过本课程学习与实践,您将理解与掌握:
    1.AI 大模型四阶技术与微调方案
    2.大模型轻量级高效微调方法 LoRA
    3.大模型开发工具库 Hugging Face Transformers
    4.大模型训练技术解读与大模型高效微调工具库 Hugging Face PEFT
    5.使用 QLoRA 实现 ChatGLM3-6B 全参数微调
    6.基于微调 ChatGLM3-6B 打造个性化 ChatBot
    7.结合检索增强生成 (RAG) 的 ChatBot
    8.Meta LLaMA-3 预训练技术
    培训对象: AI工程师、数据分析师、1年以上工作经验的算法工程师、对技术感兴趣的IT程序员。
    学员基础: 无特定要求
    授课方式:讲师讲授+现场讨论+案例分析+模型讲解
    培训内容:2天
    主题
    课程安排
    第一节:AI大模型四阶技术与微调方案

    提示工程 (Prompt Engineering)
    AI 智能体 (Agents)
    大模型微调 (Fine-tuning)
    预训练技术 (Pre-training)
    大模型微调技术原理揭秘
    大语言模型技术发展与演进
    基于统计机器学习的语言模型
    基于深度神经网络的语言模型
    基于 Transformer 的大语言模型
    大模型高效微调技术 Parameter-Efficient Fine-Tuning(PEFT) 初探
    Adapter Tuning
    Prefix Tuning
    Prompt Tuning
    P-Tuning v1
    P-Tuning v2

    第二节:大模型轻量级高效微调方法LoRA

    LoRA : Low-Rank Adaptation of LLMs
    QLoRA : Efficient Finetuning of Quantized LLMs
    AdaLoRA : Adaptive Budget Allocation for PEFT
    Few-shot PEFT 新方法 IA3 : Better and Cheaper than In-Context Learning
    统一微调框架 UniPELT : Unified Framework for Parameter-Efficient LM Tuning

    第三节:大模型开发工具库Hugging Face Transformers

    Hugging Face Transformers 库是什么
    为什么需要 Transformers
    Transformers 典型使用场景
    Transformers 模块化设计
    安装 Transformers 库
    Transformers Pipeline 流水线
    开箱即用的 Pipeline API
    使用 Pipeline 快速实现情绪判断任务
    使用 Pipeline 快速实现自动摘要任务
    Transformers 管道构建
    Transformers Model 模型
    Transformers 预训练模型支持列表
    Transformers 模型加载
    Transformers 模型保存
    Transformers Tokenizer 分词器
    常见分词策略
    Transformers 分词器加载
    Transformers 分词器保存

    第四节:大模型训练技术解读与大模型高效微调工具库Hugging Face PEFT

    基于人类反馈的强化学习微调技术 RLHF
    使用有监督微调 Supervised Fine-tuning(SFT) 预训练语言模型
    训练奖励模型 Reward Model(RM)
    使用强化学习算法微调语言模型
    混合专家模型 Mixture of Experts(MoE) 技术架构揭秘
    动态路由模型 Switch Transformer(ST)
    专家选择模型 Expert Choice(EC)
    通用语言模型 Generalist Language Model(GLaM)
    HuggingFace PEFT 库是什么
    PEFT 典型使用场景
    PEFT 基础概念与核心功能
    安装 PEFT 库
    使用 PeftConfig 定义和存储模型参数
    使用 PeftModel 读取和加载自定义模型
    使用 Auto Classes 简化加载
    使用 PEFT 库实现 LoRA 模型微调

    第五节:实战使用QLoRA实现ChatGLM3-6B全参数微调

    模型微调数据集准备流程
    使用 Hugging Face Datasets 获取开源数据集
    数据清洗与转换
    数据加载和编码
    使用 PEFT QLoRA 微调 ChatGLM3-6B
    构建 Transformers 管道
    定义模型
    训练模型
    验证模型
    使用模型
    保存模型
    使用私有化数据训练微调
    使用 GPT-4 构造高质量数据
    数据格式转换
    训练和评估模型
    运行私有化 ChatGLM3-6B 服务
    第六节:实战基于微调ChatGLM3-6B打造个性化ChatBot

    个性化 ChatBot 开发环境搭建
    大模型应用开发框架 LangChain
    向量数据库 Chroma
    产品设计与功能规划
    技术方案与架构设计
    使用 LangChain PromptTemplate 实现提示工程
    使用 LangChain 调用私有化 ChatGLM3-6B
    使用 LangChain Agents 实现 ChatBot
    生产级 ChatBot 部署

    第七节:实战结合检索增强生成(RAG)的ChatBot

    嵌入技术 Embedding
    Embedding 与大模型的关系
    OpenAl Embedding 模型快速上手
    向量数据库 Chroma
    Chroma 主要功能接口
    LangChain Chroma 模块介绍
    搭建 ChatBot 知识库
    使用 GPT 生成领域知识
    问答对数据清洗
    使用 OpenAl Embedding 模型向量化问答对数据
    使用向量 LangChain Chroma 存储问答对向量
    使用 LangChain 实现结合检索增强生成 (RAG) 的 ChatBot

    第八节:实战Meta LLaMA-3预训练技术揭秘

    Meta LLaMA 大模型家族
    LLaMA-1 大模型系列介绍
    LLaMA-2 大模型系列介绍
    LLaMA-3 大模型系列介绍
    在 Hugging Face 使用
    Meta 官方发布 LLaMA-2 模型
    申请 Hugging Face LLaMA-2 访问权限
    详解 LLaMA-3 大模型优缺点
    部署运行 Meta 官方 LLaMA3 模型
    预训练 Meta LLaMA-3 大模型
    训练数据准备
    在 Hugging Face 选择合适的开源数据集
    应用场景导向的中文数据集选取
    优化数据集 Token 编码效率
    数据集格式转换
    使用 QLoRA 技术预训练 LLaMA3 大模型
    详解全参数量化方法预训练脚本

       
    1406 次浏览  53 次
    其他人还看了课程
    ChatGPT实战应用  947 次浏览
    Python、数据分析与机器学习  2349 次浏览
    人工智能  
    深度学习与图像处理  2763 次浏览
    Neo4j图算法工程师   2085 次浏览
    知识图谱构建方法与技术(金融行业)  2317 次浏览
    定制内训
    最新活动计划
    面向对象业务分析与系统设计 10-16[线上]
    嵌入式软件架构设计-高级实践 10-17[线上]
    Qlik Sense数据分析技术 10-17线上]
    基于 UML 和EA进行分析设计 10-22[北京]
    用户研究与用户建模 10-24[北京]
    QT应用开发 10-24[北京]