安排
|
主题 |
神经网络与卷积神经网络核心原理 |
神经元模型与前向传播 |
• 感知机与决策边界:线性可分与几何直观
• 仿射变换与参数:权重/偏置的作用与意义
• 激活函数引入非线性:ReLU/SiLU 选型要点
• 张量形状与批处理:batch×features 的数据流
• 数值稳定性:溢出/下溢与归一化处理 |
反向传播与梯度下降 |
• 损失函数设计:交叉熵 vs MSE 的适配场景
• 链式法则推导:自动微分与计算图思路
• 优化器对比:SGD、Momentum、AdamW 取舍
• 学习率策略:余弦退火、Warmup 的实效
• 梯度问题:消失/爆炸与梯度裁剪、残差连接 |
激活函数与正则化方法 |
• 激活函数曲线形态:饱和区与可导性影响训练
• Dropout 机理:训练/推理时的缩放差异
• 权重衰减与 L2:抑制过拟合的原理
• BatchNorm/LayerNorm:归一化位置与效果
• 数据增广与早停:提升泛化与防止过拟合 |
卷积神经网络(CNN)结构与原理 |
• 卷积核/步幅/填充:对感受野与分辨率的影响
• 池化策略:最大/平均池化与全局平均池化
• 参数共享与稀疏连接:降低参数量与过拟合
• 边界效应:valid/same 的差异与选择
• 特征可视化:滤波器与特征图的解释 |
典型网络架构解析(LeNet、ResNet 等) |
• LeNet-5:手写体识别中的启示
• AlexNet:ReLU、Dropout、GPU 的突破
• VGG:同尺寸卷积堆叠与参数规模权衡
• ResNet:残差学习与瓶颈结构
• ViT/ConvNeXt:Transformer 思想在 CV 的迁移 |
深度学习环境搭建与框架实践 |
硬件选择:GPU/TPU 与资源规划 |
• CPU vs GPU:并行计算与吞吐差异
• GPU 显存与 Batch Size:OOM 与梯度累积
• 多卡/分布式:Data/Model/Hybrid 并行
• TPU/云资源:性价比与预留弹性
• 采购与预算:性能/成本/维护三角平衡 |
常用环境与工具链 |
• Python/Conda:虚拟环境与依赖隔离
• Docker:镜像分层与可复现环境
• Jupyter/VS Code:实验与调试工作流
• 驱动/库版本:CUDA、cuDNN 与框架匹配
• 版本冻结:requirements/lockfile 的实践 |
框架对比:TensorFlow 与 PyTorch |
• 计算图范式:静态图 vs 动态图
• 生态组件:TFX、TorchElastic、Lightning
• 数据管道:tf.data vs DataLoader 性能点
• 分布式训练:MirroredStrategy vs DDP
• 选型建议:团队经验、生态与部署路径 |
实战:构建第一个神经网络模型 |
• 数据集准备:划分/标准化/数据增广
• 模型定义:层次结构与参数量估算
• 训练循环:前向/反向/优化器调用
• 评估指标:准确率、F1、AUC 选择
• 可视化:损失/指标曲线与误差分析 |
模型训练调优与实验管理 |
• 超参数网格/贝叶斯搜索:高效找优
• 学习率与正则化:余弦退火、WD 配置
• 早停与检查点:最优权重保存策略
• 记录与追踪:TensorBoard/Weights&Biases
• 复现实验:随机种子与确定性设置 |
计算机视觉与自然语言处理应用 |
图像分类与目标检测案例 |
• 分类基线:数据增广、MixUp/CutMix
• 迁移学习:冻结/微调策略与层选择
• 检测框架:YOLOv5/RT-DETR/Faster R-CNN
• 评价指标:mAP、吞吐/延迟权衡
• 业务案例:质检/安防/零售货架识别 |
图像分割与智能制造应用 |
• 语义/实例/全景分割:任务差异
• U-Net/DeepLab:典型结构与适用场景
• 轻量化分割:BiSeNet/SegFormer 实践点
• 数据标注:多通道掩码与一致性审校
• 产线落地:实时性与误检漏检平衡 |
自然语言处理基础与词向量 |
• 词表示演进:One-hot→Word2Vec/GloVe
• 子词与 OOV:BPE/WordPiece 的优势
• 语言模型:n-gram→RNN→Transformer
• 语义相似度:余弦距离与度量学习
• 数据清洗:分词/停用词/规范化流程 |
文本分类与情感分析 |
• 特征抽取:TF-IDF vs 表征学习
• RNN/LSTM/GRU:序列建模优缺点
• Transformer 分类头:CLS 与 Pooling
• 失衡样本:重采样与加权损失
• 评估与解释:F1/混淆矩阵/可解释性 |
预训练大模型(BERT、GPT 等) |
• 预训练任务:MLM、CLM 与 SFT
• 下游微调:全参、LoRA、Prefix-Tuning
• Prompt 工程:少样本/思维链技巧
• 检索增强 RAG:知识接入与更新
• 成本与风险:延迟、幻觉与合规 |
模型导出与推理优化(ONNX/TensorRT) |
硬件选择:GPU/TPU 与资源规划 |
• 导出流程:TorchScript/ONNX 导出要点
• 图优化:层融合与常量折叠
• 量化/剪枝/蒸馏:精度-性能权衡
• 引擎加速:TensorRT/ONNX Runtime 实操点
• 多平台部署:CPU/GPU/边缘设备适配 |
服务化部署方式(API/微服务/容器) |
• 模型服务框架:TorchServe/Triton/TF Serving
• API 设计:同步/异步与批处理
• 容器与编排:Docker/K8s/Helm 基础
• 灰度与回滚:金丝雀/蓝绿发布策略
• 观测性:日志、指标、追踪三件套 |
数据治理与隐私安全合规 |
• 数据生命周期:采集→存储→使用→销毁
• 访问控制:最小权限与审计轨迹
• 隐私计算:匿名化/差分隐私/联邦学习
• 合规要点:数据主权与跨境规则意识
• 风险管理:数据泄露预案与演练 |
MLOps 与持续迭代优化 |
• CI/CD for ML:训练/推理双流水线
• 特征/模型版本:注册表与谱系追踪
• 在线监控:数据漂移/概念漂移检测
• 自动再训练:触发条件与验收闸门
• 成本控制:弹性伸缩与离线/在线分层 |
企业 AI 战略与团队协作模式 |
• 价值落地地图:业务指标与用例优先级
• 组织分工:DS/DE/ML/平台/产品协作
• 研发流程:需求→实验→上线→评估闭环
• 治理机制:模型评审与风险委员会
• 成败复盘:里程碑、经验库与知识共享 |
课程总结与答疑 |