随着大模型与 AI 系统在企业的规模化落地，安全问题已从 “ 可选项 ” 变为 “ 必答题 ” ：提示注入、越狱攻击、数据投毒、模型窃取、隐私泄露、幻觉滥用等新型风险，叠加传统网络安全威胁，使 AI 系统的安全防护成为解决方案工程师、架构师必须掌握的核心能力。
本课程围绕 AI 系统全生命周期安全的两大主线展开：一是 “ 安全架构设计 ”—— 在设计阶段识别安全要素、参照业界安全参考架构、掌握可落地的安全架构设计方法；二是 “ 安全评测 ”—— 对已有 AI 系统系统性排查安全隐患、定义可量化的安全测试指标、掌握测试方法与工具并结合真实案例开展安全测试。
课程采用 “ 方法论 + 参考标准 + 真实案例 + 动手实战 ” 的混合教学模式，帮助学员把安全方法落地到可操作的实践指南。
培训目标：
1. 建立 AI 安全全景视野：掌握 AI 系统区别于传统软件的特有安全风险（OWASP LLM Top 10、AI 供应链风险等），理解安全威胁的成因与攻击面。
2. 掌握安全架构设计方法：能够基于分层纵深防御思想，从数据、模型、应用、基础设施四个层面识别安全要素，并参照 NIST AI RMF、OWASP ASVS 等框架完成安全架构设计。
3. 具备威胁建模能力：能够运用 STRIDE、攻击树等方法对 AI 系统开展威胁建模，输出威胁清单与安全需求，并参与安全设计评审。
4. 掌握安全评测体系：能够识别已有 AI 系统的安全隐患，定义鲁棒性、隐私性、公平性、可控性等维度的可量化测试指标。
5. 具备实战测试能力：掌握红队测试、对抗样本、提示注入测试、成员推断等测试方法及相关工具链（PyRIT、Garak、TextFooler 等），完成一次完整的安全评测演练。
培训对象：解决方案工程师，系统架构师， 测试工程师
学员基础：
了解 AI / 大模型的基本概念（如训练与推理、提示词、 RAG 、微调）
具备软件项目经验，理解基本的系统架构与开发流程
了解基础网络安全概念（如认证授权、加密传输）更佳，但不作硬性要求
授课方式：讲师演示 + 学员同步实操 + 结课实战考核
课程安排：2天,第1天聚焦安全架构设计，第2天聚焦安全评测。
主题
课程安排
AI 系统安全架构设计
AI 安全世界观：威胁与风险全景
① AI 系统与传统软件安全差异；
② 新型攻击面：提示注入、越狱、间接注入、数据投毒、模型窃取、成员推断、幻觉滥用、深度伪造；
③ OWASP LLM Top 10 与 GenAI 安全风险解读；
④ AI 供应链风险（模型、数据、插件、Agent）；
⑤ 国内外监管与合规要求（生成式 AI 管理办法、欧盟 AI Act、NIST AI RMF 概览）
AI 系统安全要素识别
① 安全要素四层模型
数据层（训练数据、用户数据、RAG 知识库）
模型层（模型文件、权重、对齐层）
应用层（提示词、上下文、插件与工具、Agent 权限）
基础设施层（算力、推理服务、API 网关）
② 各层典型威胁与对应安全需求；
③ 信任边界划分：人与 AI、AI 与工具、多 Agent 之间的信任传递
威胁建模与安全架构设计方法
① 威胁建模四步法：系统结构，信任边界，可能威胁，防护措施；
② STRIDE 与攻击树在 AI 场景的适配；
③ AI 场景威胁建模专项：提示词资产建模、Agent 行为失控路径分析；
④ 安全需求到架构的映射：安全需求清单、安全设计评审（Security Design Review）流程与检查单；
⑤ 安全左移：在需求与设计阶段嵌入安全活动
AI 系统安全评测
AI 系统安全隐患识别
① 已上线 AI 系统的隐患排查清单：提示注入（直接/间接）、越狱、敏感信息泄露、RAG 知识库投毒、工具/插件滥用、模型文件篡改、成员推断与训练数据隐私、幻觉与内容安全、拒绝服务；
② 检测思路：黑盒观察、日志审计、红队视角；
③ 隐患分级：可利用性 × 影响面矩阵
安全测试指标体系设计
① 指标设计原则：可量化、可复现、有基线、有阈值；
② 分维度指标
鲁棒性（对抗扰动下的准确率衰减）
隐私性（成员推断 AUC、记忆化泄漏率）
公平性（分组指标差异）
可控性（护栏拦截率、误拦率）
内容安全（违规内容检出率/漏检率）
弹性（异常输入崩溃率）
③ 指标到测试用例的转化方法；
④ 评测报告结构与通过标准（Pass/Fail 判定）
安全测试方法与工具
① 测试方法总览：红队测试、对抗样本测试、提示注入与越狱测试、模糊测试、隐私审计、模型完整性验证；
② 工具链实操
学习助手
