人工智能大模型应用案例实战-3天

人工智能大模型应用案例实战
-15240011430课程简介
大模型也称为大语言模型（LLM）是指使用大量文本数据训练的深度学习模型，可以生成自然语言文本或理解语言文本的含义。这些模型通常基于深度学习架构，如Transformer等，这有助于它们在各种NLP任务上取得令人惊叹的表现。目前的大语言模型（如GPT和BERT）采用与小模型类似的Transformer架构和预训练目标（如 Language Modeling），与小模型的主要区别在于增加模型大小、多模态、训练数据和计算资源。
ChatGPT是一款由OpenAI开发的大模型，它能够模拟人类的语言行为，与用户进行自然的交互。它的名称来源于它所使用的技术GPT-4架构，即生成式语言模型的第4代。
ChatGPT的核心技术是GPT-4架构。它通过使用大量的训练数据来模拟人类的语音行为，并通过语法和语义分析，生成人类可以理解的文本。它可以根据上下文的语境，提供准确和恰当的回答，并模拟多种情绪和语气。这样，就可以让用户在与机器交互时,感受到更加真实和自然的对话体验。
ChatGPT的应用场景也很广泛。它可以用于处理多种类型的对话，包过对话机器人、问答机器人和客服机器人等。它还可以用于各种自然语言处理任务，比如文本摘要、情感分析和信息提取等。例如，在一个问答系统中，ChatGPT可以提供准确的答案，解决用户的疑惑；在一个客服机器人中,他可以帮主用户解决问题，提供更好的服务体验。
此课程是尹立庆老师多年人工智能工作经验的分享，重点介绍大模型以及揭开大模型的神秘面纱，大模型未来发展趋势和投资机会。
-15240011430培训目标
大模型软硬件架构、分层；
介绍主流编程框架（和硬件结合）；
各大主流大模型适用场景，优劣势；
大模型调参；
openai接口介绍使用；
针对企业应用和软件开发或工业场景的实战；
大模型调小模型示例，全程演示；
大模型幻觉介绍。
-15240011430培训对象

本课程适合于对大模型、ChatGPT的原理感兴趣的人员；
本课程适合于架构师、技术经理、高级工程师；
适合于企业科技研发人员和人工智能科学家；
-15240011430培训方式

以课堂讲解、演示、案例分析为主，内容偏实用，结合讲解与演示方式，循序渐进，辅以互动研讨、现场答疑、学以致用。
-15240011430课程安排

课程时间：3天
课程内容：
时间
内容
备注
第1天
大模型软硬件架构、分层（深入讲解大模型软硬件架构、分层）（90分钟）
大模型软硬件架构、分层
大模型的工作原理
大模型的软件架构
Transformer架构
深度学习架构
大模型的硬件架构
NVIDIA GPU大语言模型架构
NVIDIA的A100或H100 GPU
NVIDIA的Megatron-LM大模型框架
NVIDIA大模型框架TensorRT-LLM
Google大模型架构
Google的TPU大规模硬件架构
主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed
大模型的训练方法
数据准备、模型训练、调优
介绍主流编程框架(和硬件结合)（深入讲解介绍主流编程框架(和硬件结合)）（90分钟）
介绍主流编程框架(和硬件结合)
主流大模型训练架构GPU+PyTorch+Megatron-LM+DeepSpeed
大模型技术原理
大模型分布式训练框架
常用的分布式训练框架
Megatron-LM
DeepSpeed
Megatron-LM
DeepSpeed
3D并行化实现万亿参数模型训练
DeepSpeed三种并行方法
数据并行训练
模型并行训练
流水线并行训练
ZeRO零冗余优化器
如何选择一款分布式训练框架
常见的分布式训练框架
TensorFlow
PyTorch
MindSpore
Oneflow
PaddlePaddle
Flax
Megatron-LM（张量并行）
DeepSpeed（Zero-DP）
Colossal-AI（高维模型并行）
Alpa（自动并行）
训练超大规模语言模型主要技术路线
GPU + PyTorch + Megatron-LM + DeepSpeed
TPU + XLA + TensorFlow/JAX
参数高效微调（PEFT）技术
影响大模型性能的主要因素
衡量大模型水平
深度学习框架Pytorch
大模型编程选择Pytorch的理由
Pytorch的大模型应用案例
深度学习算法设计通用流程
PyTorch与Tensorflow对比
大模型分布式并行计算技术（大模型分布式并行计算技术）（60分钟）
大模型分布式并行计算技术
数据并行DP（Data Parallel）
分布式数据并行 DDP (Distribution Data Parallel)
张量并行
流水并行
G-pipe
PipeDream
virtual pipeline
梯度累加
激活检查点
ZeRO
MPI、GLOO和NCCL等通信策略
大模型生态相关技术
英伟达GPU+CUDA架构（英伟达GPU+CUDA架构）（60分钟）
英伟达GPU+CUDA架构
英伟达集合通信库NCCL
通讯操作原语
广播Broadcast
数据散播Scatter
规约运算Reduce
AllReduce
数据收集Gather
AllGather
ReduceScatter
Nvlink
显存优化技术
重计算(Recomputation)
Activation checkpointing(Gradient checkpointing)
卸载（Offload）技术
ZeRO-Offload
ZeRO-Infinity
混合精度（BF16/FP16）
大模型分布式训练环境搭建（大模型分布式训练环境搭建）（60分钟）
AI大模型分布式集群
AI大模型分布式集群通信
大模型分布式训练环境搭建
GPU服务器配置
CPU硬件配置清单
GPU硬件配置清单
AI处理器（加速卡）
安装依赖包
配置环境
时间
内容
备注
第2天
Pytorch大模型实践案例（深入剖析深度学习框架Pytorch大模型实践案例）（90分钟）
Pytorch大模型实践案例
Tensor以及相关的函数
Autograd机制以及相关函数
Torch.nn库
Tensor操作函数
AutoGrad自动求导
神经网络相关函数
导数，方向导数，偏导数，梯度等
PyTorch搭建深度神经网络
使用PyTorch搭建手写数字识别
数据处理
模型搭建
模型训练
数据预测与识别
各大主流大模型适用场景，优劣势（深入讲解各大主流大模型适用场景，优劣势）（90分钟）
各大主流大模型适用场景，优劣势
各大主流大模型适用场景，优劣势
ChatGPT-4大模型发展现状
Sora大模型发展现状
谷歌PaLM 2 AI大模型发展现状
Claude大模型发展现状
LLaMA大模型发展现状
MidJournery大模型发展现状
各大主流大模型适用场景，优劣势
百度文心一言
百度文心一格
阿里巴巴通义千问
华为盘古
科大讯飞星火
AIGC大模型
ChatGPT
GPT4
文心一言
Google bard
DALL-E
本地模型
清华大学ChatGLM
Facebook LLaMa
Stable Diffusion
斯坦福Alpaca
OpenJourney
垂直领域产品
方问智能中医辅助系统
国内大模型应用建议（深度解读国内大模型应用建议）（60分钟）
百度文心一言应用建议
阿里巴巴通义千问应用建议
华为盘古应用建议
科大讯飞星火应用建议
大模型调参（深入讲解大模型调参）（90分钟）
大模型调参
NVIDIA GPU加速和优化大语言模型的性能
大模型微调
大模型微调的概念和意义
预训练模型的优势和应用场景
大模型微调基本原理
大模型微调方法
数据加载、模型训练、调参等常见操作的优化和加速方法
使用可视化工具进行模型训练过程的分析和调试
大模型微调的基本流程和关键步骤
常用的深度学习框架和工具
TensorFlow、PyTorch等常见深度学习框架
Parameter-Efficient Fine-Tuning (PEFT)
预训练阶段
目标任务准备
构建微调任务
PEFT微调
常用的PEFT方法
Adapter Tuning
Prefix Tuning
Prompt Tuning
P-Tuning
LoRA
案例剖析：应用大模型微调技术解决实际问题
大模型微调技术与实践（大模型微调技术与实践）（30分钟）
大模型微调技术与实践
常见的大模型微调技术
知识蒸馏
迁移学习
领域适应
案例大模型微调的实践
文本分类
图像识别
自然语言处理
探讨大模型微调过程中可能遇到的问题和解决方案
选择合适的预训练模型并进行微调
如何评估微调效果和改进方案
实际应用案例分享与讨论
时间
内容
备注
第3天
openai接口介绍使用（深入讲解openai接口介绍使用）（90分钟）
openai接口介绍使用
获取OpenAI API密钥
选择OpenAI API
安装OpenAI SDK
调用OpenAI API
处理OpenAI API响应
优化API调用
管理API使用
反馈和改进
实战案例：Python调用OpenAI API实战案例
针对企业应用和软件开发或工业场景的实战（深入讲解针对企业应用和软件开发或工业场景的实战）（90分钟）
针对企业应用和软件开发或工业场景的实战
大模型的企业应用场景
望闻问切
视觉、听觉、触觉、语言、思考
文本生成
生成式对话、编写剧本、撰写论文
文本理解
情感分析、主题分类、关系提取
语义理解、问答系统
图像理解与图像生成
语音识别与语音合成
企业智能客服
视频理解与视频生成
大模型应用的工业场景的实战
智能制造和质量控制
供应链优化
客户服务和支持
智能能源管理
产品推荐和个性化营销
安全监控和风险管理
生产优化和预测维护
企业提高生产效率、降低成本
改善产品质量和客户体验
增强竞争力并实现可持续发展
大模型的应用中应该重点关注什么
大模型调小模型示例，全程演示（深入讲解大模型调小模型示例，全程演示）（90分钟）
大模型调小模型示例，全程演示
模型压缩（蒸馏、剪枝）
知识蒸馏
剪枝大模型
大模型蒸馏
提示语压缩
联合推理
模型串联
数据采样
迁移学习
权值共享
集成学习
将小模型作为插件
提示语压缩
大模型幻觉介绍（深入讲解大模型幻觉介绍）（90分钟）
大模型幻觉介绍
什么是大模型幻觉
大模型幻觉分类
事实性幻觉
忠实性幻觉
大模型产生幻觉的来源
数据源、训练过程和推理
预训练阶段导致大模型幻觉
架构缺陷
曝露偏差
能力错位
信念错位
检测事实性幻觉的方法
检索外部事实
不确定性估计
基于内部状态的方法
基于行为的方法
检测忠实性幻觉的方法
基于事实的度量
分类器度量
问答度量
不确定度估计
提示度量
深度解读glm2_6b大模型（深度解读glm2_6b大模型）（90分钟）
深度解读glm2_6b大模型
glm2_6b大模型的原理
GPT（Generative Pre-trained Transformer）架构
glm2_6b大模型数据集
glm2_6b大模型的部署
准备环境
安装依赖库
下载模型权重
加载模型
部署API或服务
调优和监控
glm2_6b大模型的训练
glm2_6b大模型的应用
自然语言处理
文本生成
机器翻译
问答系统

尹立庆老师的其它课程