动手学PyTorch建模与应用：从深度学习到大模型

王国平著，2024年版    [文件格式: PDF - 41MB]

内容简介  · · · · · ·

《动手学PyTorch建模与应用:从深度学习到大模型》是一本从零基础上手深度学习和大模型的PyTorch实战指南。《动手学PyTorch建模与应用:从深度学习到大模型》共11章，第1章主要介绍深度学习的概念、应用场景及开发环境搭建。第2章详细介绍PyTorch数学基础，包括函数、微分、数理统计、矩阵等基础知识及其案例。第3章介绍数据预处理及常用工具，包括NumPy、Pandas、Matplotlib、数据清洗、特征工程以及深度学习解决问题的一般步骤等。第4章介绍PyTorch基础知识，包括张量的创建、激活函数、损失函数、优化器等。第5章介绍PyTorch深度神经网络，包括神经网络概述、卷积神经网络、循环神经网络等。第6章介绍PyTorch数据建模，包括回归分析、聚类分析、主成分分析、模型评估与调优等。第7～10章介绍PyTorch图像建模、文本建模、音频建模和模型可视化。第11章介绍大语言模型的原理、主要的大语言模型及模型本地化部署、预训练与微调技术。本书还精心设计了50个动手案例和上机练习题，并对所有代码进行了详尽注释和说明，同时提供数据集和配书资源文件，以帮助读者更好地使用本书。 《动手学PyTorch建模与应用:从深度学习到大模型》讲解深入浅出，注重动手实操，特别适合想学习AI技术或想进入该领域的初学者，对深度学习感兴趣的新手、在校学生和从业者阅读，也很适合作为培训机构和高校相关专业的教学用书。

作者简介  · · · · · ·

王国平，毕业于上海海洋大学，硕士，从业10余年，主要从事数据可视化、数据挖掘和大数据分析与研究等工作。精通数据挖掘技术与相关软件工具，包括Tableau、SPSS、PyTorch、Power Bl等，已出版《IBM SPSS Modeler数据与文本挖掘实战》《Microsoft Power Bl数据可视化与数据分析》《Tableau数据可视化从入门到精通》《零基础入门Python数据分析与机器学习》等图书。

目录  · · · · · ·

第 1 章 深度学习和PyTorch概述 1

1. 走进深度学习的世界 1
   1. 深度学习的发展历史 1
   2. 深度学习框架PyTorch 3
   3. 深度学习的应用领域 4
2. 搭建开发环境 5
   1. 安装Python 3.12 5
   2. 安装代码开发工具Jupyter Lab 9
   3. 安装PyTorch 2.2 10
3. PyTorch的应用场景 14
4. 上机练习题 14

第 2 章 PyTorch数学基础 17

1. PyTorch中的函数 17
   1. 函数的基础知识 17
   2. PyTorch中的主要函数 20
2. 微分基础 22
   1. 微分及其公式 22
   2. PyTorch自动微分 24
3. 数理统计基础 29
   1. 数理统计及其指标 29
   2. PyTorch统计函数 34
4. 矩阵基础 45
   1. 矩阵及其运算 45
   2. PyTorch矩阵运算 47
5. 动手练习：拟合余弦函数曲线 54
6. 上机练习题 58

第 3 章 数据预处理及常用工具 62

1. NumPy 62
   1. 安装和导入NumPy 62
   2. NumPy的数据结构ndarray 63
   3. NumPy的基本使用 63
2. Matplotlib 65
   1. 安装和导入Matplotlib 65
   2. Matplotlib的使用示例 66
3. 数据清洗 70
   1. 数据清洗的作用 70
   2. 用Pandas进行数据清洗 71
4. 特征工程 76
   1. 特征工程概述 76
   2. 使用Scikit-learn进行数据预处理 78
   3. 使用Pandas实现特征工程 81
5. 深度学习解决问题的一般步骤 82
6. 动手练习：每日最高温度预测 84
7. 上机练习题 90

第 4 章 PyTorch基础知识 95

1. 张量及其创建 95
   1. 张量及其数据类型 95
   2. 使用数组直接创建张量 96
   3. 使用概率分布创建张量 98
2. 激活函数 99
   1. 激活函数及其必要性 99
   2. Sigmoid激活函数 100
   3. Tanh激活函数 101
   4. ReLU激活函数 102
   5. Leaky ReLU激活函数 103
   6. 其他类型的激活函数 104
3. 损失函数 105
   1. 损失函数及其选取 106
   2. L1范数损失函数 106
   3. 均方误差损失函数 107
   4. 交叉熵损失函数 108
   5. 余弦相似度损失 109
   6. 其他损失函数 109
4. 优化器 110
   1. 梯度及梯度下降算法 111
   2. 随机梯度下降算法 112
   3. 标准动量优化算法 112
   4. AdaGrad算法 113
   5. RMSProp算法 113
   6. Adam算法 114
5. 动手练习：PyTorch优化器比较 114
6. 上机练习题 119

第 5 章 PyTorch深度神经网络 124

1. 神经网络概述 124
   1. 神经元模型 124
   2. 多层感知机 126
   3. 前馈神经网络 128
2. 卷积神经网络 129
   1. 卷积神经网络的历史 129
   2. 卷积神经网络的结构 130
   3. 卷积神经网络的类型 131
3. 循环神经网络 134
   1. 简单的循环神经网络 134
   2. 长短期记忆网络 136
   3. 门控循环单元 138
4. 动手练习：股票成交量趋势预测 139
5. 上机练习题 148

第 6 章 PyTorch数据建模 152

1. 回归分析及案例 152
   1. 回归分析简介 152
   2. 回归分析建模 153
   3. 动手练习：住房价格回归预测 155
2. 聚类分析及案例 160
   1. 聚类分析简介 160
   2. 聚类分析建模 160
   3. 动手练习：植物花卉特征聚类 162
3. 主成分分析及案例 165
   1. 主成分分析简介 166
   2. 主成分分析建模 166
   3. 动手练习：地区竞争力指标降维 167
4. 模型评估与调优 173
   1. 模型评估方法 173
   2. 模型调优方法 176
   3. 动手练习：PyTorch实现交叉验证 178
5. 上机练习题 187

第 7 章 PyTorch图像建模 190

1. 图像建模概述 190
   1. 图像分类技术 190
   2. 图像识别技术 191
   3. 图像分割技术 192
2. 动手练习：创建图像自动分类器 193
   1. 加载数据集 193
   2. 搭建网络模型 194
   3. 训练网络模型 195
   4. 应用网络模型 196
3. 动手练习：搭建图像自动识别模型 198
   1. 加载数据集 198
   2. 搭建与训练网络 200
   3. 预测图像数据 202
   4. 图像识别模型的判断 202
4. 动手练习：搭建图像自动分割模型 204
   1. 加载数据集 205
   2. 搭建网络模型 206
   3. 训练网络模型 209
   4. 应用网络模型 210
5. 上机练习题 212

第 8 章 PyTorch文本建模 220

1. 自然语言处理的几个模型 220
   1. Word2Vec模型 220
   2. Seq2Seq模型 221
   3. Attention模型 222
2. 动手练习：Word2Vec提取相似文本 223
   1. 加载数据集 223
   2. 搭建网络模型 227
   3. 训练网络模型 228
   4. 应用网络模型 230
3. 动手练习：Seq2Seq实现机器翻译 231
   1. 加载数据集 231
   2. 搭建网络模型 237
   3. 训练网络模型 240
   4. 应用网络模型 242
4. 动手练习：Attention模型实现文本自动分类 244
   1. 加载数据集 244
   2. 搭建网络模型 246
   3. 训练网络模型 247
   4. 应用网络模型 251
5. 上机练习题 251

第 9 章 PyTorch音频建模 258

1. 音频处理技术及应用 258
   1. 音频处理技术 258
   2. 音视频摘要技术及其应用 259
   3. 音频识别及应用 260
   4. 音频监控及应用 261
   5. 场景感知及应用 261
2. 梅尔频率倒谱系数音频特征 262
   1. 梅尔频率倒谱系数简介及参数的提取过程 262
   2. 音频预处理 263
   3. 快速傅里叶变换 264
   4. 能量谱处理 264
   5. 离散余弦转换 265
3. PyTorch音频建模技术 266
   1. 加载音频数据源 266
   2. 波形变换的类型 267
   3. 绘制波形频谱图 268
   4. 波形Mu-Law编码 270
   5. 变换前后波形的比较 272
4. 动手练习：音频相似度分析 273
5. 上机练习题 276

第 10 章 PyTorch模型可视化 278

1. Visdom 278
   1. Visdom简介 278
   2. Visdom可视化操作 280
   3. 动手练习：识别手写数字 296
2. TensorBoard 301
   1. TensorBoard简介 301
   2. TensorBoard基础操作 303
   3. 动手练习：可视化模型参数 312
3. Pytorchviz 314
   1. Pytorchviz简介 314
   2. 动手练习：Pytorchviz建模可视化 314
4. Netron 317
   1. Netron简介 317
   2. 动手练习：Netron建模可视化 317
5. 上机练习题 321

第 11 章 从深度学习到大语言模型 323

1. 大语言模型的原理 323
   1. 大语言模型简介 323
   2. Transformer架构 324
   3. 注意力机制 327
2. 主要的大语言模型 331
   1. ChatGPT及其API调用 331
   2. 文心一言及其插件开发 334
   3. ChatGLM及其本地部署 338
3. 模型预训练与微调 350
   1. 大模型预训练 350
   2. 大模型微调技术 353
4. 上机练习题 361

参考文献 363