AI系统原理与架构

内容简介

主要围绕AI 系统的理论基础与技术基础知识展开，结合实例进行介绍，旨在让读者了解AI 系统的来龙去脉，形成对AI 系统的系统化与层次化的初步理解，掌握AI 系统基本理论、技术、实际应用及研究方向，为后续从事具体的学习研究工作和项目开发工作奠定基础。内容涵盖AI硬件与体系结构、AI 编译与计算架构、AI 推理系统与引擎、AI 框架核心模块四篇，涉及AI 系统从底层原理到应用落地的全貌，反映了AI 系统架构的前沿技术。

作者简介

ZOMI 酱
华为昇腾技术专家，上海交通大学企业导师深圳市创新人才，B站AI科普UP主。曾主持昇腾大模型分布式加速库MindSpeed、大模型套件MindFormers等构建和开发。多次获国家级创新项目奖。出版《AI系统原理与架构》《深度强化学习原理与实践》等3本著作，累积发表专利113篇。

苏统华
哈尔滨工业大学教授、软件学院副院长，人工智能祖冲之奖评委。负责新一代人工智能重大专项课题、国家重点研发课题等30余项，牵头教育部卓工人工智能领域研究生核心课“人工智能系统架构”。获聘华为首批昇腾领军人物(全国14人)

目录

1. 目录
   1. 第1章 AI系统概述/1
      1. AI历史与现状/1
      2. A I发展驱动力/11
      3. A I系统架构介绍/19
      4. A I系统与A I算法关系/27
   2. **篇 A I硬件与体系结构
      1. 第2章 A I计算体系/37
         1. 引言/37
         2. A I计算模式/41
         3. 关键设计指标/57
         4. 核心计算之矩阵乘/63
         5. 计算之比特位宽/67
      2. 第3章 A I芯片体系/72
         1. C P U基础/72
         2. C P U指令集架构/81
         3. C P U计算本质/94
         4. C P U计算时延/99
         5. G P U基础/104
         6. A I专用芯片基础/123
      3. 第4章 G P U—以英伟达为例/130
         1. 引言/130
         2. Tensor Core基本原理/154
         3. Tensor Core架构演进/160
         4. Tensor Core深度剖析/171
         5. 分布式通信/179
         6. N VLink原理剖析 /186
         7. N VSwitch深度解析/194
      4. 第5章 T P U—以谷歌为例/202
         1. 引言/202
         2. 谷歌T P U v1脉动阵列/212
         3. 谷歌T P U v2训练芯片/219
         4. 谷歌T P U v3 Pod服务器/228
         5. 谷歌T P U v4与光路交换/235
      5. 第6章 N P U—以昇腾为例/244
         1. 引言/244
         2. 昇腾A I处理器/251
         3. 昇腾A I核心单元/259
         4. 昇腾数据布局转换/273
      6. 第7章 A I芯片思考与展望/279
         1. G P U架构与C U D A关系/279
         2. 从G P U对A I芯片思考/285
         3. A I芯片发展方向/291
         4. 超异构计算/298
   3. 第二篇 A I编择与计算架构
      1. 第8章 传统编译器/311
         1. 引言/311
         2. 传统编译器介绍/318
         3. G C C基本介绍与特征/324
         4. L L V M架构设计和原理/329
         5. L L V M I R基本概念/334
         6. L L V M I R细节详解/340
         7. L L V M前端和优化层/345
         8. L L V M后端代码生成/350
      2. 第9章 A I编译器/356
         1. 引言/356
         2. A I编译器历史阶段/365
         3. A I编译器基本架构/371
         4. A I编译器挑战与思考/378
      3. 第10章 前端优化/388
         1. 引言/388
         2. 图算I R/389
         3. 算子融合/393
         4. 布局转换原理/400
         5. 内存分配算法/406
         6. 常量折叠原理/412
         7. 公共子表达式消除原理/415
         8. 死代码消除/417
         9. 代数简化/420
      4. 第11章 后端优化/425
         1. 弓1言/425
         2. 计算与调度/428
         3. 算子手工优化/434
         4. 算子循环优化/440
         5. 指令和存储优化/447
         6. A u t o-Tuning 原理/452
      5. 第12章 计算架构/454
         1. 芯片的编程体系/454
         2. SIMD & SIMT与芯片架构/456
         3. SIMD & SIMT与编程关系/465
         4. C U D A计算结构/470
      6. 第13章 C A N N&Ascend C计算架构/475
         1. 昇腾异构计算架构C A N N/475
         2. C A N N与算子/482
         3. 算子开发编程语言Ascend C/485
         4. Ascend C语法扩展/492
         5. Ascend C编程范式以向量为例/500
   4. 第三篇 A I推理系统与引擎
      1. 第14章 推理系统/511
         1. 引言/511
         2. 推理系统介绍/515
         3. 推理流程全景/523
         4. 推理系统架构/526
         5. 推理引擎架构/530
         6. 昇腾推理引擎M r n d l E/549
         7. 昇腾计算语言AscendCL/552
      2. 第15章 模型小型化/561
         1. 推理参数了解/561
         2. C N N模型小型化/563
         3. Transformer模型小型化/579
      3. 第16章 模型轻量化/585
         1. 引言/585
         2. 量化基本原理/586
         3. 感知量化训练/592
         4. 训练后量化与部署/598
         5. 模型剪枝原理/604
         6. 知识蒸馏原理/611
      4. 第17章 模型转换/619
         1. 引言/619
         2. 推理文件格式/626
         3. 自定义计算图/634
         4. 模型转换流程/643
      5. 第18章 计算图优化架构/647
         1. 引言/647
         2. 离线图优化技术/651
         3. 其他计算图优化/667
      6. 第19章 Kernel优化/676
         1. 引言/676
         2. 卷积计算原理/680
         3. Im2Col算法/690
         4. W m o grad算法/698
         5. Q N N P A C K算法/705
         6. 推理内存布局/715
   5. 第四篇 A I框架核心模块
      1. 第20章 A I框架基础/721
         1. 引言/721
         2. A I框架作用/721
         3. A I框架之争/727
         4. A I框架的编程范式/735
         5. 昇思MrndSpore关键特性/741
      2. 第21章 自动微分/753
         1. 引言/753
         2. 什么是微分/753
         3. 微分计算模式/760
         4. 微分实现方式/768
         5. 动手实现自动微分/775
         6. 动手实现PyTorch微分/778
         7. 自动微分的挑战和未来/784
      3. 第22章 计算图/790
         1. 引言/790
         2. 计算图基本原理/791
         3. 计算图与自动微分/798
         4. 计算图的调度与执行/804
         5. 计算图的控制流实现/811
         6. 动态图与静态图转换/818
      4. 第23章 分布式并行/823
         1. 引言/823
         2. 数据并行/823
         3. 数据并行进阶/837
         4. 张量并行/849
         5. 流水并行/855
         6. 混合并行/858
         7. 昇思 MindSpore并行/860
   6. 参考文献/867
   7. 索引/883
   8. 彩图