内容简介

《基于大模型的RAG应用开发与优化——构建企业级LLM应用》是一本全面介绍基于大语言模型的RAG应用开发的专业图书。本书共分为3篇：预备篇、基础篇和高级篇。预备篇旨在帮助你建立起对大模型与RAG的基本认识，并引导你搭建起RAG应用开发的基础环境；基础篇聚焦于经典RAG应用开发的核心要素与阶段，介绍关键模块的开发过程，剖析相关的技术原理，为后面的深入学习打下坚实的基础；高级篇聚焦于RAG应用开发的高阶模块与技巧，特别是在企业级RAG应用开发中的优化策略与技术实现，并探索了一些新型的RAG工作流与范式，旨在帮助你了解最新的RAG应用技术发展，掌握RAG应用的全方位开发能力。 《基于大模型的RAG应用开发与优化——构建企业级LLM应用》适合对大模型及RAG技术感兴趣的开发者、研究人员、产品经理及希望了解并掌握RAG应用开发能力的人阅读。无论你是进入AI领域的初学者，还是已经有一定基础的进阶者，都能从本书中找到适合自己的内容。

作者简介

严灿平
毕业于南京理工大学计算机系，南京大学工商管理硕士。先后就职于联创（后与亚信科技合并）担任软件工程师与设计师，甲骨文中国（Oracle）担任中国区企业架构部首席架构师，上海慧问信息科技有限公司担任合伙人兼技术总监。现为独立IT咨询顾问，公众号“AI大模型应用实践”主理人。拥有超过20年的企业软件从业经验，专注于企业软件架构设计、互联网时代传统行业的IT转型、人工智能与大数据技术在企业应用的创新等。 曾担任多项大型企业级软件系统核心架构师与咨询师，参与包括中国移动、中国电信等通信行业客户的核心业务运营支撑系统建设、智慧城市与政务行业互联网转型的IT咨询与规划。精通多种计算机软件开发技术与IT架构方法论，对移动互联网、大数据、人工智能在企业领域应用有深入的研究与实施经验。

目录

• 预 备 篇
  • 第1章 了解大模型与RAG 3
    • 1.1 初识大模型 3
      • 1.1.1　大模型时代：生成式AI应用的爆发 3
      • 1.1.2　大模型应用的持续进化 4
      • 1.1.3　大模型是无所不能的吗 7
    • 1.2　了解RAG 11
      • 1.2.1　为什么需要RAG 11
      • 1.2.2　一个简单的RAG场景 12
    • 1.3　RAG应用的技术架构 14
      • 1.3.1　RAG应用的经典架构与流程 14
      • 1.3.2　RAG应用面临的挑战 17
      • 1.3.3　RAG应用架构的演进 18
    • 1.4　关于RAG的两个话题 20
      • 1.4.1　RAG与微调的选择 21
      • 1.4.2　RAG与具有理解超长上下文能力的大模型 24
  • 第2章 RAG应用开发环境搭建 27
    • 2.1 开发RAG应用的两种方式 27
      • 2.1.1 使用低代码开发平台 27
      • 2.1.2 使用大模型应用开发框架 29
    • 2.2 RAG应用开发环境准备 33
      • 2.2.1 硬件环境建议 33
      • 2.2.2 基础大模型 34
      • 2.2.3 嵌入模型 41
      • 2.2.4 Python虚拟运行环境 44
      • 2.2.5 Python IDE与开发插件 45
      • 2.2.6 向量库 47
      • 2.2.7 LlamaIndex框架 51
    • 2.3 关于本书开发环境的约定 51
• 基　础　篇
  • 第3章 初识RAG应用开发 55
    • 3.1 开发一个最简单的RAG应用 55
      • 3.1.1 使用原生代码开发 56
      • 3.1.2 使用LlamaIndex框架开发 64
      • 3.1.3 使用LangChain框架开发 68
    • 3.2 如何跟踪与调试RAG应用 70
      • 3.2.1 借助LlamaDebugHandler 70
      • 3.2.2 借助第三方的跟踪与调试平台 73
    • 3.3 准备：基于LlamaIndex框架的RAG应用开发核心组件 77
  • 第4章 模型与Prompt 78
    • 4.1 大模型 78
      • 4.1.1 大模型在RAG应用中的作用 79
      • 4.1.2 大模型组件的统一接口 80
      • 4.1.3 大模型组件的单独使用 82
      • 4.1.4 大模型组件的集成使用 83
      • 4.1.5 了解与设置大模型的参数 84
      • 4.1.6 自定义大模型组件 85
      • 4.1.7 使用LangChain框架中的大模型组件 87
    • 4.2 Prompt 87
      • 4.2.1 使用Prompt模板 87
      • 4.2.2 更改默认的Prompt模板 88
      • 4.2.3 更改Prompt模板的变量 91
    • 4.3 嵌入模型 92
      • 4.3.1 嵌入模型在RAG应用中的作用 92
      • 4.3.2 嵌入模型组件的接口 93
      • 4.3.3 嵌入模型组件的单独使用 95
      • 4.3.4 嵌入模型组件的集成使用 97
      • 4.3.5 了解与设置嵌入模型的参数 97
      • 4.3.6 自定义嵌入模型组件 98
  • 第5章 数据加载与分割 100
    • 5.1 理解两个概念：Document与Node 100
      • 5.1.1 什么是Document与Node 100
      • 5.1.2 深入理解Document与Node 102
      • 5.1.3 深入理解Node对象的元数据 103
      • 5.1.4 生成Document对象 106
      • 5.1.5 生成Node对象 107
      • 5.1.6 元数据的生成与抽取 111
      • 5.1.7 初步了解IndexNode类型 115
    • 5.2 数据加载 116
      • 5.2.1 从本地目录中加载 117
      • 5.2.2 从网络中加载数据 123
    • 5.3 数据分割 129
      • 5.3.1 如何使用数据分割器 129
      • 5.3.2 常见的数据分割器 131
    • 5.4 数据摄取管道 145
      • 5.4.1 什么是数据摄取管道 145
      • 5.4.2 用于数据摄取管道的转换器 147
      • 5.4.3 自定义转换器 149
      • 5.4.4 使用数据摄取管道 150
    • 5.5 完整认识数据加载阶段 155
  • 第6章 数据嵌入与索引 156
    • 6.1 理解嵌入与向量 156
      • 6.1.1 直接用模型生成向量 157
      • 6.1.2 借助转换器生成向量 157
    • 6.2 向量存储 158
      • 6.2.1 简单向量存储 159
      • 6.2.2 第三方向量存储 161
    • 6.3 向量存储索引 164
      • 6.3.1 用向量存储构造向量存储索引对象 165
      • 6.3.2 用Node列表构造向量存储索引对象 166
      • 6.3.3 用文档直接构造向量存储索引对象 169
      • 6.3.4 深入理解向量存储索引对象 172
    • 6.4 更多索引类型 175
      • 6.4.1 文档摘要索引 175
      • 6.4.2 对象索引 177
      • 6.4.3 知识图谱索引 180
      • 6.4.4 树索引 186
      • 6.4.5 关键词表索引 187
  • 第7章 检索、响应生成与RAG引擎 190
    • 7.1 检索器 191
      • 7.1.1 快速构造检索器 191
      • 7.1.2 理解检索模式与检索参数 192
      • 7.1.3 初步认识递归检索 197
    • 7.2 响应生成器 199
      • 7.2.1 构造响应生成器 200
      • 7.2.2 响应生成模式 201
      • 7.2.3 响应生成器的参数 210
      • 7.2.4 实现自定义的响应生成器 212
    • 7.3 RAG引擎：查询引擎 214
      • 7.3.1 构造内置类型的查询引擎的两种方法 214
      • 7.3.2 深入理解查询引擎的内部结构和运行原理 217
      • 7.3.3 自定义查询引擎 218
    • 7.4 RAG引擎：对话引擎 221
      • 7.4.1 对话引擎的两种构造方法 221
      • 7.4.2 深入理解对话引擎的内部运行和运行原理 224
      • 7.4.3 理解不同的对话模式 227
    • 7.5 结构化输出 239
      • 7.5.1 使用output_cls参数 240
      • 7.5.2 使用输出解析器 241
• 高 级 篇
  • 第8章 RAG引擎高级开发 247
    • 8.1 检索前查询转换 247
      • 8.1.1 简单查询转换 248
      • 8.1.2 HyDE查询转换 249
      • 8.1.3 多步查询转换 251
      • 8.1.4 子问题查询转换 254
    • 8.2 检索后处理器 259
      • 8.2.1 使用节点后处理器 259
      • 8.2.2 实现自定义的节点后处理器 260
      • 8.2.3 常见的预定义的节点后处理器 261
      • 8.2.4 Rerank节点后处理器 266
    • 8.3 语义路由 272
      • 8.3.1 了解语义路由 272
      • 8.3.2 带有路由功能的查询引擎 274
      • 8.3.3 带有路由功能的检索器 276
      • 8.3.4 使用独立的选择器 277
      • 8.3.5 可多选的路由查询引擎 278
    • 8.4 SQL查询引擎 280
      • 8.4.1 使用NLSQLTableQueryEngine组件 281
      • 8.4.2 基于实时表检索的查询引擎 283
      • 8.4.3 使用SQL检索器 285
    • 8.5 多模态文档处理 286
      • 8.5.1 多模态文档处理架构 286
      • 8.5.2 使用LlamaParse解析文档 288
      • 8.5.3 多模态文档中的表格处理 294
      • 8.5.4 多模态大模型的基础应用 297
      • 8.5.5 多模态文档中的图片处理 303
    • 8.6 查询管道：编排基于Graph的RAG工作流 308
      • 8.6.1 理解查询管道 309
      • 8.6.2 查询管道支持的两种使用方式 310
      • 8.6.3 深入理解查询管道的内部原理 313
      • 8.6.4 实现并插入自定义的查询组件 315
  • 第9章 开发Data Agent 321
    • 9.1 初步认识Data Agent 322
    • 9.2 构造与使用Agent的工具 323
      • 9.2.1 深入了解工具类型 324
      • 9.2.2 函数工具 325
      • 9.2.3 查询引擎工具 326
      • 9.2.4 检索工具 327
      • 9.2.5 查询计划工具 328
      • 9.2.6 按需加载工具 330
    • 9.3 基于函数调用功能直接开发Agent 331
    • 9.4 用框架组件开发Agent 335
      • 9.4.1 使用OpenAIAgent 335
      • 9.4.2 使用ReActAgent 336
      • 9.4.3 使用底层API开发Agent 338
      • 9.4.4 开发带有工具检索功能的Agent 340
      • 9.4.5 开发带有上下文检索功能的Agent 341
    • 9.5 更细粒度地控制Agent的运行 343
      • 9.5.1 分步可控地运行Agent 344
      • 9.5.2 在Agent运行中增加人类交互 346
  • 第10章 评估RAG应用 349
    • 10.1 为什么RAG应用需要评估 349
    • 10.2 RAG应用的评估依据与指标 350
    • 10.3 RAG应用的评估流程与方法 351
    • 10.4 评估检索质量 352
      • 10.4.1 生成检索评估数据集 352
      • 10.4.2 运行评估检索过程的程序 354
    • 10.5 评估响应质量 356
      • 10.5.1 生成响应评估数据集 356
      • 10.5.2 单次响应评估 358
      • 10.5.3 批量响应评估 360
    • 10.6 基于自定义标准的评估 362
  • 第11章 企业级RAG应用的常见优化策略 364
    • 11.1 选择合适的知识块大小 364
      • 11.1.1 为什么知识块大小很重要 364
      • 11.1.2 评估知识块大小 365
    • 11.2 分离检索阶段的知识块与生成阶段的知识块 369
      • 11.2.1 为什么需要分离 369
      • 11.2.2 常见的分离策略及实现 369
    • 11.3 优化对大文档集知识库的检索 378
      • 11.3.1 元数据过滤 + 向量检索 378
      • 11.3.2 摘要检索+ 内容检索 383
      • 11.3.3 多文档Agentic RAG 390
    • 11.4 使用高级检索方法 397
      • 11.4.1 融合检索 398
      • 11.4.2 递归检索 406
  • 第12章 构建端到端的企业级RAG应用 429
    • 12.1 对生产型RAG应用的主要考量 429
    • 12.2 端到端的企业级RAG应用架构 430
      • 12.2.1 数据存储层 431
      • 12.2.2 AI模型层 432
      • 12.2.3 RAG工作流与API模块 432
      • 12.2.4 前端应用模块 433
      • 12.2.5 后台管理模块 434
    • 12.3 端到端的全栈RAG应用案例 436
      • 12.3.1 简单的全栈RAG查询应用 436
      • 12.3.2 基于多文档Agent的端到端对话应用 455
  • 第13章 新型RAG范式原理与实现 478
    • 13.1 自纠错RAG：C-RAG 478
      • 13.1.1 C-RAG诞生的动机 478
      • 13.1.2 C-RAG的原理 479
      • 13.1.3 C-RAG的实现 480
    • 13.2 自省式RAG：Self-RAG 485
      • 13.2.1 Self-RAG诞生的动机 485
      • 13.2.2 Self-RAG的原理 486
      • 13.2.3 Self-RAG的实现 493
      • 13.2.4 Self-RAG的优化 506
    • 13.3 检索树RAG：RAPTOR 507
      • 13.3.1 RAPTOR诞生的动机 507
      • 13.3.2 RAPTOR的原理 508
      • 13.3.3 RAPTOR的实现 510

内容简介

《一本书读懂AIGC：ChatGPT、AI绘画、智能文明与生产力变革》以通俗易懂的方式从各个层面介绍了AIGC的基础知识，并辅以大量案例引领读者了解AIGC的应用实践，让读者可以更快速地利用AIGC改善工作和生活。 第1章从AI发展历史到资本市场近况阐述了AIGC产业的概况，第2章介绍了AIGC相关技术，第3章介绍了文本类AIGC技术的发展及其在传媒、教育、办公等场景中的应用，第4章介绍了声音类AIGC技术的发展及其在音乐、仿真等领域中的应用，第5章介绍了图片类AIGC技术的发展及其在图片生成、图片处理、图片识别等领域中的应用，第6章介绍了视频类AIGC技术的发展及其在视频生成、数字人等领域中的应用，第7章介绍了AIGC上下游产业链（包括芯片、VR等相关设备、元宇宙建模）的概况，第8章提出了AIGC对人类文明发展产生的影响，并对普通人如何应对AIGC带来的“生产力爆炸”提出方法论。 AIGC带来的生产力变革与每个人都息息相关，本书适合所有人阅读，特别是文本、图片、音视频等各类内容创作者，以及科技行业、金融行业的从业者和对AI领域感兴趣的读者。

作者简介

贾雪丽
上海技术交易所专家库专家，代尔夫特理工大学硕士，先后就职于 ING 银行、中国平安、光大集团等顶级金融科技企业，拥有丰富的人工智能、隐私计算及区块链等项目经验，申请人工智能相关发明专利 60 余项，在INTERSPEECH会议上发表论文一篇，参与撰写多个隐私计算行业报告和白皮书。
0xAres
利物浦大学硕士，曾先在投资公司工作，后就职于知名公链。从业期间主持制作过多个区块链系列课程，举办过多次“黑客松”，长期致力于区块链的科普教育，有Web3.0行业全领域孵化经验，乐于通过多种形式的内容创作传播Web3.0共识；2021年组建去创作者中心化组织a15a并开始编写新科技领域的科普书籍，主编了《一本书读懂Web3.0：区块链、NFT、元宇宙和DAO》和《一本书读懂NFT：区块链通证、元宇宙资产、Web3.0营销和数字化身份》。
张炯
星图比特创始人兼CEO，中国通信工业协会信息化科技创新专业委员会委员，上海技术交易所专家库专家；曾就职于IBM，拥有丰富的金融科技从业经验，长期服务中国人民银行、中国工商银行等大型金融机构，擅长技术融合、产业创新，对以区块链、人工智能为代表的数字经济技术有深刻的理解；拥有人工智能和数字资产相关专利8项，参与撰写了《一本书读懂Web3.0：区块链、NFT、元宇宙和DAO》和《一本书读懂NFT：区块链通证、元宇宙资产、Web3.0营销和数字化身份》。
a15a
a15a是一个Creator DAO（创作者去中心化组织），致力于以DAO的形式来产出新科技领域的内容，降低普通人了解科技的门槛。a15a已出版多本新科技科普书籍，并计划推出更多体系化课程和讲座。a15a的主要成员是区块链和人工智能领域的专家、从业者、研究人员和学生，以及法律合规领域的专业人士。在抖音、知乎、小红书、推特等平台上搜索“a15a”即可找到a15a官方账号。

目录

• 第1章 我们为什么要关注AIGC 1
  • 1.1 从人工智能到人工智能生成内容 2
  • 1.2 巨头如是说 5
    • 1.2.1 国外“大厂”在AIGC领域的布局 5
    • 1.2.2 国内“大厂”在AIGC领域的布局 7
  • 1.3 资本狂潮 9
    • 1.3.1 融资规模 9
    • 1.3.2 AIGC领域大额融资事件一览 10
  • 1.4 异军突起的独角兽企业们 11
    • 14.1 OpenAI 11
    • 14.2 Stability AI 12
    • 1.4.3 Scale AI 13
  • 1.5 行业“大牛”：谁是下一个“乔布斯” 14
• 第2章 AIGC相关技术介绍 16
  • 2.1 规则系统 19
  • 2.2 变分自编码器 20
  • 2.3 生成对抗网络 22
    • 2.3.1 GAN模型训练原理 22
    • 2.3.2 CGAN模型 24
    • 2.3.3 基于模型架构的衍生 24
    • 2.3.4 基于损失函数的衍生 25
    • 2.3.5 图像生成领域的衍生 25
  • 2.4 Transformer模型架构 26
  • 2.5 基于Transformer模型架构的LLM 28
    • 2.5.1 基于编码器的LLM 28
    • 2.5.2 基于解码器的LLM 35
    • 2.5.3 基于编码器和解码器的LLM 39
    • 2.5.4 BERT模型与GPT模型对比 39
  • 2.6 扩散模型 40
    • 2.6.1 扩散模型原理 41
    • 2.6.2 DALL·E 2模型 43
    • 2.6.3 Stable Diffusion模型 44
  • 2.7 其他模型 46
  • 2.8 LLM的前景光明 47
• 第3章 下笔如有神：文本类AIGC 48
  • 3.1 何为“智能” 49
  • 3.2 拆解文本生成技术原理 52
    • 3.2.1 1950—1970年，NLP初露锋芒 52
    • 3.2.2 1980—2010年，NLP的寒冬与机遇并存 53
    • 3.2.3 2010—2019年，技术迸发与沉淀 54
    • 3.2.4 2019年到今，AIGC进入寻常百姓家 54
  • 3.3 文本类AIGC在传媒场景中的应用 55
    • 3.3.1 社交媒体文案：Jasper 55
    • 3.3.2 新闻写作：Quakebot、CNET 58
    • 3.3.3 剧本撰写：海马轻帆 58
  • 3.4 文本类AIGC在教育场景中的应用 59
    • 3.4.1 文章撰写：EssayGenuis 59
    • 3.4.2 出题和做题：高校联合团队开发的AI程序 65
    • 3.4.3 青少年教育：Cognii 65
  • 3.5 文本类AIGC在办公场景中的应用 66
    • 3.5.1 搜索引擎优化：Kafkai 66
    • 3.5.2 营销文案：Copysmith 68
    • 3.5.3 电子邮件：Compose.ai 69
    • 3.5.4 代码撰写：GitHub Copilot 69
  • 3.6 文本类AIGC的其他热门场景 71
    • 3.6.1 AI聊天机器人 71
    • 3.6.2 AIGC搜索引擎：Perplexity AI 73
  • 3.7 万众瞩目的ChatGPT 74
    • 3.7.1 ChatGPT是什么 74
    • 3.7.2 ChatGPT的海量应用场景 75
    • 3.7.3 GPT-4模型：截至2023年3月最强的AI模型 82
    • 3.7.4 ChatGPT对普通人意味着什么 85
  • 3.8 文本类AIGC的未来 85
• 第4章 声临其境：声音类AIGC 88
  • 4.1 从让机器开口说话开始 89
    • 4.1.1 18到19世纪的尝试 89
    • 4.1.2 20世纪30年代，语音合成技术的萌芽 90
    • 4.1.3 20世纪50年代，计算机语音合成系统的起源 91
    • 4.1.4 20世纪末，传统的语音合成方法 92
    • 4.1.5 2016年，AIGC打破语音合成技术的发展瓶颈 93
    • 4.1.6 2017年，语音合成技术迎来研究热 94
  • 4.2 音乐类AIGC 99
    • 4.2.1 从留声机到个人计算机制作的电子音乐 99
    • 4.2.2 早期的音乐类AIGC 102
    • 4.2.3 端到端模型大展身手 106
    • 4.2.4 歌声合成 107
    • 4.2.5 音频延续 108
  • 4.3 人声类AIGC 108
    • 4.3.1 变声器 109
    • 4.3.2 语音助手 110
    • 4.3.3 有声内容创作 113
    • 4.3.4 智能电话机器人 116
    • 4.3.5 教育 116
    • 4.3.6 无障碍沟通 118
  • 4.4 声音类AIGC的未来 120
    • 4.4.1 业内观点 120
    • 4.4.2 声音类AIGC的局限性和未来展望 121
• 第5章 如你所见：图片类AIGC 123
  • 5.1 从计算机艺术到算法模型艺术 124
    • 5.1.1 20世纪70年代，艺术家的午夜花园 125
    • 5.1.2 2012年，一次有突破意义的尝试：猫脸的识别与生成 125
    • 5.1.3 2014年，GAN模型问世 126
    • 5.1.4 2017年，梦始于Transformer模型 127
    • 5.1.5 2021年，文本与图片进行匹配：CLIP模型和文字提示词 127
    • 5.1.6 2020—2022年，图片生成技术开启AI绘画元年：扩散模型 129
  • 5.2 AI绘画 130
    • 5.2.1 主流的AI绘画工具介绍 130
    • 5.2.2 生成图片类AIGC的方式 133
    • 5.2.3 Prompt词组 137
  • 5.3 图片处理 146
    • 5.3.1 AI修图 146
    • 5.3.2 图片增强 146
    • 5.3.3 分割抠图 147
  • 5.4 图片类AIGC的衍生应用：AI识图和AI鉴图 152
    • 5.4.1 人脸和人体识别 153
    • 5.4.2 通用图片识别 155
    • 5.4.3 是否由AI绘画工具创作 158
  • 5.5 实用、有趣的图片世界 160
    • 5.5.1 头像生成 160
    • 5.5.2 模拟场景 164
    • 5.5.3 PPT生成 168
    • 5.5.4 设计 170
    • 5.5.5 稿件配图 173
    • 5.5.6 更多场景 174
  • 5.6 图片类AIGC的未来 175
    • 5.6.1 局限性和发展预测 175
    • 5.6.2 怎么看AI艺术 178
    • 5.6.3 笔者的一些浅见 180
• 第6章 众所周知，视频是不能PS的：视频类AIGC 182
  • 6.1 视频生成技术的发展历程 183
    • 6.1.1 早期探索 184
    • 6.1.2 2014—2016年，视频生成起步：无条件视频生成 184
    • 6.1.3 2017年，潘多拉的魔盒：人像视频生成 185
    • 6.1.4 2018—2019年，视频生成视频技术的突破 185
    • 6.1.5 2021年，文本生成视频技术的发展 186
    • 6.1.6 2022年，扩散模型进军视频生成领域 187
  • 6.2 视频生成工具 188
    • 6.2.1 数字人视频生成工具 188
    • 6.2.2 视频编辑工具 189
    • 6.2.3 文本生成视频工具 189
  • 6.3 视频生成应用 190
    • 6.3.1 高清内容生成 190
    • 6.3.2 快速拆条和视频摘要生成 194
    • 6.3.3 场景植入 195
    • 6.3.4 视频卡通化 196
    • 6.3.5 文本生成视频 197
    • 6.3.6 数字人视频生成 198
    • 6.3.7 人脸视频生成 199
  • 6.4 数字人：仿生人与电子羊 201
  • 6.5 视频类AIGC的未来 204
    • 6.5.1 局限性 204
    • 6.5.2 未来预测 205
• 第7章 AIGC的相关产业和生态发展 207
  • 7.1 芯片：算力决定智力 208
    • 7.1.1 在AIGC领域中，现在用什么芯片 209
    • 7.1.2 随着AIGC的发展，对芯片会有什么新的需求 216
  • 7.2 AIGC展示端口：AR/VR/MR/XR设备 218
    • 7.2.1 AR设备 218
    • 7.2.2 VR设备 219
  • 7.3 模型类AIGC应用在元宇宙里自动化建模 221
    • 7.3.1 拍视频就可以得到模型？基于视频自动化生成模型 222
    • 7.3.2 元宇宙版的神笔马良，基于文本自动化生成三维模型 223
    • 7.3.3 穿越空间，虚拟直播空间建设 224
    • 7.3.4 你元宇宙的化身——数字人生成技术 225
    • 7.3.5 把实物带到元宇宙中，基于三维激光扫描设备的文物逆向建模 226
  • 7.4 AIGC应用的未来 226
• 第8章 AI文明的降临已开启倒计时 228
  • 8.1 何谓内容 229
  • 8.2 AIGC的版权争议 230
  • 8.3 普通人的AIGC时代生存建议 232
    • 8.3.1 生产力工具：“人工”+“智能”=最强“打工人” 234
    • 8.3.2 做AIGC应用的老师，为人类的“群体智慧”做贡献 237
    • 8.3.3 向AIGC应用学习逻辑，同时关注创新 237
  • 后记 239

内容简介

《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写，是深度学习领域奠基性的经典教材。全书的内容包括3个部分：第1部分介绍基本的数学工具和机器学习的概念，它们是深度学习的预备知识；第2部分系统深入地讲解现今已成熟的深度学习方法和技术；第3部分讨论某些具有前瞻性的方向和想法，它们被公认为是深度学习未来的研究重点。

《深度学习》适合各类读者阅读，包括相关专业的大学生或研究生，以及不具有机器学习或统计背景、但是想要快速补充深度学习知识，以便在实际产品或平台中应用的软件工程师。

作者简介

作者简介
Ian Goodfellow，谷歌公司(Google) 的研究科学家，2014 年蒙特利尔大学机器学习博士。他的研究兴趣涵盖大多数深度学习主题，特别是生成模型以及机器学习的安全和隐私。Ian Goodfellow 在研究对抗样本方面是一位有影响力的早期研究者，他发明了生成式对抗网络，在深度学习领域贡献卓越。
Yoshua Bengio，蒙特利尔大学计算机科学与运筹学系(DIRO) 的教授，蒙特利尔学习算法研究所(MILA) 的负责人，CIFAR 项目的共同负责人，加拿大统计学习算法研究主席。Yoshua Bengio 的主要研究目标是了解产生智力的学习原则。他还教授“机器学习”研究生课程(IFT6266)，并培养了一大批研究生和博士后。
Aaron Courville，蒙特利尔大学计算机科学与运筹学系的助理教授，也是LISA 实验室的成员。目前他的研究兴趣集中在发展深度学习模型和方法，特别是开发概率模型和新颖的推断方法。Aaron Courville 主要专注于计算机视觉应用，在其他领域，如自然语言处理、音频信号处理、语音理解和其他AI 相关任务方面也有所研究。

中文版审校者简介
张志华，北京大学数学科学学院统计学教授，北京大学大数据研究中心和北京大数据研究院数据科学教授，主要从事机器学习和应用统计学的教学与研究工作。

译者简介
赵申剑，上海交通大学计算机系硕士研究生，研究方向为数值优化和自然语言处理。
黎彧君，上海交通大学计算机系博士研究生，研究方向为数值优化和强化学习。
符天凡，上海交通大学计算机系硕士研究生，研究方向为贝叶斯推断。
李凯，上海交通大学计算机系博士研究生，研究方向为博弈论和强化学习。

目录

中文版致谢
英文原书致谢
数学符号
第1章 引言
1.1 本书面向的读者
1.2 深度学习的历史趋势
第1部分 应用数学与机器学习基础
第2章 线性代数
2.1 标量、向量、矩阵和张量
2.2 矩阵和向量相乘
2.3 单位矩阵和逆矩阵
2.4 线性相关和生成子空间
2.5 范数
2.6 特殊类型的矩阵和向量
2.7 特征分解
2.8 奇异值分解
2.9 Moore-Penrose伪逆
2.10 迹运算
2.11 行列式
2.12 实例：主成分分析
第3章 概率与信息论
3.1 为什么要使用概率
3.2 随机变量
3.3 概率分布
3.4 边缘概率
3.5 条件概率
3.6 条件概率的链式法则
3.7 独立性和条件独立性
3.8 期望、方差和协方差
3.9 常用概率分布
3.10 常用函数的有用性质
3.11 贝叶斯规则
3.12 连续型变量的技术细节
3.13 信息论
3.14 结构化概率模型
第4章 数值计算
4.1 上溢和下溢
4.2 病态条件
4.3 基于梯度的优化方法
4.4 约束优化
4.5 实例：线性最小二乘
第5章 机器学习基础
5.1 学习算法
5.2 容量、过拟合和欠拟合
5.3 超参数和验证集
5.4 估计、偏差和方差
5.5 最大似然估计
5.6 贝叶斯统计
5.7 监督学习算法
5.8 无监督学习算法
5.9 随机梯度下降
5.10 构建机器学习算法
5.11 促使深度学习发展的挑战
第2部分 深度网络：现代实践
第6章 深度前馈网络
6.1 实例：学习XOR
6.2 基于梯度的学习
6.3 隐藏单元
6.4 架构设计
6.5 反向传播和其他的微分算法
6.6 历史小记
第7章 深度学习中的正则化
7.1 参数范数惩罚
7.2 作为约束的范数惩罚
7.3 正则化和欠约束问题
7.4 数据集增强
7.5 噪声鲁棒性
7.6 半监督学习
7.7 多任务学习
7.8 提前终止
7.9 参数绑定和参数共享
7.10 稀疏表示
7.11 Bagging和其他集成方法
7.12 Dropout
7.13 对抗训练
7.14 切面距离、正切传播和流形正切分类器
第8章 深度模型中的优化
8.1 学习和纯优化有什么不同
8.2 神经网络优化中的挑战
8.3 基本算法
8.4 参数初始化策略
8.5 自适应学习率算法
8.6 二阶近似方法
8.7 优化策略和元算法
第9章 卷积网络
9.1 卷积运算
9.2 动机
9.3 池化
9.4 卷积与池化作为一种无限强的先验
9.5 基本卷积函数的变体
9.6 结构化输出
9.7 数据类型
9.8 高效的卷积算法
9.9 随机或无监督的特征
9.10 卷积网络的神经科学基础
9.11 卷积网络与深度学习的历史
第10章 序列建模：循环和递归网络
10.1 展开计算图
10.2 循环神经网络
10.3 双向RNN
10.4 基于编码-解码的序列到序列架构
10.5 深度循环网络
10.6 递归神经网络
10.7 长期依赖的挑战
10.8 回声状态网络
10.9 渗漏单元和其他多时间尺度的策略
10.10 长短期记忆和其他门控RNN
10.11 优化长期依赖
10.12 外显记忆
第11章 实践方法论
11.1 性能度量
11.2 默认的基准模型
11.3 决定是否收集更多数据
11.4 选择超参数
11.5 调试策略
11.6 示例：多位数字识别
第12章 应用
12.1 大规模深度学习
12.2 计算机视觉
12.3 语音识别
12.4 自然语言处理
12.5 其他应用
第3部分 深度学习研究
第13章 线性因子模型
13.1 概率PCA和因子分析
13.2 独立成分分析
13.3 慢特征分析
13.4 稀疏编码
13.5 PCA的流形解释
第14章 自编码器
14.1 欠完备自编码器
14.2 正则自编码器
14.3 表示能力、层的大小和深度
14.4 随机编码器和解码器
14.5 去噪自编码器详解
14.6 使用自编码器学习流形
14.7 收缩自编码器
14.8 预测稀疏分解
14.9 自编码器的应用
第15章 表示学习
15.1 贪心逐层无监督预训练
15.2 迁移学习和领域自适应
15.3 半监督解释因果关系
15.4 分布式表示
15.5 得益于深度的指数增益
15.6 提供发现潜在原因的线索
第16章 深度学习中的结构化概率模型
16.1 非结构化建模的挑战
16.2 使用图描述模型结构
16.3 从图模型中采样
16.4 结构化建模的优势
16.5 学习依赖关系
16.6 推断和近似推断
16.7 结构化概率模型的深度学习方法
第17章 蒙特卡罗方法
17.1 采样和蒙特卡罗方法
17.2 重要采样
17.3 马尔可夫链蒙特卡罗方法
17.4 Gibbs采样
17.5 不同的峰值之间的混合挑战
第18章 直面配分函数
18.1 对数似然梯度
18.2 随机最大似然和对比散度
18.3 伪似然
18.4 得分匹配和比率匹配
18.5 去噪得分匹配
18.6 噪声对比估计
18.7 估计配分函数
第19章 近似推断
19.1 把推断视作优化问题
19.2 期望最大化
19.3 最大后验推断和稀疏编码
19.4 变分推断和变分学习
19.5 学成近似推断
第20章 深度生成模型
20.1 玻尔兹曼机
20.2 受限玻尔兹曼机
20.3 深度信念网络
20.4 深度玻尔兹曼机
20.5 实值数据上的玻尔兹曼机
20.6 卷积玻尔兹曼机
20.7 用于结构化或序列输出的玻尔兹曼机
20.8 其他玻尔兹曼机
20.9 通过随机操作的反向传播
20.10 有向生成网络
20.11 从自编码器采样
20.12 生成随机网络
20.13 其他生成方案
20.14 评估生成模型
20.15 结论
参考文献
索引

内容简介  · · · · · ·

这本书专门为那些对自然语言处理技术感兴趣的读者提供了系统的LLM应用开发指南。全书分为11章，从LLM基础知识开始，通过LangChain这个开源框架为读者解读整个LLM应用开发流程。第1~2章概述LLM技术的发展背景和LangChain框架的设计理念。从第3章开始，分章深入介绍LangChain的6大模块，包括模型I/O、数据增强、链、记忆等，通过大量代码示例让读者了解其原理和用法。第9章通过构建PDF问答程序，帮助读者将之前学习的知识应用于实践。第10章则介绍集成，可拓宽LangChain的用途。第11章为初学者简要解析LLM的基础理论，如Transformer模型等。

《LangChain入门指南：构建高可复用、可扩展的LLM应用程序》以LangChain这个让人熟悉的框架为主线，引导读者一步一步掌握LLM应用开发流程，适合对大语言模型感兴趣的开发者、AI应用程序开发者阅读。

作者简介  · · · · · ·

李特丽，LangChain中文网联合创始人，优秀的软件工程师。曾翻译LangChain、OpenAi、Milvus等AI开发三件套的中文文档，帮助中国开发者快速上手AI开发。
康轶文，LangChain中文网创始人，2005年从个人站长做起，成为第一代SEO“大神”；2012年转型移动互联网营销，成为中国Apple Ads代理商，获得苹果千万美元授信；2022年转型月付制AI数字员工全托管服务，是一位经验丰富的数字员工和人工智能应用专家。

目录  · · · · · ·

• 第1 章 LangChain：开启大语言模型时代的钥匙
  • 1.1 大语言模型概述
    • 1.1.1 什么是大语言模型
    • 1.1.2 大语言模型的发展
    • 1.1.3 大语言模型的应用场景
    • 1.1.4 大语言模型的基础知识
  • 1.2 LangChain 与大语言模型
• 第2 章 LangChain 入门指南
  • 2.1 初识LangChain
    • 2.1.1 为什么需要LangChain
    • 2.1.2 LLM 应用开发的最后1 公里
    • 2.1.3 LangChain 的2 个关键词
    • 2.1.4 LangChain 的3 个场景
    • 2.1.5 LangChain 的6 大模块
  • 2.2 LangChain 的开发流程
    • 2.2.1 开发密钥指南
    • 2.2.2 编写一个取名程序
    • 2.2.3 创建你的第一个聊天机器人
  • 2.3 LangChain 表达式
• 第3 章 模型I/O
  • 3.1 什么是模型I/O
  • 3.2 模型I/O 功能之模型包装器
    • 3.2.1 模型包装器分类
    • 3.2.2 LLM 模型包装器
    • 3.2.3 聊天模型包装器
  • 3.3 模型I/O 功能之提示词模板
    • 3.3.1 什么是提示词模板
    • 3.3.2 提示词模板的输入和输出
    • 3.3.3 使用提示词模板构造提示词
    • 3.3.4 少样本提示词模板
    • 3.3.5 多功能提示词模板
  • 3.4 模型I/O 功能之输出解析器
    • 3.4.1 输出解析器的功能
    • 3.4.2 输出解析器的使用
    • 3.4.3 Pydantic JSON 输出解析器
    • 3.4.4 结构化输出解析器
• 第4 章 数据增强模块
  • 4.1 数据增强模块的相关概念
    • 4.1.1 LEDVR 工作流
    • 4.1.2 数据类型
  • 4.2 加载器
  • 4.3 嵌入模型包装器
    • 4.3.1 嵌入模型包装器的使用
    • 4.3.2 嵌入模型包装器的类型
  • 4.4 文档转换器
  • 4.5 向量存储库
    • 4.5.1 向量存储库的使用
    • 4.5.2 向量存储库的搜索方法
  • 4.6 检索器
    • 4.6.1 检索器的使用
    • 4.6.2 检索器的类型
• 第5 章 链
  • 5.1 为什么叫链
    • 5.1.1 链的定义
    • 5.1.2 链的使用
    • 5.1.3 基础链类型
    • 5.1.4 工具链类型
  • 5.2 细说基础链
    • 5.2.1 LLM 链
    • 5.2.2 路由器链
    • 5.2.3 顺序链
  • 5.3 四大合并文档链
    • 5.3.1 Stuff 链
    • 5.3.2 Refine 链
    • 5.3.3 MapReduce 链
    • 5.3.4 重排链
  • 5.4 揭秘链的复杂性
    • 5.4.1 复杂链的“套娃”式设计
    • 5.4.2 LEDVR 工作流的终点：“上链”
• 第6 章 记忆模块
  • 6.1 记忆模块概述
    • 6.1.1 记忆组件的定义
    • 6.1.2 记忆组件、链组件和Agent 组件的关系
    • 6.1.3 设置第一个记忆组件
    • 6.1.4 内置记忆组件
    • 6.1.5 自定义记忆组件
  • 6.2 记忆增强检索能力的实践
    • 6.2.1 获取外部数据
    • 6.2.2 加入记忆组件
  • 6.3 记忆增强Agent 能力的实践
  • 6.4 内置记忆组件的对比
    • 6.4.1 总结记忆组件
    • 6.4.2 会话记忆组件和会话窗口记忆组件的对比
    • 6.4.3 知识图谱记忆组件和实体记忆组件的比较
• 第7 章 Agent 模块
  • 7.1 Agent 模块概述
    • 7.1.1 Agent 组件的定义
    • 7.1.2 Agent 组件的运行机制
    • 7.1.3 Agent 组件入门示例
    • 7.1.4 Agent 组件的类型
  • 7.2 Agent 组件的应用
    • 7.2.1 Agent 组件的多功能性
    • 7.2.2 自定义Agent 组件
    • 7.2.3 ReAct Agent 的实践
  • 7.3 工具组件和工具包组件
    • 7.3.1 工具组件的类型
    • 7.3.2 工具包组件的类型
  • 7.4 Agent 组件的功能增强
    • 7.4.1 Agent 组件的记忆功能增强
    • 7.4.2 Agent 组件的检索能力增强
• 第8 章 回调处理器
  • 8.1 什么是回调处理器
    • 8.1.1 回调处理器的工作流程
    • 8.1.2 回调处理器的使用
    • 8.1.3 自定义链组件中的回调
  • 8.2 内置回调处理器
  • 8.3 自定义回调处理器
• 第9 章 使用LangChain 构建应用程序
  • 9.1 PDF 问答程序
    • 9.1.1 程序流程
    • 9.1.2 处理PDF 文档
    • 9.1.3 创建问答链
  • 9.2 对话式表单
    • 9.2.1 OpenAI 函数的标记链
    • 9.2.2 标记链的使用
    • 9.2.3 创建提示词模板
    • 9.2.4 数据更新和检查
  • 9.3 使用LangChain 实现BabyAGI
    • 9.3.1 BabyAGI 介绍
    • 9.3.2 环境与工具
    • 9.3.3 向量存储
    • 9.3.4 构建任务链
    • 9.3.5 创建BabyAGI
    • 9.3.6 运行BabyAGI
• 第10 章 集成
  • 10.1 集成的背景与LLM 集成
  • 10.2 LLM 集成指南
    • 10.2.1 Azure OpenAI 集成
    • 10.2.2 Hugging Face Hub 集成
  • 10.3 聊天模型集成指南
    • 10.3.1 Anthropic 聊天模型集成
    • 10.3.2 PaLM 2 聊天模型集成
    • 10.3.3 OpenAI 聊天模型集成
  • 10.4 向量库集成指南
    • 10.4.1 Chroma 集成
    • 10.4.2 Pinecone 集成
    • 10.4.3 Milvus 集成
  • 10.5 嵌入模型集成指南
    • 10.5.1 HuggingFaceEmbeddings 嵌入集成
    • 10.5.2 LlamaCppEmbeddings 嵌入集成
    • 10.5.3 Cohere 嵌入集成
  • 10.6 Agent toolkits 集成指南
    • 10.6.1 CSV Agent 的集成
    • 10.6.2 Pandas Dataframe Agent 的集成
    • 10.6.3 PowerBI Dataset Agent 的集成
  • 10.7 Retrievers 集成指南
    • 10.7.1 WikipediaRetriever 集成
    • 10.7.2 ArxivRetriever 集成
    • 10.7.3 Azure Cognitive Search 集成
• 第11 章 LLM 应用开发必学知识
  • 11.1 LLM 的核心知识
    • 11.1.1 文本嵌入
    • 11.1.2 点积相似性和余弦相似性
    • 11.1.3 注意力机制
  • 11.2 Transformer 模型
  • 11.3 语义搜索
    • 11.3.1 语义搜索的工作原理
    • 11.3.2 RAG 的工作原理
  • 11.4 NLP 与机器学习基础
    • 11.4.1 LLM 应用开发中的传统机器学习方法
    • 11.4.2 NLP 文本预处理
    • 11.4.3 构建分类器
• 附录A LangChain 框架中的主要类
• 附录B OpenAI 平台和模型介绍
• 附录C Claude 2 模型介绍
• 附录D Cohere 模型介绍
• 附录E PaLM 2 模型介绍
• 附录F Pinecone 向量数据库介绍
• 附录G Milvus 向量数据库介绍

你会忍不住爱上这座城市，它是人类的瑰宝。而这本书值得你一读再读。 ——比尔•克林顿（美国前总统）

西蒙•蒙蒂菲奥里扎实的研究功底，栩栩如生的讲述能力，使得无论是学者还是门外汉，都将这本书视若珍宝。 ——基辛格（美国前国务卿）

美国前总统克林顿2011年年度选书，基辛格视 若珍宝的经典巨作。读《耶路撒冷三千年》，了解真实的耶路撒冷，更是明白世界为何演变成今天的模样。

耶路撒冷曾被视为世界的中心，是基督教、犹太教和伊斯兰教三大宗教的圣地，是文明冲突的战略要冲，是让世人魂牵梦绕的去处，是惑人的阴谋与虚构的网络传说和二十四小时新闻发生的地方。

西蒙•蒙蒂菲奥里依年代顺序，以三大宗教围绕“圣城”的角逐，以几大家族的兴衰更迭为主线，生动讲述了耶路撒冷的前世今生。以客观、中立的角度，透过士兵与先知、诗人与国王、农民与音乐家的生活，以及创造耶路撒冷的家族来呈现这座城市的三千年瑰丽历史，还原真实的耶路撒冷……