新书推荐

AI 原生应用架构白皮书

通用人工智能(AGI)已是确定的事情,我们正通往超级人工智能(ASI)。

过去三年,人工智能技术正以前所未有的速度渗透千行百业。国务院日前也印发了《关于深入实施“人工智能+”行动的意见》,从顶层设计的高度为人工智能技术落地提供了关键指引。这既展现出重塑生产力的巨大潜力,也孕育着重构生产关系的无限可能,为全球数字经济的智能化升级注入全新动能。 为持续突破 A性能边界,大模型厂商通过技术路径迭代不断拓展三个核心维度:在模型参数层面,从千亿参数,逐步演进至万亿级参数规模,实现对复杂知识的深度拟合;在训练数据层面,从数百 GB 文本,拓展至数百 TB 甚至 EB 级的多模态数据集,且数据质量与领域适配性持续提升;在算力支撑层面,核心训练算力需求呈现指数级增长,其规模每2年增长约10倍(即“黄氏定律”),为模型性能突破提供了有力保障。随着模型的推理能力和多模态能力显著提升,这些技术进步不仅为通用人工智能的实现减少了障碍,也为产业智能化升级提供了核心驱动力。

随着大模型厂商将训练与使用成本压缩至原有水平的几十分之,AI应用开始跨越效果与成本的平衡临界点。与此同时,A原生应用开发范式逐步形成雏形,从模型调用到场景适配的开发逻辑日渐清晰,为 AI应用的深度探索奠定了坚实基础。自此,AI正式进入规模化应用的爆发阶段。数据显示,过去16个月内全球对 AlAgent(智能体)的关注热度增长达1088%,AI办公助手、数字员工、智能客服等应用如雨后春笋般涌现。这其中,以 Agentic Al为核心的技术路径逐渐成为主流,其通过自主规划、任务拆解与动态交互能力,推动 AI从工具化应用向自主化服务演进,加速实现对数字世界的智能重塑与高效接管。

随着大模型与感知、控制技术的深度融合,具身智能正从实验室走向产业实践。从工厂的智能协作机器人到家庭服务终端,其发展依托于数字空间的智能能力向物理世界的延伸。Physical Al作为这一进程的前沿方向,正推动 AI从数据驱动的数字决策,逐步拓展至对实体环境的感知规划与执行,进而实现对物理世界的智能化赋能与协同。

可见,大模型已完成从技术突破到产业应用的关键跨越,AI正深度融入并重塑数字世界,并持续向物理世界延伸,最终推动人类生产生活方式的根本性变革。

在这一进程中,云计算以“云智一体”的形态,成为连接数字与物理世界的核心底座。极致弹性的算力资源、秒级伸缩的推理服务、跨“云-边-端”的统一调度框架,以及面向 AlDevOps 的全生命周期工具链,使得应用的训练、推理和运维像水电一样随取随用;云原生安全、成本治理与多租户隔离,为企业级 AI应用提供了可信赖的运行环境;开放的模型即服务(Maas)生态,让任何组织都能以最低门槛接入前沿智能。云不再只是简单的资源池化,而是与智能算法融为一体,成为 AI能力不可替代的技术平台,让智能在数字世界和物理世界之间自由流动,实现真正的“碳硅共生”。

一蓑烟雨任平生:宋朝词人的风华人生

内容简介

◎内容简介 《一蓑烟雨任平生:宋朝词人的风华人生》选取李煜、晏殊、欧阳修、苏轼、李清照、唐琬等宋代词人的四十三篇传世名作,以轻松诙谐的笔调,用讲故事的方式,全面解读作品背后的深层意蕴,品味词人从儿女情长到金戈铁马的风华人生,领略他们的多情与豪迈、怅惘与无奈。全书融词、史、人于一体,既有诗酒人生,也有家国天下,可以说是一部有料有趣、精彩好看的 “诗词小说”。 慢读一卷诗书,走进一段传奇。


★ 编辑推荐
1.古诗词畅销书女作家徐若央全新力作。徐若央是中国古诗词畅销书作家,已出版作品《枕上诗书:一本书读懂最美古诗词》等,销量达到百万级别,深受读者喜爱。
2.一套书读懂最美宋词。“多情不如无情”的司马光、“手足之爱,平生一人”的苏轼与苏辙、半生飘零半生愁的李清照、“只有丹心难灭”的文天祥……作者以用讲故事的方式,选取宋代最具代表性的词人及其传世名作,品味他们从儿女情长到金戈铁马的风华人生,领略他们的多情与豪迈、怅惘与无奈。每首诗都是一段传奇,每首词都有它的故事。
3.四十三位伟大词人,四十三首经典词作,全书融词、史、人于一体,既有诗酒人生,也有家国天下,串联起大宋词坛一个个闪耀瞬间,还原了大宋王朝三百多年的跌宕风貌,可以说是一部有料、有趣、精彩好看的“诗词小说”。
4.古文零基础也能轻松入门。全书大部分诗词都附有部分疑难字词注解和生僻字注音,帮助读者顺畅阅读和理解古诗词,快速告别“诗词小白”。
5.本书文前精选8幅宋代绘画及书法作品,包括赵佶《瑞鹤图》、米芾《临定武兰亭卷》、王希孟《千里江山图》等,全四色印刷,带你饱览宋代大画家和大书法家的传世经典。
6.本书还倾情邀请插画师青云独家绘制15幅唯美古风花卉内插,让读者在阅读诗文时获得美的享受,也可以作为填色图,舒缓身心,解压治愈。
7.封面采用平装双封,外封唯美诗意,内封清新雅致,全四色精印,体现了宋代文学大家的恣肆昂扬与文雅风致,为读者带来内容、形式双高的经典诗词赏析读本。同时,随书附赠唯美古风书签1张,赏心悦目。

作者简介

徐若央 中国古诗词畅销书女作家。 著有《枕上诗书:一本书读懂最美古诗词》《枕上诗书:一本书读懂最美诗经》《纳兰容若词传:人生若只如初见》等畅销书。 若不能超凡脱俗,便要极尽红尘。

目录

  • 回首已是梦中客:李煜《虞美人》
  • 人间万事何时了:晏殊《浣溪沙》
  • 塞上秋思悲白发:范仲淹《渔家傲·秋思》
  • 道似无情却有情:司马光《西江月》
  • 莺莺燕燕一场梦:张先《千秋岁》
  • 一朝天子一朝臣:钱惟演《玉楼春》
  • 谁道飘零不可怜:柳永《八声甘州》
  • “鸳鸯”二字如何书:欧阳修《南歌子》
  • 红杏枝头正风华:宋祁《玉楼春·春景》
  • 何人聊赠江南春:舒亶《虞美人·寄公度》
  • 今夕何时长相伴:苏轼《水调歌头》
  • 与君世世为兄弟:苏辙《渔家傲·和门人祝寿》
  • 回首沧桑尽成愁:黄庭坚《南乡子》
  • 朝朝暮暮不见君:秦观《鹊桥仙》
  • 奈何往事尽难留:王雱《眼儿媚》
  • 半生浮沉谁人怜:王安石《桂枝香·金陵怀古》
  • 不负相思不负君:李之仪《卜算子》
  • 谁复挑灯夜补衣:贺铸《鹧鸪天》
  • 唱尽悲欢又一曲:晏几道《临江仙》
  • 未到白头相辜负:魏玩《卷珠帘》
  • 此情此意几时真:聂胜琼《鹧鸪天·寄李之问》
  • 此心若得一株雪:萧观音《回心院(其一)》
  • 京华倦客谁人留:周邦彦《兰陵王·柳》
  • 一晌贪欢终成梦:赵佶《燕山亭·北行见杏花》
  • 半生飘零半生愁:李清照《声声慢》
  • 壮志未酬身已老:陆游《诉衷情》
  • 满城春色宫墙柳:唐琬《钗头凤》
  • 千里家国千里梦:岳飞《小重山》
  • 少年不知愁滋味:辛弃疾《丑奴儿·书博山道中壁》
  • 乱世浮萍泪无言:淮上女《减字木兰花》
  • 金戈铁马入梦来:张孝祥《水调歌头·闻采石战胜》
  • 暗香疏影长相忆:姜夔《暗香》
  • 宁可抱香枝头老:朱淑真《蝶恋花·送春》
  • 红消香断有谁怜:严蕊《卜算子》
  • 问世间情为何物:张玉娘《南乡子·清昼》
  • 昨夜良辰遇良人:施酒监《卜算子·赠乐婉杭妓》
  • 开到荼蘼花事了:吴淑姬《小重山》
  • 苍天不闻天下事:王埜《西河》
  • 人生何处不相逢:叶李《失调名》
  • 人生自古谁无死:文天祥《酹江月·和友〈驿中言别〉》
  • 曾记芙蓉满宫阙:王清惠《满江红·题南京夷山驿》
  • 燕塞雪月无归年:华清淑《望江南》
  • 点滴风雨到天明:蒋捷《虞美人·听雨》

基于大模型的RAG应用开发与优化——构建企业级LLM应用

内容简介

《基于大模型的RAG应用开发与优化——构建企业级LLM应用》是一本全面介绍基于大语言模型的RAG应用开发的专业图书。本书共分为3篇:预备篇、基础篇和高级篇。预备篇旨在帮助你建立起对大模型与RAG的基本认识,并引导你搭建起RAG应用开发的基础环境;基础篇聚焦于经典RAG应用开发的核心要素与阶段,介绍关键模块的开发过程,剖析相关的技术原理,为后面的深入学习打下坚实的基础;高级篇聚焦于RAG应用开发的高阶模块与技巧,特别是在企业级RAG应用开发中的优化策略与技术实现,并探索了一些新型的RAG工作流与范式,旨在帮助你了解最新的RAG应用技术发展,掌握RAG应用的全方位开发能力。 《基于大模型的RAG应用开发与优化——构建企业级LLM应用》适合对大模型及RAG技术感兴趣的开发者、研究人员、产品经理及希望了解并掌握RAG应用开发能力的人阅读。无论你是进入AI领域的初学者,还是已经有一定基础的进阶者,都能从本书中找到适合自己的内容。

作者简介

严灿平
毕业于南京理工大学计算机系,南京大学工商管理硕士。先后就职于联创(后与亚信科技合并)担任软件工程师与设计师,甲骨文中国(Oracle)担任中国区企业架构部首席架构师,上海慧问信息科技有限公司担任合伙人兼技术总监。现为独立IT咨询顾问,公众号“AI大模型应用实践”主理人。拥有超过20年的企业软件从业经验,专注于企业软件架构设计、互联网时代传统行业的IT转型、人工智能与大数据技术在企业应用的创新等。 曾担任多项大型企业级软件系统核心架构师与咨询师,参与包括中国移动、中国电信等通信行业客户的核心业务运营支撑系统建设、智慧城市与政务行业互联网转型的IT咨询与规划。精通多种计算机软件开发技术与IT架构方法论,对移动互联网、大数据、人工智能在企业领域应用有深入的研究与实施经验。

目录

  • 预 备 篇
    • 第1章 了解大模型与RAG 3
      • 1.1 初识大模型 3
        • 1.1.1 大模型时代:生成式AI应用的爆发 3
        • 1.1.2 大模型应用的持续进化 4
        • 1.1.3 大模型是无所不能的吗 7
      • 1.2 了解RAG 11
        • 1.2.1 为什么需要RAG 11
        • 1.2.2 一个简单的RAG场景 12
      • 1.3 RAG应用的技术架构 14
        • 1.3.1 RAG应用的经典架构与流程 14
        • 1.3.2 RAG应用面临的挑战 17
        • 1.3.3 RAG应用架构的演进 18
      • 1.4 关于RAG的两个话题 20
        • 1.4.1 RAG与微调的选择 21
        • 1.4.2 RAG与具有理解超长上下文能力的大模型 24
    • 第2章 RAG应用开发环境搭建 27
      • 2.1 开发RAG应用的两种方式 27
        • 2.1.1 使用低代码开发平台 27
        • 2.1.2 使用大模型应用开发框架 29
      • 2.2 RAG应用开发环境准备 33
        • 2.2.1 硬件环境建议 33
        • 2.2.2 基础大模型 34
        • 2.2.3 嵌入模型 41
        • 2.2.4 Python虚拟运行环境 44
        • 2.2.5 Python IDE与开发插件 45
        • 2.2.6 向量库 47
        • 2.2.7 LlamaIndex框架 51
      • 2.3 关于本书开发环境的约定 51
  • 基 础 篇
    • 第3章 初识RAG应用开发 55
      • 3.1 开发一个最简单的RAG应用 55
        • 3.1.1 使用原生代码开发 56
        • 3.1.2 使用LlamaIndex框架开发 64
        • 3.1.3 使用LangChain框架开发 68
      • 3.2 如何跟踪与调试RAG应用 70
        • 3.2.1 借助LlamaDebugHandler 70
        • 3.2.2 借助第三方的跟踪与调试平台 73
      • 3.3 准备:基于LlamaIndex框架的RAG应用开发核心组件 77
    • 第4章 模型与Prompt 78
      • 4.1 大模型 78
        • 4.1.1 大模型在RAG应用中的作用 79
        • 4.1.2 大模型组件的统一接口 80
        • 4.1.3 大模型组件的单独使用 82
        • 4.1.4 大模型组件的集成使用 83
        • 4.1.5 了解与设置大模型的参数 84
        • 4.1.6 自定义大模型组件 85
        • 4.1.7 使用LangChain框架中的大模型组件 87
      • 4.2 Prompt 87
        • 4.2.1 使用Prompt模板 87
        • 4.2.2 更改默认的Prompt模板 88
        • 4.2.3 更改Prompt模板的变量 91
      • 4.3 嵌入模型 92
        • 4.3.1 嵌入模型在RAG应用中的作用 92
        • 4.3.2 嵌入模型组件的接口 93
        • 4.3.3 嵌入模型组件的单独使用 95
        • 4.3.4 嵌入模型组件的集成使用 97
        • 4.3.5 了解与设置嵌入模型的参数 97
        • 4.3.6 自定义嵌入模型组件 98
    • 第5章 数据加载与分割 100
      • 5.1 理解两个概念:Document与Node 100
        • 5.1.1 什么是Document与Node 100
        • 5.1.2 深入理解Document与Node 102
        • 5.1.3 深入理解Node对象的元数据 103
        • 5.1.4 生成Document对象 106
        • 5.1.5 生成Node对象 107
        • 5.1.6 元数据的生成与抽取 111
        • 5.1.7 初步了解IndexNode类型 115
      • 5.2 数据加载 116
        • 5.2.1 从本地目录中加载 117
        • 5.2.2 从网络中加载数据 123
      • 5.3 数据分割 129
        • 5.3.1 如何使用数据分割器 129
        • 5.3.2 常见的数据分割器 131
      • 5.4 数据摄取管道 145
        • 5.4.1 什么是数据摄取管道 145
        • 5.4.2 用于数据摄取管道的转换器 147
        • 5.4.3 自定义转换器 149
        • 5.4.4 使用数据摄取管道 150
      • 5.5 完整认识数据加载阶段 155
    • 第6章 数据嵌入与索引 156
      • 6.1 理解嵌入与向量 156
        • 6.1.1 直接用模型生成向量 157
        • 6.1.2 借助转换器生成向量 157
      • 6.2 向量存储 158
        • 6.2.1 简单向量存储 159
        • 6.2.2 第三方向量存储 161
      • 6.3 向量存储索引 164
        • 6.3.1 用向量存储构造向量存储索引对象 165
        • 6.3.2 用Node列表构造向量存储索引对象 166
        • 6.3.3 用文档直接构造向量存储索引对象 169
        • 6.3.4 深入理解向量存储索引对象 172
      • 6.4 更多索引类型 175
        • 6.4.1 文档摘要索引 175
        • 6.4.2 对象索引 177
        • 6.4.3 知识图谱索引 180
        • 6.4.4 树索引 186
        • 6.4.5 关键词表索引 187
    • 第7章 检索、响应生成与RAG引擎 190
      • 7.1 检索器 191
        • 7.1.1 快速构造检索器 191
        • 7.1.2 理解检索模式与检索参数 192
        • 7.1.3 初步认识递归检索 197
      • 7.2 响应生成器 199
        • 7.2.1 构造响应生成器 200
        • 7.2.2 响应生成模式 201
        • 7.2.3 响应生成器的参数 210
        • 7.2.4 实现自定义的响应生成器 212
      • 7.3 RAG引擎:查询引擎 214
        • 7.3.1 构造内置类型的查询引擎的两种方法 214
        • 7.3.2 深入理解查询引擎的内部结构和运行原理 217
        • 7.3.3 自定义查询引擎 218
      • 7.4 RAG引擎:对话引擎 221
        • 7.4.1 对话引擎的两种构造方法 221
        • 7.4.2 深入理解对话引擎的内部运行和运行原理 224
        • 7.4.3 理解不同的对话模式 227
      • 7.5 结构化输出 239
        • 7.5.1 使用output_cls参数 240
        • 7.5.2 使用输出解析器 241
  • 高 级 篇
    • 第8章 RAG引擎高级开发 247
      • 8.1 检索前查询转换 247
        • 8.1.1 简单查询转换 248
        • 8.1.2 HyDE查询转换 249
        • 8.1.3 多步查询转换 251
        • 8.1.4 子问题查询转换 254
      • 8.2 检索后处理器 259
        • 8.2.1 使用节点后处理器 259
        • 8.2.2 实现自定义的节点后处理器 260
        • 8.2.3 常见的预定义的节点后处理器 261
        • 8.2.4 Rerank节点后处理器 266
      • 8.3 语义路由 272
        • 8.3.1 了解语义路由 272
        • 8.3.2 带有路由功能的查询引擎 274
        • 8.3.3 带有路由功能的检索器 276
        • 8.3.4 使用独立的选择器 277
        • 8.3.5 可多选的路由查询引擎 278
      • 8.4 SQL查询引擎 280
        • 8.4.1 使用NLSQLTableQueryEngine组件 281
        • 8.4.2 基于实时表检索的查询引擎 283
        • 8.4.3 使用SQL检索器 285
      • 8.5 多模态文档处理 286
        • 8.5.1 多模态文档处理架构 286
        • 8.5.2 使用LlamaParse解析文档 288
        • 8.5.3 多模态文档中的表格处理 294
        • 8.5.4 多模态大模型的基础应用 297
        • 8.5.5 多模态文档中的图片处理 303
      • 8.6 查询管道:编排基于Graph的RAG工作流 308
        • 8.6.1 理解查询管道 309
        • 8.6.2 查询管道支持的两种使用方式 310
        • 8.6.3 深入理解查询管道的内部原理 313
        • 8.6.4 实现并插入自定义的查询组件 315
    • 第9章 开发Data Agent 321
      • 9.1 初步认识Data Agent 322
      • 9.2 构造与使用Agent的工具 323
        • 9.2.1 深入了解工具类型 324
        • 9.2.2 函数工具 325
        • 9.2.3 查询引擎工具 326
        • 9.2.4 检索工具 327
        • 9.2.5 查询计划工具 328
        • 9.2.6 按需加载工具 330
      • 9.3 基于函数调用功能直接开发Agent 331
      • 9.4 用框架组件开发Agent 335
        • 9.4.1 使用OpenAIAgent 335
        • 9.4.2 使用ReActAgent 336
        • 9.4.3 使用底层API开发Agent 338
        • 9.4.4 开发带有工具检索功能的Agent 340
        • 9.4.5 开发带有上下文检索功能的Agent 341
      • 9.5 更细粒度地控制Agent的运行 343
        • 9.5.1 分步可控地运行Agent 344
        • 9.5.2 在Agent运行中增加人类交互 346
    • 第10章 评估RAG应用 349
      • 10.1 为什么RAG应用需要评估 349
      • 10.2 RAG应用的评估依据与指标 350
      • 10.3 RAG应用的评估流程与方法 351
      • 10.4 评估检索质量 352
        • 10.4.1 生成检索评估数据集 352
        • 10.4.2 运行评估检索过程的程序 354
      • 10.5 评估响应质量 356
        • 10.5.1 生成响应评估数据集 356
        • 10.5.2 单次响应评估 358
        • 10.5.3 批量响应评估 360
      • 10.6 基于自定义标准的评估 362
    • 第11章 企业级RAG应用的常见优化策略 364
      • 11.1 选择合适的知识块大小 364
        • 11.1.1 为什么知识块大小很重要 364
        • 11.1.2 评估知识块大小 365
      • 11.2 分离检索阶段的知识块与生成阶段的知识块 369
        • 11.2.1 为什么需要分离 369
        • 11.2.2 常见的分离策略及实现 369
      • 11.3 优化对大文档集知识库的检索 378
        • 11.3.1 元数据过滤 + 向量检索 378
        • 11.3.2 摘要检索+ 内容检索 383
        • 11.3.3 多文档Agentic RAG 390
      • 11.4 使用高级检索方法 397
        • 11.4.1 融合检索 398
        • 11.4.2 递归检索 406
    • 第12章 构建端到端的企业级RAG应用 429
      • 12.1 对生产型RAG应用的主要考量 429
      • 12.2 端到端的企业级RAG应用架构 430
        • 12.2.1 数据存储层 431
        • 12.2.2 AI模型层 432
        • 12.2.3 RAG工作流与API模块 432
        • 12.2.4 前端应用模块 433
        • 12.2.5 后台管理模块 434
      • 12.3 端到端的全栈RAG应用案例 436
        • 12.3.1 简单的全栈RAG查询应用 436
        • 12.3.2 基于多文档Agent的端到端对话应用 455
    • 第13章 新型RAG范式原理与实现 478
      • 13.1 自纠错RAG:C-RAG 478
        • 13.1.1 C-RAG诞生的动机 478
        • 13.1.2 C-RAG的原理 479
        • 13.1.3 C-RAG的实现 480
      • 13.2 自省式RAG:Self-RAG 485
        • 13.2.1 Self-RAG诞生的动机 485
        • 13.2.2 Self-RAG的原理 486
        • 13.2.3 Self-RAG的实现 493
        • 13.2.4 Self-RAG的优化 506
      • 13.3 检索树RAG:RAPTOR 507
        • 13.3.1 RAPTOR诞生的动机 507
        • 13.3.2 RAPTOR的原理 508
        • 13.3.3 RAPTOR的实现 510

从零构建大模型算法、训练与微调

内容简介

《从零构建大模型:算法、训练与微调》是一本系统且实用的大模型构建指南,旨在引领读者从基础知识起步,逐步深入探索大模型的算法原理、训练方法及微调技术。《从零构建大模型:算法、训练与微调》共12章,涵盖了Transformer模型的基础理论,如Seq2Seq模型、分词、嵌入层和自注意力机制等关键概念;并深入剖析了GPT模型的核心实现与文本生成过程,以及BERT模型的预训练和微调技术。同时,也对ViT(视觉Transformer)模型的架构、训练方法,以及高阶微调策略如Adapter Tuning和P-Tuning进行了详尽讲解。此外,还系统地介绍了数据处理、数据增强、模型性能优化(包括混合精度训练和分布式训练)、对比学习、对抗训练、自适应优化器、动态学习率调度,以及模型蒸馏与剪枝技术等多个方面。最后,通过应用案例,展示了模型训练和微调的完整流程,助力读者将理论知识转化为实践技能。 全书注重理论与实践的结合,适合希望系统掌握大模型构建、训练和优化的研发人员、高校学生,也适合对自然语言处理、计算机视觉等领域的大模型开发有兴趣的读者。还可作为培训机构和高校相关课程的教学用书。

作者简介

梁楠,博士,毕业于北京航空航天大学,高级职称,长期从事模式识别、机器学习、统计理论的研究与应用,负责或参与科研项目多项,专注于人工智能、大语言模型的应用与开发,对深度学习、数据分析与预测等有独到见解。

目录

  • 引言 1
  • 一、大模型技术的发展历史 1
    • 1. 基于规则和统计学习的早期阶段 1
    • 2. 神经网络与深度学习的崛起 2
    • 3. Transformer的诞生与自注意力机制的崛起 2
    • 4. 预训练模型的兴起:BERT、GPT和T5 2
    • 5. 超大规模模型与多模态应用 3
  • 二、开发环境配置基础 3
    • 1. 硬件配置要求 3
    • 2. 软件依赖与环境搭建 4
    • 3. 常见问题与解决方案 5
  • 第 1 章 Transformer模型基础 6
    • 1.1 Seq2Seq模型 6
      • 1.1.1 编码器-解码器工作原理 7
      • 1.1.2 Seq2Seq结构实现 7
    • 1.2 分词与嵌入层 11
      • 1.2.1 分词器:将文本转换为嵌入向量 11
      • 1.2.2 PyTorch实现嵌入层(将分词后的结果输入模型) 11
    • 1.3 自注意力与多头注意力机制 15
      • 1.3.1 自注意力机制计算过程(QKV矩阵生成和点积运算) 15
      • 1.3.2 多头注意力机制与Transformer 18
    • 1.4 残差连接与层归一化 22
      • 1.4.1 残差连接层的实现 22
      • 1.4.2 层归一化与训练稳定性 25
    • 1.5 位置编码器 28
      • 1.5.1 位置编码的计算与实现 28
      • 1.5.2 位置编码在无序文本数据中的作用 30
    • 1.6 本章小结 35
    • 1.7 思考题 35
  • 第 2 章 GPT模型文本生成核心原理与实现 37
    • 2.1 GPT-2核心模块 37
      • 2.1.1 层堆叠 37
      • 2.1.2 GPT-2中的注意力机制 41
    • 2.2 GPT模型的文本生成过程 44
      • 2.2.1 详解GPT-2文本生成过程 44
      • 2.2.2 Greedy Search和Beam Search算法的实现与对比 47
    • 2.3 模型效果评估与调优 51
      • 2.3.1 模型常见评估方法 51
      • 2.3.2 基于困惑度的评估过程 56
    • 2.4 本章小结 60
    • 2.5 思考题 60
  • 第 3 章 BERT模型核心实现与预训练 62
    • 3.1 BERT模型的核心实现 62
      • 3.1.1 编码器堆叠 62
      • 3.1.2 BERT的自注意力机制与掩码任务 67
    • 3.2 预训练任务:掩码语言模型(MLM) 71
      • 3.2.1 MLM任务实现过程 71
      • 3.2.2 如何对输入数据进行随机遮掩并预测 72
    • 3.3 BERT模型的微调与分类任务应用 77
    • 3.4 本章小结 81
    • 3.5 思考题 81
  • 第 4 章 ViT模型 83
    • 4.1 图像分块与嵌入 83
    • 4.2 ViT模型的核心架构实现 89
      • 4.2.1 ViT模型的基础结构 89
      • 4.2.2 自注意力和多头注意力在图像处理中的应用 91
    • 4.3 训练与评估ViT模型 96
    • 4.4 ViT模型与注意力严格量化分析 100
    • 4.5 本章小结 105
    • 4.6 思考题 105
  • 第 5 章 高阶微调策略:Adapter Tuning与P-Tuning 107
    • 5.1 Adapter Tuning的实现 107
    • 5.2 LoRA Tuning实现 111
    • 5.3 Prompt Tuning与P-Tuning的应用 114
      • 5.3.1 Prompt Tuning 114
      • 5.3.2 P-Tuning 117
      • 5.3.3 Prompt Tuning和P-Tuning组合微调 120
      • 5.3.4 长文本情感分类模型的微调与验证 122
    • 5.4 本章小结 125
    • 5.5 思考题 125
  • 第 6 章 数据处理与数据增强 127
    • 6.1 数据预处理与清洗 127
      • 6.1.1 文本数据预处理 127
      • 6.1.2 文本数据清洗 130
    • 6.2 文本数据增强 133
      • 6.2.1 同义词替换 133
      • 6.2.2 随机插入 135
      • 6.2.3 其他类型的文本数据增强方法 137
    • 6.3 分词与嵌入层的应用 139
      • 6.3.1 深度理解分词技术 140
      • 6.3.2 嵌入向量的生成与优化 142
      • 6.3.3 文本预处理与数据增强综合案例 144
    • 6.4 本章小结 146
    • 6.5 思考题 147
  • 第 7 章 模型性能优化:混合精度训练与分布式训练 148
    • 7.1 混合精度训练的实现 148
    • 7.2 多GPU并行与分布式训练的实现 150
      • 7.2.1 分布式训练流程与常规配置方案 150
      • 7.2.2 Data Parallel方案 152
      • 7.2.3 Model Parallel方案 154
    • 7.3 梯度累积的实现 157
      • 7.3.1 梯度累积初步实现 157
      • 7.3.2 小批量训练中的梯度累积 159
      • 7.3.3 梯度累积处理文本分类任务 161
    • 7.4 本章小结 164
    • 7.5 思考题 165
  • 第 8 章 对比学习与对抗训练 166
    • 8.1 对比学习 166
      • 8.1.1 构建正负样本对及损失函数 166
      • 8.1.2 SimCLR的实现与初步应用 171
    • 8.2 基于对比学习的预训练与微调 174
      • 8.2.1 通过对比学习进行自监督预训练 175
      • 8.2.2 对比学习在分类、聚类等任务中的表现 180
    • 8.3 生成式对抗网络的实现与优化 183
    • 8.4 对抗训练在大模型中的应用 188
    • 8.5 本章小结 192
    • 8.6 思考题 192
  • 第 9 章 自适应优化器与动态学习率调度 194
    • 9.1 AdamW优化器与LAMB优化器的实现 194
      • 9.1.1 AdamW优化器 194
      • 9.1.2 LAMB优化器 197
    • 9.2 基于梯度累积的优化技巧 200
      • 9.2.1 大批量内存受限环境 200
      • 9.2.2 梯度累积的应用场景和参数调整对训练效果的影响 203
    • 9.3 动态学习率调度 205
      • 9.3.1 线性衰减 205
      • 9.3.2 余弦退火 207
    • 9.4 Warmup与循环学习率调度 209
      • 9.4.1 Warmup策略实现 209
      • 9.4.2 循环学习率调度 211
      • 9.4.3 其他几种常见的动态学习调度器 214
    • 9.5 本章小结 217
    • 9.6 思考题 218
  • 第 10 章 模型蒸馏与剪枝 219
    • 10.1 知识蒸馏:教师-学生模型 219
      • 10.1.1 知识蒸馏核心过程 219
      • 10.1.2 教师-学生模型 221
      • 10.1.3 蒸馏损失 224
    • 10.2 知识蒸馏在文本模型中的应用 226
      • 10.2.1 知识蒸馏在文本分类模型中的应用 226
      • 10.2.2 模型蒸馏效率分析 229
      • 10.2.3 文本情感分析任务中的知识蒸馏效率对比 231
    • 10.3 模型剪枝技术 234
      • 10.3.1 权重剪枝 234
      • 10.3.2 结构化剪枝 237
      • 10.3.3 在嵌入式设备上部署手写数字识别模型 240
      • 10.3.4 BERT模型的多头注意力剪枝 243
    • 10.4 本章小结 247
    • 10.5 思考题 248
  • 第 11 章 模型训练实战 249
    • 11.1 数据预处理与Tokenization细节 249
      • 11.1.1 大规模文本数据清洗 249
      • 11.1.2 常用分词器的使用 252
    • 11.2 大规模预训练模型的设置与启动 255
    • 11.3 预训练过程中的监控与中间结果保存 258
    • 11.4 训练中断与恢复机制 262
    • 11.5 综合案例:IMDB文本分类训练全流程 265
      • 11.5.1 数据预处理与Tokenization 265
      • 11.5.2 多GPU与分布式训练设置 266
      • 11.5.3 训练过程中的监控与中间结果保存 266
      • 11.5.4 训练中断与恢复 267
      • 11.5.5 测试模型性能 268
    • 11.6 本章小结 269
    • 11.7 思考题 270
  • 第 12 章 模型微调实战 271
    • 12.1 微调数据集的选择与准备 271
      • 12.1.1 数据集准备与清洗 271
      • 12.1.2 数据集分割 272
      • 12.1.3 数据增强 272
    • 12.2 层级冻结与部分解冻策略 274
    • 12.3 模型参数调整与优化技巧 276
    • 12.4 微调后的模型评估与推理优化 278
    • 12.5 综合微调应用案例 280
    • 12.6 本章小结 283
    • 12.7 思考题 283

大模型应用开发极简入门:基于 GPT-4 和 ChatGPT

内容简介

本书为大模型应用开发极简入门手册,为初学者提供了一份清晰、全面的“最小可用知识”,带领大家快速了解GPT-4和ChatGPT的工作原理及优势,并在此基础上使用流行的Python编程语言构建大模型应用。通过本书,你不仅可以学会如何构建文本生成、问答和内容摘要等初阶大模型应用,还能了解到提示工程、模型微调、插件、LangChain等高阶实践技术。书中提供了简单易学的示例,帮你理解并应用在自己的项目中。此外,书后还提供了一份术语表,方便你随时参考。
准备好了吗?只需了解Python,你即可将本书作为进入大模型时代的启动手册,开发出自己的大模型应用。

编辑推荐

  • 【0门槛】人人都可以借力大模型,做出 AI 应用
  • 【简单】学习大模型应用开发的“Z小可用知识”
  • 【实操】学会写提示词、模型微调、使用 LangChain 等
  • 【实战】提供常用场景代码示例,方便快速学习
  • 【快速】2H 上手构建你的第一个原生 AI 应用
  • 【全面】了解 GPT-4 和 ChatGPT 的工作原理
  • 【品控】一线从业者翻译,注释说明内容更新
  • 【推荐】大模型一线创业者、应用技术专家推荐

作者简介

奥利维耶·卡埃朗(Olivier Caelen)
国际支付服务先驱Worldline公司机器学习研究员、布鲁塞尔自由大学机器学习博士,业余时间在布鲁塞尔自由大学教授机器学习课程。

玛丽-艾丽斯·布莱特(Marie-Alice Blete)
国际支付服务先驱Worldline公司研发部门软件架构师、数据工程师。她还负责维护开发者关系,并担任技术演讲嘉宾。

目录

  • 推荐序一 学习成为善用 AI 的人
  • 推荐序二 开启一段有趣、有启发、有收获的冒险旅程
  • 推荐序三 人人都要学会和 AI 相处
  • 推荐序四 AI 工程师:做新一轮智能革命的首批探索者
  • 推荐序五 进入智能应用的新时代
  • 推荐序六 AGI:不要旁观,要真正参与
  • 推荐序七 不要害怕被 ChatGPT 取代,要做第一批驾驭新技术的人
  • 译者序 没有谁天生就是 AI 工程师
  • 前言
  • 第 1 章 初识 GPT-4 和 ChatGPT
  • 第 2 章 深入了解 GPT-4 和 ChatGPT 的 API
  • 第 3 章 使用 GPT-4 和 ChatGPT 构建应用程序
  • 第 4 章 GPT-4 和 ChatGPT 的高级技巧
  • 第 5 章 使用 LangChain 框架和插件增强 LLM 的功能
  • 术语表
  • 作者简介

Python深度学习实战:75个有关神经网络建模、强化学习与迁移

内容简介

本书以自上而下和自下而上的方法来展示针对不同领域实际问题的深度学习解决方案,包括图像识别、自然语言处理、时间序列预测和机器人操纵等。还讨论了采用诸如TensorFlow、PyTorch、Keras和CNTK等流行的深度学习开源框架用于实际问题的解决方案及其优缺点。本书内容包括:用于深度学习的编程环境、GPU计算和云端解决方案;前馈神经网络与卷积神经网络;循环与递归神经网络;强化学习与生成对抗网络;深度学习用于计算机视觉、自然语言处理、语音识别、视频分析、时间序列预测、结构化数据分析以及游戏智能体(Agents)和机器人操控等。后讨论了深度学习的超参数选择和神经网络的内在结构以及预训练模型的使用技巧等。

作者简介

Indra den Bakker是一位经验丰富的深度学习工程师和培训师。他是23insights平台的创始人,这是NVIDIA所属孵化项目计划的一部分,这是一个机器学习构建解决方案的初创型计划,可以改变世界上重要的行业。在开放课程平台Udacity,他指导了在深度学习和相关领域攻读微学位(Nanodegree)的学生,他还负责审查学生的实习项目。Indra拥有计算智能背景,并在创建23insights平台之前作为IPG Mediabrands的品牌代理以及Screen6的数据科学家若干年。

目录

  • 译者序
  • 原书前言
  • 第1章 编程环境、GPU计算、云解决方案和深度学习框架 1
    • 1.1 简介 1
    • 1.2 搭建一个深度学习环境 2
    • 1.3 在AWS上启动实例 2
    • 1.4 在GCP上启动实例 3
    • 1.5 安装CUDA和cuDNN 4
    • 1.6 安装Anaconda和库文件 6
    • 1.7 连接服务器上的JupyterNotebooks 7
    • 1.8 用 TensorFlow构建进的即用模型 8
    • 1.9 直观地用Keras建立网络 10
    • 1.10 使用PyTorch的RNN动态计算图 12
    • 1.11 用CNTK实现高性能模型 14
    • 1.12 使用MXNet构建高效的模型 15
    • 1.13 使用简单、高效的Gluon编码定义网络 17
  • 第2章 前馈神经网络 19
    • 2.1 简介 19
    • 2.2 理解感知器 19
    • 2.3 实现一个单层神经网络 23
    • 2.4 构建一个多层神经网络 27
    • 2.5 开始使用激活函数 30
    • 2.6 关于隐层和隐层神经元的实验 35
    • 2.7 实现一个自动编码器 38
    • 2.8 调整损失函数 41
    • 2.9 测试不同的优化器 44
    • 2.10 使用正则化技术提高泛化能力 47
    • 2.11 添加Dropout以防止过拟合 51
  • 第3章 卷积神经网络 56
    • 3.1 简介 56
    • 3.2 开始使用滤波器和参数共享 56
    • 3.3 应用层合并技术 60
    • 3.4 使用批量标准化进行优化 62
    • 3.5 理解填充和步长 66
    • 3.6 试验不同类型的初始化 72
    • 3.7 实现卷积自动编码器 76
    • 3.8 将一维CNN应用于文本 79
  • 第4章 递归神经网络 81
    • 4.1 简介 81
    • 4.2 实现一个简单的RNN 82
    • 4.3 添加LSTM 84
    • 4.4 使用GRU 86
    • 4.5 实现双向RNN 89
    • 4.6 字符级文本生成 91
  • 第5章 强化学习 95
    • 5.1 简介 95
    • 5.2 实现策略梯度 95
    • 5.3 实现深度Q学习算法 102
  • 第6章 生成对抗网络 109
    • 6.1 简介 109
    • 6.2 了解GAN 109
    • 6.3 实现DCGAN 112
    • 6.4 使用SRGAN来提高图像分辨率 117
  • 第7章 计算机视觉 125
    • 7.1 简介 125
    • 7.2 利用计算机视觉技术增广图像 125
    • 7.3 图像中的目标分类 130
    • 7.4 目标在图像中的本地化 134
    • 7.5 实时检测框架 139
    • 7.6 用U-net将图像分类 139
    • 7.7 语义分割与场景理解 143
    • 7.8 寻找人脸面部关键点 147
    • 7.9 人脸识别 151
    • 7.10 将样式转换为图像 157
  • 第8章 自然语言处理 162
    • 8.1 简介 162
    • 8.2 情绪分析 162
    • 8.3 句子翻译 165
    • 8.4 文本摘要 169
  • 第9章 语音识别和视频分析 174
    • 9.1 简介 174
    • 9.2 从零开始实现语音识别流程 174
    • 9.3 使用语音识别技术辨别讲话人 177
    • 9.4 使用深度学习理解视频 181
  • 第10章 时间序列和结构化数据 185
    • 10.1 简介 185
    • 10.2 使用神经网络预测股票价格 185
    • 10.3 预测共享单车需求 189
    • 10.4 使用浅层神经网络进行二元分类 192
  • 第11章 游戏智能体和机器人 194
    • 11.1 简介 194
    • 11.2 通过端到端学习来驾驶汽车 194
    • 11.3 通过深度强化学习来玩游戏 199
    • 11.4 用GA优化超参数 205
  • 第12章 超参数选择、调优和神经网络学习 211
    • 12.1 简介 211
    • 12.2 用TensorBoard和Keras可视化训练过程 211
    • 12.3 使用批量和小批量工作 215
    • 12.4 使用网格搜索调整参数 219
    • 12.5 学习率和学习率调度 221
    • 12.6 比较优化器 224
    • 12.7 确定网络的深度 227
    • 12.8 添加Dropout以防止过拟合 227
    • 12.9 通过数据增广使模型更加鲁棒 232
    • 12.10 利用TTA来提高精度 234
  • 第13章 网络内部构造 235
    • 13.1 简介 235
    • 13.2 用TensorBoard可视化训练过程 235
    • 13.3 用TensorBoard可视化网络结构 239
    • 13.4 分析网络权重等 239
    • 13.5 冻结层 244
    • 13.6 存储网络结构并训练权重 246
  • 第14章 预训练模型 250
    • 14.1 简介 250
    • 14.2 使用GoogLeNet/Inception进行大规模视觉识别 250
    • 14.3 用ResNet提取瓶颈特征 252
    • 14.4 对新类别使用预训练的VGG模型 253
    • 14.5 用Xception细调 256

一本书读懂AIGC:ChatGPT、AI绘画、智能文明与生产力变革

内容简介

《一本书读懂AIGC:ChatGPT、AI绘画、智能文明与生产力变革》以通俗易懂的方式从各个层面介绍了AIGC的基础知识,并辅以大量案例引领读者了解AIGC的应用实践,让读者可以更快速地利用AIGC改善工作和生活。 第1章从AI发展历史到资本市场近况阐述了AIGC产业的概况,第2章介绍了AIGC相关技术,第3章介绍了文本类AIGC技术的发展及其在传媒、教育、办公等场景中的应用,第4章介绍了声音类AIGC技术的发展及其在音乐、仿真等领域中的应用,第5章介绍了图片类AIGC技术的发展及其在图片生成、图片处理、图片识别等领域中的应用,第6章介绍了视频类AIGC技术的发展及其在视频生成、数字人等领域中的应用,第7章介绍了AIGC上下游产业链(包括芯片、VR等相关设备、元宇宙建模)的概况,第8章提出了AIGC对人类文明发展产生的影响,并对普通人如何应对AIGC带来的“生产力爆炸”提出方法论。 AIGC带来的生产力变革与每个人都息息相关,本书适合所有人阅读,特别是文本、图片、音视频等各类内容创作者,以及科技行业、金融行业的从业者和对AI领域感兴趣的读者。

作者简介

贾雪丽
上海技术交易所专家库专家,代尔夫特理工大学硕士,先后就职于 ING 银行、中国平安、光大集团等顶级金融科技企业,拥有丰富的人工智能、隐私计算及区块链等项目经验,申请人工智能相关发明专利 60 余项,在INTERSPEECH会议上发表论文一篇,参与撰写多个隐私计算行业报告和白皮书。
0xAres
利物浦大学硕士,曾先在投资公司工作,后就职于知名公链。从业期间主持制作过多个区块链系列课程,举办过多次“黑客松”,长期致力于区块链的科普教育,有Web3.0行业全领域孵化经验,乐于通过多种形式的内容创作传播Web3.0共识;2021年组建去创作者中心化组织a15a并开始编写新科技领域的科普书籍,主编了《一本书读懂Web3.0:区块链、NFT、元宇宙和DAO》和《一本书读懂NFT:区块链通证、元宇宙资产、Web3.0营销和数字化身份》。
张炯
星图比特创始人兼CEO,中国通信工业协会信息化科技创新专业委员会委员,上海技术交易所专家库专家;曾就职于IBM,拥有丰富的金融科技从业经验,长期服务中国人民银行、中国工商银行等大型金融机构,擅长技术融合、产业创新,对以区块链、人工智能为代表的数字经济技术有深刻的理解;拥有人工智能和数字资产相关专利8项,参与撰写了《一本书读懂Web3.0:区块链、NFT、元宇宙和DAO》和《一本书读懂NFT:区块链通证、元宇宙资产、Web3.0营销和数字化身份》。
a15a
a15a是一个Creator DAO(创作者去中心化组织),致力于以DAO的形式来产出新科技领域的内容,降低普通人了解科技的门槛。a15a已出版多本新科技科普书籍,并计划推出更多体系化课程和讲座。a15a的主要成员是区块链和人工智能领域的专家、从业者、研究人员和学生,以及法律合规领域的专业人士。在抖音、知乎、小红书、推特等平台上搜索“a15a”即可找到a15a官方账号。

目录

  • 第1章 我们为什么要关注AIGC 1
    • 1.1 从人工智能到人工智能生成内容 2
    • 1.2 巨头如是说 5
      • 1.2.1 国外“大厂”在AIGC领域的布局 5
      • 1.2.2 国内“大厂”在AIGC领域的布局 7
    • 1.3 资本狂潮 9
      • 1.3.1 融资规模 9
      • 1.3.2 AIGC领域大额融资事件一览 10
    • 1.4 异军突起的独角兽企业们 11
      • 14.1 OpenAI 11
      • 14.2 Stability AI 12
      • 1.4.3 Scale AI 13
    • 1.5 行业“大牛”:谁是下一个“乔布斯” 14
  • 第2章 AIGC相关技术介绍 16
    • 2.1 规则系统 19
    • 2.2 变分自编码器 20
    • 2.3 生成对抗网络 22
      • 2.3.1 GAN模型训练原理 22
      • 2.3.2 CGAN模型 24
      • 2.3.3 基于模型架构的衍生 24
      • 2.3.4 基于损失函数的衍生 25
      • 2.3.5 图像生成领域的衍生 25
    • 2.4 Transformer模型架构 26
    • 2.5 基于Transformer模型架构的LLM 28
      • 2.5.1 基于编码器的LLM 28
      • 2.5.2 基于解码器的LLM 35
      • 2.5.3 基于编码器和解码器的LLM 39
      • 2.5.4 BERT模型与GPT模型对比 39
    • 2.6 扩散模型 40
      • 2.6.1 扩散模型原理 41
      • 2.6.2 DALL·E 2模型 43
      • 2.6.3 Stable Diffusion模型 44
    • 2.7 其他模型 46
    • 2.8 LLM的前景光明 47
  • 第3章 下笔如有神:文本类AIGC 48
    • 3.1 何为“智能” 49
    • 3.2 拆解文本生成技术原理 52
      • 3.2.1 1950—1970年,NLP初露锋芒 52
      • 3.2.2 1980—2010年,NLP的寒冬与机遇并存 53
      • 3.2.3 2010—2019年,技术迸发与沉淀 54
      • 3.2.4 2019年到今,AIGC进入寻常百姓家 54
    • 3.3 文本类AIGC在传媒场景中的应用 55
      • 3.3.1 社交媒体文案:Jasper 55
      • 3.3.2 新闻写作:Quakebot、CNET 58
      • 3.3.3 剧本撰写:海马轻帆 58
    • 3.4 文本类AIGC在教育场景中的应用 59
      • 3.4.1 文章撰写:EssayGenuis 59
      • 3.4.2 出题和做题:高校联合团队开发的AI程序 65
      • 3.4.3 青少年教育:Cognii 65
    • 3.5 文本类AIGC在办公场景中的应用 66
      • 3.5.1 搜索引擎优化:Kafkai 66
      • 3.5.2 营销文案:Copysmith 68
      • 3.5.3 电子邮件:Compose.ai 69
      • 3.5.4 代码撰写:GitHub Copilot 69
    • 3.6 文本类AIGC的其他热门场景 71
      • 3.6.1 AI聊天机器人 71
      • 3.6.2 AIGC搜索引擎:Perplexity AI 73
    • 3.7 万众瞩目的ChatGPT 74
      • 3.7.1 ChatGPT是什么 74
      • 3.7.2 ChatGPT的海量应用场景 75
      • 3.7.3 GPT-4模型:截至2023年3月最强的AI模型 82
      • 3.7.4 ChatGPT对普通人意味着什么 85
    • 3.8 文本类AIGC的未来 85
  • 第4章 声临其境:声音类AIGC 88
    • 4.1 从让机器开口说话开始 89
      • 4.1.1 18到19世纪的尝试 89
      • 4.1.2 20世纪30年代,语音合成技术的萌芽 90
      • 4.1.3 20世纪50年代,计算机语音合成系统的起源 91
      • 4.1.4 20世纪末,传统的语音合成方法 92
      • 4.1.5 2016年,AIGC打破语音合成技术的发展瓶颈 93
      • 4.1.6 2017年,语音合成技术迎来研究热 94
    • 4.2 音乐类AIGC 99
      • 4.2.1 从留声机到个人计算机制作的电子音乐 99
      • 4.2.2 早期的音乐类AIGC 102
      • 4.2.3 端到端模型大展身手 106
      • 4.2.4 歌声合成 107
      • 4.2.5 音频延续 108
    • 4.3 人声类AIGC 108
      • 4.3.1 变声器 109
      • 4.3.2 语音助手 110
      • 4.3.3 有声内容创作 113
      • 4.3.4 智能电话机器人 116
      • 4.3.5 教育 116
      • 4.3.6 无障碍沟通 118
    • 4.4 声音类AIGC的未来 120
      • 4.4.1 业内观点 120
      • 4.4.2 声音类AIGC的局限性和未来展望 121
  • 第5章 如你所见:图片类AIGC 123
    • 5.1 从计算机艺术到算法模型艺术 124
      • 5.1.1 20世纪70年代,艺术家的午夜花园 125
      • 5.1.2 2012年,一次有突破意义的尝试:猫脸的识别与生成 125
      • 5.1.3 2014年,GAN模型问世 126
      • 5.1.4 2017年,梦始于Transformer模型 127
      • 5.1.5 2021年,文本与图片进行匹配:CLIP模型和文字提示词 127
      • 5.1.6 2020—2022年,图片生成技术开启AI绘画元年:扩散模型 129
    • 5.2 AI绘画 130
      • 5.2.1 主流的AI绘画工具介绍 130
      • 5.2.2 生成图片类AIGC的方式 133
      • 5.2.3 Prompt词组 137
    • 5.3 图片处理 146
      • 5.3.1 AI修图 146
      • 5.3.2 图片增强 146
      • 5.3.3 分割抠图 147
    • 5.4 图片类AIGC的衍生应用:AI识图和AI鉴图 152
      • 5.4.1 人脸和人体识别 153
      • 5.4.2 通用图片识别 155
      • 5.4.3 是否由AI绘画工具创作 158
    • 5.5 实用、有趣的图片世界 160
      • 5.5.1 头像生成 160
      • 5.5.2 模拟场景 164
      • 5.5.3 PPT生成 168
      • 5.5.4 设计 170
      • 5.5.5 稿件配图 173
      • 5.5.6 更多场景 174
    • 5.6 图片类AIGC的未来 175
      • 5.6.1 局限性和发展预测 175
      • 5.6.2 怎么看AI艺术 178
      • 5.6.3 笔者的一些浅见 180
  • 第6章 众所周知,视频是不能PS的:视频类AIGC 182
    • 6.1 视频生成技术的发展历程 183
      • 6.1.1 早期探索 184
      • 6.1.2 2014—2016年,视频生成起步:无条件视频生成 184
      • 6.1.3 2017年,潘多拉的魔盒:人像视频生成 185
      • 6.1.4 2018—2019年,视频生成视频技术的突破 185
      • 6.1.5 2021年,文本生成视频技术的发展 186
      • 6.1.6 2022年,扩散模型进军视频生成领域 187
    • 6.2 视频生成工具 188
      • 6.2.1 数字人视频生成工具 188
      • 6.2.2 视频编辑工具 189
      • 6.2.3 文本生成视频工具 189
    • 6.3 视频生成应用 190
      • 6.3.1 高清内容生成 190
      • 6.3.2 快速拆条和视频摘要生成 194
      • 6.3.3 场景植入 195
      • 6.3.4 视频卡通化 196
      • 6.3.5 文本生成视频 197
      • 6.3.6 数字人视频生成 198
      • 6.3.7 人脸视频生成 199
    • 6.4 数字人:仿生人与电子羊 201
    • 6.5 视频类AIGC的未来 204
      • 6.5.1 局限性 204
      • 6.5.2 未来预测 205
  • 第7章 AIGC的相关产业和生态发展 207
    • 7.1 芯片:算力决定智力 208
      • 7.1.1 在AIGC领域中,现在用什么芯片 209
      • 7.1.2 随着AIGC的发展,对芯片会有什么新的需求 216
    • 7.2 AIGC展示端口:AR/VR/MR/XR设备 218
      • 7.2.1 AR设备 218
      • 7.2.2 VR设备 219
    • 7.3 模型类AIGC应用在元宇宙里自动化建模 221
      • 7.3.1 拍视频就可以得到模型?基于视频自动化生成模型 222
      • 7.3.2 元宇宙版的神笔马良,基于文本自动化生成三维模型 223
      • 7.3.3 穿越空间,虚拟直播空间建设 224
      • 7.3.4 你元宇宙的化身——数字人生成技术 225
      • 7.3.5 把实物带到元宇宙中,基于三维激光扫描设备的文物逆向建模 226
    • 7.4 AIGC应用的未来 226
  • 第8章 AI文明的降临已开启倒计时 228
    • 8.1 何谓内容 229
    • 8.2 AIGC的版权争议 230
    • 8.3 普通人的AIGC时代生存建议 232
      • 8.3.1 生产力工具:“人工”+“智能”=最强“打工人” 234
      • 8.3.2 做AIGC应用的老师,为人类的“群体智慧”做贡献 237
      • 8.3.3 向AIGC应用学习逻辑,同时关注创新 237
    • 后记 239

AI系统原理与架构

内容简介

主要围绕AI 系统的理论基础与技术基础知识展开,结合实例进行介绍,旨在让读者了解AI 系统的来龙去脉,形成对AI 系统的系统化与层次化的初步理解,掌握AI 系统基本理论、技术、实际应用及研究方向,为后续从事具体的学习研究工作和项目开发工作奠定基础。内容涵盖AI硬件与体系结构、AI 编译与计算架构、AI 推理系统与引擎、AI 框架核心模块四篇,涉及AI 系统从底层原理到应用落地的全貌,反映了AI 系统架构的前沿技术。

作者简介

ZOMI 酱
华为昇腾技术专家,上海交通大学企业导师深圳市创新人才,B站AI科普UP主。曾主持昇腾大模型分布式加速库MindSpeed、大模型套件MindFormers等构建和开发。多次获国家级创新项目奖。出版《AI系统原理与架构》《深度强化学习原理与实践》等3本著作,累积发表专利113篇。

苏统华
哈尔滨工业大学教授、软件学院副院长,人工智能祖冲之奖评委。负责新一代人工智能重大专项课题、国家重点研发课题等30余项,牵头教育部卓工人工智能领域研究生核心课“人工智能系统架构”。获聘华为首批昇腾领军人物(全国14人)

目录

  1. 目录
    1. 第1章 AI系统概述/1
      1. AI历史与现状/1
      2. A I发展驱动力/11
      3. A I系统架构介绍/19
      4. A I系统与A I算法关系/27
    2. **篇 A I硬件与体系结构
      1. 第2章 A I计算体系/37
        1. 引言/37
        2. A I计算模式/41
        3. 关键设计指标/57
        4. 核心计算之矩阵乘/63
        5. 计算之比特位宽/67
      2. 第3章 A I芯片体系/72
        1. C P U基础/72
        2. C P U指令集架构/81
        3. C P U计算本质/94
        4. C P U计算时延/99
        5. G P U基础/104
        6. A I专用芯片基础/123
      3. 第4章 G P U—以英伟达为例/130
        1. 引言/130
        2. Tensor Core基本原理/154
        3. Tensor Core架构演进/160
        4. Tensor Core深度剖析/171
        5. 分布式通信/179
        6. N VLink原理剖析 /186
        7. N VSwitch深度解析/194
      4. 第5章 T P U—以谷歌为例/202
        1. 引言/202
        2. 谷歌T P U v1脉动阵列/212
        3. 谷歌T P U v2训练芯片/219
        4. 谷歌T P U v3 Pod服务器/228
        5. 谷歌T P U v4与光路交换/235
      5. 第6章 N P U—以昇腾为例/244
        1. 引言/244
        2. 昇腾A I处理器/251
        3. 昇腾A I核心单元/259
        4. 昇腾数据布局转换/273
      6. 第7章 A I芯片思考与展望/279
        1. G P U架构与C U D A关系/279
        2. 从G P U对A I芯片思考/285
        3. A I芯片发展方向/291
        4. 超异构计算/298
    3. 第二篇 A I编择与计算架构
      1. 第8章 传统编译器/311
        1. 引言/311
        2. 传统编译器介绍/318
        3. G C C基本介绍与特征/324
        4. L L V M架构设计和原理/329
        5. L L V M I R基本概念/334
        6. L L V M I R细节详解/340
        7. L L V M前端和优化层/345
        8. L L V M后端代码生成/350
      2. 第9章 A I编译器/356
        1. 引言/356
        2. A I编译器历史阶段/365
        3. A I编译器基本架构/371
        4. A I编译器挑战与思考/378
      3. 第10章 前端优化/388
        1. 引言/388
        2. 图算I R/389
        3. 算子融合/393
        4. 布局转换原理/400
        5. 内存分配算法/406
        6. 常量折叠原理/412
        7. 公共子表达式消除原理/415
        8. 死代码消除/417
        9. 代数简化/420
      4. 第11章 后端优化/425
        1. 弓1言/425
        2. 计算与调度/428
        3. 算子手工优化/434
        4. 算子循环优化/440
        5. 指令和存储优化/447
        6. A u t o-Tuning 原理/452
      5. 第12章 计算架构/454
        1. 芯片的编程体系/454
        2. SIMD & SIMT与芯片架构/456
        3. SIMD & SIMT与编程关系/465
        4. C U D A计算结构/470
      6. 第13章 C A N N&Ascend C计算架构/475
        1. 昇腾异构计算架构C A N N/475
        2. C A N N与算子/482
        3. 算子开发编程语言Ascend C/485
        4. Ascend C语法扩展/492
        5. Ascend C编程范式以向量为例/500
    4. 第三篇 A I推理系统与引擎
      1. 第14章 推理系统/511
        1. 引言/511
        2. 推理系统介绍/515
        3. 推理流程全景/523
        4. 推理系统架构/526
        5. 推理引擎架构/530
        6. 昇腾推理引擎M r n d l E/549
        7. 昇腾计算语言AscendCL/552
      2. 第15章 模型小型化/561
        1. 推理参数了解/561
        2. C N N模型小型化/563
        3. Transformer模型小型化/579
      3. 第16章 模型轻量化/585
        1. 引言/585
        2. 量化基本原理/586
        3. 感知量化训练/592
        4. 训练后量化与部署/598
        5. 模型剪枝原理/604
        6. 知识蒸馏原理/611
      4. 第17章 模型转换/619
        1. 引言/619
        2. 推理文件格式/626
        3. 自定义计算图/634
        4. 模型转换流程/643
      5. 第18章 计算图优化架构/647
        1. 引言/647
        2. 离线图优化技术/651
        3. 其他计算图优化/667
      6. 第19章 Kernel优化/676
        1. 引言/676
        2. 卷积计算原理/680
        3. Im2Col算法/690
        4. W m o grad算法/698
        5. Q N N P A C K算法/705
        6. 推理内存布局/715
    5. 第四篇 A I框架核心模块
      1. 第20章 A I框架基础/721
        1. 引言/721
        2. A I框架作用/721
        3. A I框架之争/727
        4. A I框架的编程范式/735
        5. 昇思MrndSpore关键特性/741
      2. 第21章 自动微分/753
        1. 引言/753
        2. 什么是微分/753
        3. 微分计算模式/760
        4. 微分实现方式/768
        5. 动手实现自动微分/775
        6. 动手实现PyTorch微分/778
        7. 自动微分的挑战和未来/784
      3. 第22章 计算图/790
        1. 引言/790
        2. 计算图基本原理/791
        3. 计算图与自动微分/798
        4. 计算图的调度与执行/804
        5. 计算图的控制流实现/811
        6. 动态图与静态图转换/818
      4. 第23章 分布式并行/823
        1. 引言/823
        2. 数据并行/823
        3. 数据并行进阶/837
        4. 张量并行/849
        5. 流水并行/855
        6. 混合并行/858
        7. 昇思 MindSpore并行/860
    6. 参考文献/867
    7. 索引/883
    8. 彩图

深度学习框架PyTorch:入门与实践

内容简介

《深度学习框架PyTorch:入门与实践》从多维数组Tensor开始,循序渐进地带领读者了解PyTorch各方面的基础知识。结合基础知识和前沿研究,带领读者从零开始完成几个经典有趣的深度学习小项目,包括GAN生成动漫头像、AI滤镜、AI写诗等。《深度学习框架PyTorch:入门与实践》没有简单机械地介绍各个函数接口的使用,而是尝试分门别类、循序渐进地向读者介绍PyTorch的知识,希望读者对PyTorch有一个完整的认识。

《深度学习框架PyTorch:入门与实践》内容由浅入深,无论是深度学习的初学者,还是第一次接触PyTorch的研究人员,都能在学习本书的过程中快速掌握PyTorch。即使是有一定PyTorch使用经验的用户,也能够从本书中获得对PyTorch不一样的理解。

作者简介

陈云
Python程序员、Linux爱好者和PyTorch源码贡献者。主要研究方向包括计算机视觉和机器学习。“2017知乎看山杯机器学习挑战赛”一等奖,“2017天池医疗AI大赛”第八名。 热衷于推广PyTorch,并有丰富的使用经验,活跃于PyTorch论坛和知乎相关板块。

目录

  1. PyTorch简介
    1. PyTorch的诞生
    2. 常见的深度学习框架简介
      1. Theano
      2. TensorFlow
      3. Keras
      4. Caffe/Caffe2
      5. MXNet
      6. CNTK
      7. 其他框架
    3. 属于动态图的未来
    4. 为什么选择PyTorch
    5. 星火燎原
    6. fast.ai 放弃Keras+TensorFlow选择PyTorch
  2. 快速入门
    1. 安装与配置
      1. 安装PyTorch
      2. 学习环境配置
    2. PyTorch入门第一步
      1. Tensor
      2. Autograd:自动微分
      3. 神经网络
      4. 小试牛刀:CIFAR-10分类
  3. Tensor和autograd
    1. Tensor
      1. 基础操作
      2. Tensor和Numpy
      3. 内部结构
      4. 其他有关Tensor的话题
      5. 小试牛刀:线性回归
    2. autograd
      1. Variable
      2. 计算图
      3. 扩展autograd
      4. 小试牛刀:用Variable实现线性回归
  4. 神经网络工具箱nn
    1. nn.Module
    2. 常用的神经网络层
      1. 图像相关层
      2. 激活函数
      3. 循环神经网络层
      4. 损失函数
    3. 优化器
    4. nn.functional
    5. 初始化策略
    6. nn.Module深入分析
    7. nn和autograd的关系
    8. 小试牛刀:用50行代码搭建ResNet
  5. PyTorch中常用的工具
    1. 数据处理
    2. 计算机视觉工具包:torchvision
    3. 可视化工具
      1. Tensorboard
      2. visdom
    4. 使用GPU加速:cuda
    5. 持久化
  6. PyTorch实战指南
    1. 编程实战:猫和狗二分类
      1. 比赛介绍
      2. 文件组织架构
      3. 关于__init__.py
      4. 数据加载
      5. 模型定义
      6. 工具函数
      7. 配置文件
      8. main.py
      9. 使用
      10. 争议
    2. PyTorch Debug 指南
      1. ipdb 介绍
      2. 在PyTorch中Debug
  7. AI插画师:生成对抗网络
    1. GAN的原理简介
    2. 用GAN生成动漫头像
    3. 实验结果分析
  8. AI艺术家:神经网络风格迁移
    1. 风格迁移原理介绍
    2. 用PyTorch实现风格迁移
    3. 实验结果分析
  9. AI诗人:用RNN写诗
    1. 自然语言处理的基础知识
      1. 词向量
      2. RNN
    2. CharRNN
    3. 用PyTorch实现CharRNN
    4. 实验结果分析
  10. Image Caption:让神经网络看图讲故事
    1. 图像描述介绍
    2. 数据
      1. 数据介绍
      2. 图像数据处理
      3. 数据加载
    3. 模型与训练
    4. 实验结果分析
  11. 展望与未来
    1. PyTorch的局限与发展
    2. 使用建议

深度学习

内容简介

《深度学习》由全球知名的三位专家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写,是深度学习领域奠基性的经典教材。全书的内容包括3个部分:第1部分介绍基本的数学工具和机器学习的概念,它们是深度学习的预备知识;第2部分系统深入地讲解现今已成熟的深度学习方法和技术;第3部分讨论某些具有前瞻性的方向和想法,它们被公认为是深度学习未来的研究重点。

《深度学习》适合各类读者阅读,包括相关专业的大学生或研究生,以及不具有机器学习或统计背景、但是想要快速补充深度学习知识,以便在实际产品或平台中应用的软件工程师。

作者简介

作者简介
Ian Goodfellow,谷歌公司(Google) 的研究科学家,2014 年蒙特利尔大学机器学习博士。他的研究兴趣涵盖大多数深度学习主题,特别是生成模型以及机器学习的安全和隐私。Ian Goodfellow 在研究对抗样本方面是一位有影响力的早期研究者,他发明了生成式对抗网络,在深度学习领域贡献卓越。
Yoshua Bengio,蒙特利尔大学计算机科学与运筹学系(DIRO) 的教授,蒙特利尔学习算法研究所(MILA) 的负责人,CIFAR 项目的共同负责人,加拿大统计学习算法研究主席。Yoshua Bengio 的主要研究目标是了解产生智力的学习原则。他还教授“机器学习”研究生课程(IFT6266),并培养了一大批研究生和博士后。
Aaron Courville,蒙特利尔大学计算机科学与运筹学系的助理教授,也是LISA 实验室的成员。目前他的研究兴趣集中在发展深度学习模型和方法,特别是开发概率模型和新颖的推断方法。Aaron Courville 主要专注于计算机视觉应用,在其他领域,如自然语言处理、音频信号处理、语音理解和其他AI 相关任务方面也有所研究。

中文版审校者简介
张志华,北京大学数学科学学院统计学教授,北京大学大数据研究中心和北京大数据研究院数据科学教授,主要从事机器学习和应用统计学的教学与研究工作。

译者简介
赵申剑,上海交通大学计算机系硕士研究生,研究方向为数值优化和自然语言处理。
黎彧君,上海交通大学计算机系博士研究生,研究方向为数值优化和强化学习。
符天凡,上海交通大学计算机系硕士研究生,研究方向为贝叶斯推断。
李凯,上海交通大学计算机系博士研究生,研究方向为博弈论和强化学习。

目录

中文版致谢
英文原书致谢
数学符号
第1章 引言
1.1 本书面向的读者
1.2 深度学习的历史趋势
第1部分 应用数学与机器学习基础
第2章 线性代数
2.1 标量、向量、矩阵和张量
2.2 矩阵和向量相乘
2.3 单位矩阵和逆矩阵
2.4 线性相关和生成子空间
2.5 范数
2.6 特殊类型的矩阵和向量
2.7 特征分解
2.8 奇异值分解
2.9 Moore-Penrose伪逆
2.10 迹运算
2.11 行列式
2.12 实例:主成分分析
第3章 概率与信息论
3.1 为什么要使用概率
3.2 随机变量
3.3 概率分布
3.4 边缘概率
3.5 条件概率
3.6 条件概率的链式法则
3.7 独立性和条件独立性
3.8 期望、方差和协方差
3.9 常用概率分布
3.10 常用函数的有用性质
3.11 贝叶斯规则
3.12 连续型变量的技术细节
3.13 信息论
3.14 结构化概率模型
第4章 数值计算
4.1 上溢和下溢
4.2 病态条件
4.3 基于梯度的优化方法
4.4 约束优化
4.5 实例:线性最小二乘
第5章 机器学习基础
5.1 学习算法
5.2 容量、过拟合和欠拟合
5.3 超参数和验证集
5.4 估计、偏差和方差
5.5 最大似然估计
5.6 贝叶斯统计
5.7 监督学习算法
5.8 无监督学习算法
5.9 随机梯度下降
5.10 构建机器学习算法
5.11 促使深度学习发展的挑战
第2部分 深度网络:现代实践
第6章 深度前馈网络
6.1 实例:学习XOR
6.2 基于梯度的学习
6.3 隐藏单元
6.4 架构设计
6.5 反向传播和其他的微分算法
6.6 历史小记
第7章 深度学习中的正则化
7.1 参数范数惩罚
7.2 作为约束的范数惩罚
7.3 正则化和欠约束问题
7.4 数据集增强
7.5 噪声鲁棒性
7.6 半监督学习
7.7 多任务学习
7.8 提前终止
7.9 参数绑定和参数共享
7.10 稀疏表示
7.11 Bagging和其他集成方法
7.12 Dropout
7.13 对抗训练
7.14 切面距离、正切传播和流形正切分类器
第8章 深度模型中的优化
8.1 学习和纯优化有什么不同
8.2 神经网络优化中的挑战
8.3 基本算法
8.4 参数初始化策略
8.5 自适应学习率算法
8.6 二阶近似方法
8.7 优化策略和元算法
第9章 卷积网络
9.1 卷积运算
9.2 动机
9.3 池化
9.4 卷积与池化作为一种无限强的先验
9.5 基本卷积函数的变体
9.6 结构化输出
9.7 数据类型
9.8 高效的卷积算法
9.9 随机或无监督的特征
9.10 卷积网络的神经科学基础
9.11 卷积网络与深度学习的历史
第10章 序列建模:循环和递归网络
10.1 展开计算图
10.2 循环神经网络
10.3 双向RNN
10.4 基于编码-解码的序列到序列架构
10.5 深度循环网络
10.6 递归神经网络
10.7 长期依赖的挑战
10.8 回声状态网络
10.9 渗漏单元和其他多时间尺度的策略
10.10 长短期记忆和其他门控RNN
10.11 优化长期依赖
10.12 外显记忆
第11章 实践方法论
11.1 性能度量
11.2 默认的基准模型
11.3 决定是否收集更多数据
11.4 选择超参数
11.5 调试策略
11.6 示例:多位数字识别
第12章 应用
12.1 大规模深度学习
12.2 计算机视觉
12.3 语音识别
12.4 自然语言处理
12.5 其他应用
第3部分 深度学习研究
第13章 线性因子模型
13.1 概率PCA和因子分析
13.2 独立成分分析
13.3 慢特征分析
13.4 稀疏编码
13.5 PCA的流形解释
第14章 自编码器
14.1 欠完备自编码器
14.2 正则自编码器
14.3 表示能力、层的大小和深度
14.4 随机编码器和解码器
14.5 去噪自编码器详解
14.6 使用自编码器学习流形
14.7 收缩自编码器
14.8 预测稀疏分解
14.9 自编码器的应用
第15章 表示学习
15.1 贪心逐层无监督预训练
15.2 迁移学习和领域自适应
15.3 半监督解释因果关系
15.4 分布式表示
15.5 得益于深度的指数增益
15.6 提供发现潜在原因的线索
第16章 深度学习中的结构化概率模型
16.1 非结构化建模的挑战
16.2 使用图描述模型结构
16.3 从图模型中采样
16.4 结构化建模的优势
16.5 学习依赖关系
16.6 推断和近似推断
16.7 结构化概率模型的深度学习方法
第17章 蒙特卡罗方法
17.1 采样和蒙特卡罗方法
17.2 重要采样
17.3 马尔可夫链蒙特卡罗方法
17.4 Gibbs采样
17.5 不同的峰值之间的混合挑战
第18章 直面配分函数
18.1 对数似然梯度
18.2 随机最大似然和对比散度
18.3 伪似然
18.4 得分匹配和比率匹配
18.5 去噪得分匹配
18.6 噪声对比估计
18.7 估计配分函数
第19章 近似推断
19.1 把推断视作优化问题
19.2 期望最大化
19.3 最大后验推断和稀疏编码
19.4 变分推断和变分学习
19.5 学成近似推断
第20章 深度生成模型
20.1 玻尔兹曼机
20.2 受限玻尔兹曼机
20.3 深度信念网络
20.4 深度玻尔兹曼机
20.5 实值数据上的玻尔兹曼机
20.6 卷积玻尔兹曼机
20.7 用于结构化或序列输出的玻尔兹曼机
20.8 其他玻尔兹曼机
20.9 通过随机操作的反向传播
20.10 有向生成网络
20.11 从自编码器采样
20.12 生成随机网络
20.13 其他生成方案
20.14 评估生成模型
20.15 结论
参考文献
索引

动手学PyTorch建模与应用:从深度学习到大模型

内容简介  · · · · · ·

《动手学PyTorch建模与应用:从深度学习到大模型》是一本从零基础上手深度学习和大模型的PyTorch实战指南。《动手学PyTorch建模与应用:从深度学习到大模型》共11章,第1章主要介绍深度学习的概念、应用场景及开发环境搭建。第2章详细介绍PyTorch数学基础,包括函数、微分、数理统计、矩阵等基础知识及其案例。第3章介绍数据预处理及常用工具,包括NumPy、Pandas、Matplotlib、数据清洗、特征工程以及深度学习解决问题的一般步骤等。第4章介绍PyTorch基础知识,包括张量的创建、激活函数、损失函数、优化器等。第5章介绍PyTorch深度神经网络,包括神经网络概述、卷积神经网络、循环神经网络等。第6章介绍PyTorch数据建模,包括回归分析、聚类分析、主成分分析、模型评估与调优等。第7~10章介绍PyTorch图像建模、文本建模、音频建模和模型可视化。第11章介绍大语言模型的原理、主要的大语言模型及模型本地化部署、预训练与微调技术。本书还精心设计了50个动手案例和上机练习题,并对所有代码进行了详尽注释和说明,同时提供数据集和配书资源文件,以帮助读者更好地使用本书。 《动手学PyTorch建模与应用:从深度学习到大模型》讲解深入浅出,注重动手实操,特别适合想学习AI技术或想进入该领域的初学者,对深度学习感兴趣的新手、在校学生和从业者阅读,也很适合作为培训机构和高校相关专业的教学用书。

作者简介  · · · · · ·

王国平,毕业于上海海洋大学,硕士,从业10余年,主要从事数据可视化、数据挖掘和大数据分析与研究等工作。精通数据挖掘技术与相关软件工具,包括Tableau、SPSS、PyTorch、Power Bl等,已出版《IBM SPSS Modeler数据与文本挖掘实战》《Microsoft Power Bl数据可视化与数据分析》《Tableau数据可视化从入门到精通》《零基础入门Python数据分析与机器学习》等图书。

目录  · · · · · ·

第 1 章 深度学习和PyTorch概述 1

  1. 走进深度学习的世界 1
    1. 深度学习的发展历史 1
    2. 深度学习框架PyTorch 3
    3. 深度学习的应用领域 4
  2. 搭建开发环境 5
    1. 安装Python 3.12 5
    2. 安装代码开发工具Jupyter Lab 9
    3. 安装PyTorch 2.2 10
  3. PyTorch的应用场景 14
  4. 上机练习题 14

第 2 章 PyTorch数学基础 17

  1. PyTorch中的函数 17
    1. 函数的基础知识 17
    2. PyTorch中的主要函数 20
  2. 微分基础 22
    1. 微分及其公式 22
    2. PyTorch自动微分 24
  3. 数理统计基础 29
    1. 数理统计及其指标 29
    2. PyTorch统计函数 34
  4. 矩阵基础 45
    1. 矩阵及其运算 45
    2. PyTorch矩阵运算 47
  5. 动手练习:拟合余弦函数曲线 54
  6. 上机练习题 58

第 3 章 数据预处理及常用工具 62

  1. NumPy 62
    1. 安装和导入NumPy 62
    2. NumPy的数据结构ndarray 63
    3. NumPy的基本使用 63
  2. Matplotlib 65
    1. 安装和导入Matplotlib 65
    2. Matplotlib的使用示例 66
  3. 数据清洗 70
    1. 数据清洗的作用 70
    2. 用Pandas进行数据清洗 71
  4. 特征工程 76
    1. 特征工程概述 76
    2. 使用Scikit-learn进行数据预处理 78
    3. 使用Pandas实现特征工程 81
  5. 深度学习解决问题的一般步骤 82
  6. 动手练习:每日最高温度预测 84
  7. 上机练习题 90

第 4 章 PyTorch基础知识 95

  1. 张量及其创建 95
    1. 张量及其数据类型 95
    2. 使用数组直接创建张量 96
    3. 使用概率分布创建张量 98
  2. 激活函数 99
    1. 激活函数及其必要性 99
    2. Sigmoid激活函数 100
    3. Tanh激活函数 101
    4. ReLU激活函数 102
    5. Leaky ReLU激活函数 103
    6. 其他类型的激活函数 104
  3. 损失函数 105
    1. 损失函数及其选取 106
    2. L1范数损失函数 106
    3. 均方误差损失函数 107
    4. 交叉熵损失函数 108
    5. 余弦相似度损失 109
    6. 其他损失函数 109
  4. 优化器 110
    1. 梯度及梯度下降算法 111
    2. 随机梯度下降算法 112
    3. 标准动量优化算法 112
    4. AdaGrad算法 113
    5. RMSProp算法 113
    6. Adam算法 114
  5. 动手练习:PyTorch优化器比较 114
  6. 上机练习题 119

第 5 章 PyTorch深度神经网络 124

  1. 神经网络概述 124
    1. 神经元模型 124
    2. 多层感知机 126
    3. 前馈神经网络 128
  2. 卷积神经网络 129
    1. 卷积神经网络的历史 129
    2. 卷积神经网络的结构 130
    3. 卷积神经网络的类型 131
  3. 循环神经网络 134
    1. 简单的循环神经网络 134
    2. 长短期记忆网络 136
    3. 门控循环单元 138
  4. 动手练习:股票成交量趋势预测 139
  5. 上机练习题 148

第 6 章 PyTorch数据建模 152

  1. 回归分析及案例 152
    1. 回归分析简介 152
    2. 回归分析建模 153
    3. 动手练习:住房价格回归预测 155
  2. 聚类分析及案例 160
    1. 聚类分析简介 160
    2. 聚类分析建模 160
    3. 动手练习:植物花卉特征聚类 162
  3. 主成分分析及案例 165
    1. 主成分分析简介 166
    2. 主成分分析建模 166
    3. 动手练习:地区竞争力指标降维 167
  4. 模型评估与调优 173
    1. 模型评估方法 173
    2. 模型调优方法 176
    3. 动手练习:PyTorch实现交叉验证 178
  5. 上机练习题 187

第 7 章 PyTorch图像建模 190

  1. 图像建模概述 190
    1. 图像分类技术 190
    2. 图像识别技术 191
    3. 图像分割技术 192
  2. 动手练习:创建图像自动分类器 193
    1. 加载数据集 193
    2. 搭建网络模型 194
    3. 训练网络模型 195
    4. 应用网络模型 196
  3. 动手练习:搭建图像自动识别模型 198
    1. 加载数据集 198
    2. 搭建与训练网络 200
    3. 预测图像数据 202
    4. 图像识别模型的判断 202
  4. 动手练习:搭建图像自动分割模型 204
    1. 加载数据集 205
    2. 搭建网络模型 206
    3. 训练网络模型 209
    4. 应用网络模型 210
  5. 上机练习题 212

第 8 章 PyTorch文本建模 220

  1. 自然语言处理的几个模型 220
    1. Word2Vec模型 220
    2. Seq2Seq模型 221
    3. Attention模型 222
  2. 动手练习:Word2Vec提取相似文本 223
    1. 加载数据集 223
    2. 搭建网络模型 227
    3. 训练网络模型 228
    4. 应用网络模型 230
  3. 动手练习:Seq2Seq实现机器翻译 231
    1. 加载数据集 231
    2. 搭建网络模型 237
    3. 训练网络模型 240
    4. 应用网络模型 242
  4. 动手练习:Attention模型实现文本自动分类 244
    1. 加载数据集 244
    2. 搭建网络模型 246
    3. 训练网络模型 247
    4. 应用网络模型 251
  5. 上机练习题 251

第 9 章 PyTorch音频建模 258

  1. 音频处理技术及应用 258
    1. 音频处理技术 258
    2. 音视频摘要技术及其应用 259
    3. 音频识别及应用 260
    4. 音频监控及应用 261
    5. 场景感知及应用 261
  2. 梅尔频率倒谱系数音频特征 262
    1. 梅尔频率倒谱系数简介及参数的提取过程 262
    2. 音频预处理 263
    3. 快速傅里叶变换 264
    4. 能量谱处理 264
    5. 离散余弦转换 265
  3. PyTorch音频建模技术 266
    1. 加载音频数据源 266
    2. 波形变换的类型 267
    3. 绘制波形频谱图 268
    4. 波形Mu-Law编码 270
    5. 变换前后波形的比较 272
  4. 动手练习:音频相似度分析 273
  5. 上机练习题 276

第 10 章 PyTorch模型可视化 278

  1. Visdom 278
    1. Visdom简介 278
    2. Visdom可视化操作 280
    3. 动手练习:识别手写数字 296
  2. TensorBoard 301
    1. TensorBoard简介 301
    2. TensorBoard基础操作 303
    3. 动手练习:可视化模型参数 312
  3. Pytorchviz 314
    1. Pytorchviz简介 314
    2. 动手练习:Pytorchviz建模可视化 314
  4. Netron 317
    1. Netron简介 317
    2. 动手练习:Netron建模可视化 317
  5. 上机练习题 321

第 11 章 从深度学习到大语言模型 323

  1. 大语言模型的原理 323
    1. 大语言模型简介 323
    2. Transformer架构 324
    3. 注意力机制 327
  2. 主要的大语言模型 331
    1. ChatGPT及其API调用 331
    2. 文心一言及其插件开发 334
    3. ChatGLM及其本地部署 338
  3. 模型预训练与微调 350
    1. 大模型预训练 350
    2. 大模型微调技术 353
  4. 上机练习题 361

参考文献 363

LangChain入门指南:构建高可复用、可扩展的LLM应用程序

内容简介  · · · · · ·

这本书专门为那些对自然语言处理技术感兴趣的读者提供了系统的LLM应用开发指南。全书分为11章,从LLM基础知识开始,通过LangChain这个开源框架为读者解读整个LLM应用开发流程。第1~2章概述LLM技术的发展背景和LangChain框架的设计理念。从第3章开始,分章深入介绍LangChain的6大模块,包括模型I/O、数据增强、链、记忆等,通过大量代码示例让读者了解其原理和用法。第9章通过构建PDF问答程序,帮助读者将之前学习的知识应用于实践。第10章则介绍集成,可拓宽LangChain的用途。第11章为初学者简要解析LLM的基础理论,如Transformer模型等。

《LangChain入门指南:构建高可复用、可扩展的LLM应用程序》以LangChain这个让人熟悉的框架为主线,引导读者一步一步掌握LLM应用开发流程,适合对大语言模型感兴趣的开发者、AI应用程序开发者阅读。

作者简介  · · · · · ·

李特丽,LangChain中文网联合创始人,优秀的软件工程师。曾翻译LangChain、OpenAi、Milvus等AI开发三件套的中文文档,帮助中国开发者快速上手AI开发。
康轶文,LangChain中文网创始人,2005年从个人站长做起,成为第一代SEO“大神”;2012年转型移动互联网营销,成为中国Apple Ads代理商,获得苹果千万美元授信;2022年转型月付制AI数字员工全托管服务,是一位经验丰富的数字员工和人工智能应用专家。

目录  · · · · · ·

  • 第1 章 LangChain:开启大语言模型时代的钥匙
    • 1.1 大语言模型概述
      • 1.1.1 什么是大语言模型
      • 1.1.2 大语言模型的发展
      • 1.1.3 大语言模型的应用场景
      • 1.1.4 大语言模型的基础知识
    • 1.2 LangChain 与大语言模型
  • 第2 章 LangChain 入门指南
    • 2.1 初识LangChain
      • 2.1.1 为什么需要LangChain
      • 2.1.2 LLM 应用开发的最后1 公里
      • 2.1.3 LangChain 的2 个关键词
      • 2.1.4 LangChain 的3 个场景
      • 2.1.5 LangChain 的6 大模块
    • 2.2 LangChain 的开发流程
      • 2.2.1 开发密钥指南
      • 2.2.2 编写一个取名程序
      • 2.2.3 创建你的第一个聊天机器人
    • 2.3 LangChain 表达式
  • 第3 章 模型I/O
    • 3.1 什么是模型I/O
    • 3.2 模型I/O 功能之模型包装器
      • 3.2.1 模型包装器分类
      • 3.2.2 LLM 模型包装器
      • 3.2.3 聊天模型包装器
    • 3.3 模型I/O 功能之提示词模板
      • 3.3.1 什么是提示词模板
      • 3.3.2 提示词模板的输入和输出
      • 3.3.3 使用提示词模板构造提示词
      • 3.3.4 少样本提示词模板
      • 3.3.5 多功能提示词模板
    • 3.4 模型I/O 功能之输出解析器
      • 3.4.1 输出解析器的功能
      • 3.4.2 输出解析器的使用
      • 3.4.3 Pydantic JSON 输出解析器
      • 3.4.4 结构化输出解析器
  • 第4 章 数据增强模块
    • 4.1 数据增强模块的相关概念
      • 4.1.1 LEDVR 工作流
      • 4.1.2 数据类型
    • 4.2 加载器
    • 4.3 嵌入模型包装器
      • 4.3.1 嵌入模型包装器的使用
      • 4.3.2 嵌入模型包装器的类型
    • 4.4 文档转换器
    • 4.5 向量存储库
      • 4.5.1 向量存储库的使用
      • 4.5.2 向量存储库的搜索方法
    • 4.6 检索器
      • 4.6.1 检索器的使用
      • 4.6.2 检索器的类型
  • 第5 章 链
    • 5.1 为什么叫链
      • 5.1.1 链的定义
      • 5.1.2 链的使用
      • 5.1.3 基础链类型
      • 5.1.4 工具链类型
    • 5.2 细说基础链
      • 5.2.1 LLM 链
      • 5.2.2 路由器链
      • 5.2.3 顺序链
    • 5.3 四大合并文档链
      • 5.3.1 Stuff 链
      • 5.3.2 Refine 链
      • 5.3.3 MapReduce 链
      • 5.3.4 重排链
    • 5.4 揭秘链的复杂性
      • 5.4.1 复杂链的“套娃”式设计
      • 5.4.2 LEDVR 工作流的终点:“上链”
  • 第6 章 记忆模块
    • 6.1 记忆模块概述
      • 6.1.1 记忆组件的定义
      • 6.1.2 记忆组件、链组件和Agent 组件的关系
      • 6.1.3 设置第一个记忆组件
      • 6.1.4 内置记忆组件
      • 6.1.5 自定义记忆组件
    • 6.2 记忆增强检索能力的实践
      • 6.2.1 获取外部数据
      • 6.2.2 加入记忆组件
    • 6.3 记忆增强Agent 能力的实践
    • 6.4 内置记忆组件的对比
      • 6.4.1 总结记忆组件
      • 6.4.2 会话记忆组件和会话窗口记忆组件的对比
      • 6.4.3 知识图谱记忆组件和实体记忆组件的比较
  • 第7 章 Agent 模块
    • 7.1 Agent 模块概述
      • 7.1.1 Agent 组件的定义
      • 7.1.2 Agent 组件的运行机制
      • 7.1.3 Agent 组件入门示例
      • 7.1.4 Agent 组件的类型
    • 7.2 Agent 组件的应用
      • 7.2.1 Agent 组件的多功能性
      • 7.2.2 自定义Agent 组件
      • 7.2.3 ReAct Agent 的实践
    • 7.3 工具组件和工具包组件
      • 7.3.1 工具组件的类型
      • 7.3.2 工具包组件的类型
    • 7.4 Agent 组件的功能增强
      • 7.4.1 Agent 组件的记忆功能增强
      • 7.4.2 Agent 组件的检索能力增强
  • 第8 章 回调处理器
    • 8.1 什么是回调处理器
      • 8.1.1 回调处理器的工作流程
      • 8.1.2 回调处理器的使用
      • 8.1.3 自定义链组件中的回调
    • 8.2 内置回调处理器
    • 8.3 自定义回调处理器
  • 第9 章 使用LangChain 构建应用程序
    • 9.1 PDF 问答程序
      • 9.1.1 程序流程
      • 9.1.2 处理PDF 文档
      • 9.1.3 创建问答链
    • 9.2 对话式表单
      • 9.2.1 OpenAI 函数的标记链
      • 9.2.2 标记链的使用
      • 9.2.3 创建提示词模板
      • 9.2.4 数据更新和检查
    • 9.3 使用LangChain 实现BabyAGI
      • 9.3.1 BabyAGI 介绍
      • 9.3.2 环境与工具
      • 9.3.3 向量存储
      • 9.3.4 构建任务链
      • 9.3.5 创建BabyAGI
      • 9.3.6 运行BabyAGI
  • 第10 章 集成
    • 10.1 集成的背景与LLM 集成
    • 10.2 LLM 集成指南
      • 10.2.1 Azure OpenAI 集成
      • 10.2.2 Hugging Face Hub 集成
    • 10.3 聊天模型集成指南
      • 10.3.1 Anthropic 聊天模型集成
      • 10.3.2 PaLM 2 聊天模型集成
      • 10.3.3 OpenAI 聊天模型集成
    • 10.4 向量库集成指南
      • 10.4.1 Chroma 集成
      • 10.4.2 Pinecone 集成
      • 10.4.3 Milvus 集成
    • 10.5 嵌入模型集成指南
      • 10.5.1 HuggingFaceEmbeddings 嵌入集成
      • 10.5.2 LlamaCppEmbeddings 嵌入集成
      • 10.5.3 Cohere 嵌入集成
    • 10.6 Agent toolkits 集成指南
      • 10.6.1 CSV Agent 的集成
      • 10.6.2 Pandas Dataframe Agent 的集成
      • 10.6.3 PowerBI Dataset Agent 的集成
    • 10.7 Retrievers 集成指南
      • 10.7.1 WikipediaRetriever 集成
      • 10.7.2 ArxivRetriever 集成
      • 10.7.3 Azure Cognitive Search 集成
  • 第11 章 LLM 应用开发必学知识
    • 11.1 LLM 的核心知识
      • 11.1.1 文本嵌入
      • 11.1.2 点积相似性和余弦相似性
      • 11.1.3 注意力机制
    • 11.2 Transformer 模型
    • 11.3 语义搜索
      • 11.3.1 语义搜索的工作原理
      • 11.3.2 RAG 的工作原理
    • 11.4 NLP 与机器学习基础
      • 11.4.1 LLM 应用开发中的传统机器学习方法
      • 11.4.2 NLP 文本预处理
      • 11.4.3 构建分类器
  • 附录A LangChain 框架中的主要类
  • 附录B OpenAI 平台和模型介绍
  • 附录C Claude 2 模型介绍
  • 附录D Cohere 模型介绍
  • 附录E PaLM 2 模型介绍
  • 附录F Pinecone 向量数据库介绍
  • 附录G Milvus 向量数据库介绍

从零开始大模型开发与微调:基于PyTorch与ChatGLM

内容简介

大模型是深度学习自然语言处理皇冠上的一颗明珠,也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架,以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术,为读者揭示大模型开发技术。本书配套示例源代码、PPT课件。

《从零开始大模型开发与微调:基于PyTorch与ChatGLM》共18章,内容包括人工智能与大模型、PyTorch 2.0深度学习环境搭建、从零开始学习PyTorch 2.0、深度学习基础算法详解、基于PyTorch卷积层的MNIST分类实战、PyTorch数据处理与模型展示、ResNet实战、有趣的词嵌入、基于PyTorch循环神经网络的中文情感分类实战、自然语言处理的编码器、预训练模型BERT、自然语言处理的解码器、强化学习实战、只具有解码器的GPT-2模型、实战训练自己的ChatGPT、开源大模型ChatGLM使用详解、ChatGLM高级定制化应用实战、对ChatGLM进行高级微调。

《从零开始大模型开发与微调:基于PyTorch与ChatGLM》适合PyTorch深度学习初学者、大模型开发初学者、大模型开发人员学习,也适合高等院校人工智能、智能科学与技术、数据科学与大数据技术、计算机科学与技术等专业的师生作为教学参考书。

作者简介

王晓华,高校计算机专业讲师,研究方向为云计算、大数据与人工智能。著有《PyTorch 2.0深度学习从零开始学》《Python机器学习与可视化分析实战》《谷歌JAX深度学习从零开始学》《Spark 3.0大数据分析与挖掘:基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow+Keras自然语言处理实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战:基于TensorFlow2.2的深度学习实践》《TensorFlow 2.0深度学习从零开始学》《深度学习的数学原理与实现》。

目录

目 录

第1章 新时代的曙光—人工智能与大模型 1

  • 1.1 人工智能:思维与实践的融合 1
    • 1.1.1 人工智能的历史与未来 2
    • 1.1.2 深度学习与人工智能 2
    • 1.1.3 选择PyTorch 2.0实战框架 3
  • 1.2 大模型开启人工智能的新时代 4
    • 1.2.1 大模型带来的变革 4
    • 1.2.2 最强的中文大模型—清华大学ChatGLM介绍 5
    • 1.2.3 近在咫尺的未来—大模型的应用前景 6
  • 1.3 本章小结 7

第2章 PyTorch 2.0深度学习环境搭建 8

  • 2.1 环境搭建1:安装Python 8
    • 2.1.1 Miniconda的下载与安装 8
    • 2.1.2 PyCharm的下载与安装 11
    • 2.1.3 Python代码小练习:计算Softmax函数 14
  • 2.2 环境搭建2:安装PyTorch 2.0 15
    • 2.2.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 15
    • 2.2.2 PyTorch 2.0 GPU Nvidia运行库的安装 15
    • 2.2.3 PyTorch 2.0小练习:Hello PyTorch 18
  • 2.3 生成式模型实战:古诗词的生成 18
  • 2.4 图像降噪:手把手实战第一个深度学习模型 19
    • 2.4.1 MNIST数据集的准备 19
    • 2.4.2 MNIST数据集的特征和标签介绍 21
    • 2.4.3 模型的准备和介绍 22
    • 2.4.4 对目标的逼近—模型的损失函数与优化函数 24
    • 2.4.5 基于深度学习的模型训练 24
  • 2.5 本章小结 26

第3章 从零开始学习PyTorch 2.0 27

  • 3.1 实战MNIST手写体识别 27
    • 3.1.1 数据图像的获取与标签的说明 27
    • 3.1.2 实战基于PyTorch 2.0的手写体识别模型 29
    • 3.1.3 基于Netron库的PyTorch 2.0模型可视化 32
  • 3.2 自定义神经网络框架的基本设计 34
    • 3.2.1 神经网络框架的抽象实现 34
    • 3.2.2 自定义神经网络框架的具体实现 35
  • 3.3 本章小结 43

第4章 一学就会的深度学习基础算法详解 44

  • 4.1 反向传播神经网络的前身历史 44
  • 4.2 反向传播神经网络两个基础算法详解 47
    • 4.2.1 最小二乘法详解 48
    • 4.2.2 梯度下降算法 50
    • 4.2.3 最小二乘法的梯度下降算法及其Python实现 52
  • 4.3 反馈神经网络反向传播算法介绍 58
    • 4.3.1 深度学习基础 58
    • 4.3.2 链式求导法则 59
    • 4.3.3 反馈神经网络的原理与公式推导 60
    • 4.3.4 反馈神经网络原理的激活函数 64
    • 4.3.5 反馈神经网络原理的Python实现 66
  • 4.4 本章小结 70

第5章 基于PyTorch卷积层的MNIST分类实战 71

  • 5.1 卷积运算的基本概念 71
    • 5.1.1 基本卷积运算示例 72
    • 5.1.2 PyTorch中的卷积函数实现详解 73
    • 5.1.3 池化运算 75
    • 5.1.4 Softmax激活函数 77
    • 5.1.5 卷积神经网络的原理 78
  • 5.2 实战:基于卷积的MNIST手写体分类 80
    • 5.2.1 数据的准备 80
    • 5.2.2 模型的设计 81
    • 5.2.3 基于卷积的MNIST分类模型 82
  • 5.3 PyTorch的深度可分离膨胀卷积详解 84
    • 5.3.1 深度可分离卷积的定义 84
    • 5.3.2 深度的定义以及不同计算层待训练参数的比较 86
    • 5.3.3 膨胀卷积详解 87
    • 5.3.4 实战:基于深度可分离膨胀卷积的MNIST手写体识别 87
  • 5.4 本章小结 90

第6章 可视化的PyTorch数据处理与模型展示 91

  • 6.1 用于自定义数据集的torch.utils.data工具箱使用详解 92
    • 6.1.1 使用torch.utils.data. Dataset封装自定义数据集 92
    • 6.1.2 改变数据类型的Dataset类中的transform的使用 93
    • 6.1.3 批量输出数据的DataLoader类详解 98
  • 6.2 实战:基于tensorboardX的训练可视化展示 100
    • 6.2.1 可视化组件tensorboardX的简介与安装 100
    • 6.2.2 tensorboardX可视化组件的使用 100
    • 6.2.3 tensorboardX对模型训练过程的展示 103
  • 6.3 本章小结 105

第7章 ResNet实战 106

  • 7.1 ResNet基础原理与程序设计基础 106
    • 7.1.1 ResNet诞生的背景 107
    • 7.1.2 PyTorch 2.0中的模块工具 109
    • 7.1.3 ResNet残差模块的实现 110
    • 7.1.4 ResNet网络的实现 112
  • 7.2 ResNet实战:CIFAR-10数据集分类 114
    • 7.2.1 CIFAR-10数据集简介 114
    • 7.2.2 基于ResNet的CIFAR-10数据集分类 117
  • 7.3 本章小结 118

第8章 有趣的词嵌入 120

  • 8.1 文本数据处理 120
    • 8.1.1 Ag_news数据集介绍和数据清洗 120
    • 8.1.2 停用词的使用 123
    • 8.1.3 词向量训练模型Word2Vec使用介绍 125
    • 8.1.4 文本主题的提取:基于TF-IDF 128
    • 8.1.5 文本主题的提取:基于TextRank 132
  • 8.2 更多的词嵌入方法—FastText和预训练词向量 134
    • 8.2.1 FastText的原理与基础算法 135
    • 8.2.2 FastText训练及其与PyTorch 2.0的协同使用 136
    • 8.2.3 使用其他预训练参数来生成PyTorch 2.0词嵌入矩阵(中文) 140
  • 8.3 针对文本的卷积神经网络模型简介—字符卷积 141
    • 8.3.1 字符(非单词)文本的处理 141
    • 8.3.2 卷积神经网络文本分类模型的实现—Conv1d(一维卷积) 148
  • 8.4 针对文本的卷积神经网络模型简介—词卷积 151
    • 8.4.1 单词的文本处理 151
    • 8.4.2 卷积神经网络文本分类模型的实现—Conv2d(二维卷积) 153
  • 8.5 使用卷积对文本分类的补充内容 155
    • 8.5.1 汉字的文本处理 155
    • 8.5.2 其他细节 157
  • 8.6 本章小结 158

第9章 基于循环神经网络的中文情感分类实战 160

  • 9.1 实战:循环神经网络与情感分类 160
  • 9.2 循环神经网络理论讲解 165
    • 9.2.1 什么是GRU 165
    • 9.2.2 单向不行,那就双向 167
  • 9.3 本章小结 168

第10章 从零开始学习自然语言处理的编码器 169

  • 10.1 编码器的核心—注意力模型 170
    • 10.1.1 输入层—初始词向量层和位置编码器层 170
    • 10.1.2 自注意力层 172
    • 10.1.3 ticks和Layer Normalization 177
    • 10.1.4 多头注意力 178
  • 10.2 编码器的实现 180
    • 10.2.1 前馈层的实现 181
    • 10.2.2 编码器的实现 182
  • 10.3 实战编码器:拼音汉字转化模型 184
    • 10.3.1 汉字拼音数据集处理 185
    • 10.3.2 汉字拼音转化模型的确定 187
    • 10.3.3 模型训练部分的编写 190
  • 10.4 本章小结 191

第11章 站在巨人肩膀上的预训练模型BERT 193

  • 11.1 预训练模型BERT 193
    • 11.1.1 BERT的基本架构与应用 194
    • 11.1.2 BERT预训练任务与微调 195
  • 11.2 实战BERT:中文文本分类 198
    • 11.2.1 使用Hugging Face获取BERT预训练模型 198
    • 11.2.2 BERT实战文本分类 200
  • 11.3 更多的预训练模型 203
  • 11.4 本章小结 205

第12章 从1开始自然语言处理的解码器 206

  • 12.1 解码器的核心—注意力模型 206
    • 12.1.1 解码器的输入和交互注意力层的掩码 207
    • 12.1.2 为什么通过掩码操作能够减少干扰 212
    • 12.1.3 解码器的输出(移位训练方法) 213
    • 12.1.4 解码器的实现 214
  • 12.2 解码器实战—拼音汉字翻译模型 215
    • 12.2.1 数据集的获取与处理 216
    • 12.2.2 翻译模型 218
    • 12.2.3 拼音汉字模型的训练 229
    • 12.2.4 拼音汉字模型的使用 230
  • 12.3 本章小结 231

第13章 基于PyTorch 2.0的强化学习实战 232

  • 13.1 基于强化学习的火箭回收实战 232
    • 13.1.1 火箭回收基本运行环境介绍 233
    • 13.1.2 火箭回收参数介绍 234
    • 13.1.3 基于强化学习的火箭回收实战 234
    • 13.1.4 强化学习的基本内容 239
  • 13.2 强化学习的基本算法—PPO算法 243
    • 13.2.1 PPO算法简介 243
    • 13.2.2 函数使用说明 244
    • 13.2.3 一学就会的TD-error理论介绍 245
    • 13.2.4 基于TD-error的结果修正 247
    • 13.2.5 对于奖励的倒序构成的说明 248
  • 13.3 本章小结 249

第14章 ChatGPT前身—只具有解码器的GPT-2模型 250

  • 14.1 GPT-2模型简介 250
    • 14.1.1 GPT-2模型的输入和输出结构—自回归性 251
    • 14.1.2 GPT-2模型的PyTorch实现 252
    • 14.1.3 GPT-2模型输入输出格式的实现 257
  • 14.2 Hugging Face GPT-2模型源码模型详解 259
    • 14.2.1 GPT2LMHeadModel类和GPT2Model类详解 259
    • 14.2.2 Block类详解 270
    • 14.2.3 Attention类详解 274
    • 14.2.4 MLP类详解 281
  • 14.3 Hugging Face GPT-2模型的使用与自定义微调 282
    • 14.3.1 模型的使用与自定义数据集的微调 282
    • 14.3.2 基于预训练模型的评论描述微调 285
  • 14.4 自定义模型的输出 286
    • 14.4.1 GPT输出的结构 286
    • 14.4.2 创造性参数temperature与采样个数topK 288
  • 14.5 本章小结 290

第15章 实战训练自己的ChatGPT 291

  • 15.1 什么是ChatGPT 291
  • 15.2 RLHF模型简介 293
    • 15.2.1 RLHF技术分解 293
    • 15.2.2 RLHF中的具体实现—PPO算法 296
  • 15.3 基于RLHF实战的ChatGPT正向评论的生成 297
    • 15.3.1 RLHF模型进化的总体讲解 297
    • 15.3.2 ChatGPT评分模块简介 298
    • 15.3.3 带有评分函数的ChatGPT模型的构建 300
    • 15.3.4 RLHF中的PPO算法—KL散度 301
    • 15.3.5 RLHF中的PPO算法—损失函数 303
  • 15.4 本章小结 304

第16章 开源大模型ChatGLM使用详解 305

  • 16.1 为什么要使用大模型 305
    • 16.1.1 大模型与普通模型的区别 306
    • 16.1.2 一个神奇的现象—大模型的涌现能力 307
  • 16.2 ChatGLM使用详解 307
    • 16.2.1 ChatGLM简介及应用前景 308
    • 16.2.2 下载ChatGLM 309
    • 16.2.3 ChatGLM的使用与Prompt介绍 310
  • 16.3 本章小结 311

第17章 开源大模型ChatGLM 高级定制化应用实战 312

  • 17.1 医疗问答GLMQABot搭建实战—基于ChatGLM搭建专业客服问答机器人 312
    • 17.1.1 基于ChatGLM搭建专业领域问答机器人的思路 313
    • 17.1.2 基于真实医疗问答的数据准备 314
    • 17.1.3 文本相关性(相似度)的比较算法 315
    • 17.1.4 提示语句Prompt的构建 316
    • 17.1.5 基于单个文档的GLMQABot的搭建 316
  • 17.2 金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能答案生成 318
    • 17.2.1 基于ChatGLM搭建智能答案生成机器人的思路 319
    • 17.2.2 获取专业(范畴内)文档与编码存储 320
    • 17.2.3 查询文本编码的相关性比较与排序 322
    • 17.2.4 基于知识链的ChatGLM本地化知识库检索与智能答案生成 325
  • 17.3 基于ChatGLM的一些补充内容 327
    • 17.3.1 语言的艺术—Prompt的前世今生 328
    • 17.3.2 清华大学推荐的ChatGLM微调方法 329
    • 17.3.2 一种新的基于ChatGLM的文本检索方案 330
  • 17.4 本章小结 331

第18章 对训练成本上亿美元的ChatGLM进行高级微调 332

  • 18.1 ChatGLM模型的本地化处理 332
    • 18.1.1 下载ChatGLM源码与合并存档 332
    • 18.1.2 修正自定义的本地化模型 335
    • 18.1.3 构建GLM模型的输入输出示例 337
  • 18.2 高级微调方法1—基于加速库Accelerator的全量数据微调 339
    • 18.2.1 数据的准备—将文本内容转化成三元组的知识图谱 339
    • 18.2.2 加速的秘密—Accelerate模型加速工具详解 342
    • 18.2.3 更快的速度—使用INT8(INT4)量化模型加速训练 345
  • 18.3 高级微调方法2—基于LoRA的模型微调 348
    • 18.3.1 对ChatGLM进行微调的方法—LoRA 348
    • 18.3.2 自定义LoRA的使用方法 349
    • 18.3.3 基于自定义LoRA的模型训练 350
    • 18.3.4 基于自定义LoRA的模型推断 352
    • 18.3.5 基于基本原理的LoRA实现 355
  • 18.4 高级微调方法3—基于Huggingface的PEFT模型微调 357
    • 18.4.1 PEFT技术详解 358
    • 18.4.2 PEFT的使用与参数设计 359
    • 18.4.3 Huggingface专用PEFT的使用 360
  • 18.5 本章小结 362

金瓶梅(精装全彩插图)

《金瓶梅》,中国明代长篇白话世情小说,一般认为是中国第一部文人独立创作的长篇小说。其成书时间大约在明代隆庆至万历年间,作者署名兰陵笑笑生。
《金瓶梅》书名由书中三个女主人公潘金莲、李瓶儿、庞春梅名字中各取一字合成。小说题材由《水浒传》中武松杀嫂一段演化而来,通过对兼有官僚、恶霸、富商三种身份的市侩势力代表人物西门庆及其家庭罪恶生活的描述,再现了当时社会生活的面貌,描绘了一个上至朝廷擅权专政的太师,下至地方官僚恶霸乃至市井地痞、流氓、帮闲所构成的鬼蜮世界,揭露了明代中叶社会的黑暗和腐败,具有深刻的认识价值。
《金瓶梅》是中国文学史上第一部由文人独立创作的长篇小说。从此,文人创作成为小说创作的主流。《金瓶梅》之前的长篇小说,莫不取材于历史故事或神话、传说。《金瓶梅》摆脱了这一传统,以现实社会中的人物为主要描写对象,使中国小说现实主义创作方法日臻成熟,为其后《红楼梦》的出现做了必不可少的探索和准备。

本次这个版本的《金瓶梅是》崇祯本会校足本,王汝梅校齐鲁书社1989年6月版。
该书是根据国家新闻出版署文件批准为学术研究需要而出版的。
这是《金瓶梅》崇祯本向世以来第一次出版排印本一字不删,200幅插图照原版影印。
此书发行时有限制,原则上只售给各大图书馆和大学中文系教授文学研究员以上职称的研究人员。
非省部级上及研究人员无权购买
此版本是《金瓶梅》在大陆出版唯一的未删减版本出版后,一时洛阳纸贵,目前因多种原因,导致实体版已炒至上万元而且大多数正版由个人收藏,有价无市,电子版更是稀缺。

二十五史简明读本(全15册)

内容简介
《二十五史简明读本》是我社1997年开发、出版的、颇受读者欢迎的《二十五史新编》的升级版。自司马迁撰著《史记》以降,历朝历代修史不绝,一套《二十四史》激起无数人探究历史的欲望和热情。然在社会节奏不断加快的今天,卷帙浩繁的《二十四史》令许多人望而生畏。而我社这套《二十五史简明读本》篇幅适宜,短小精悍,通俗易懂。它既保持了《二十四史》的精华,又汲取了现代史学研究成果尤其是考古发现的成果,并增加了中国近代的历史——《晚清史》。特别是在这次升级的修订中,不但在内容上增添了史学研究和考古发现的新成果,还增添了精美的彩图,同时在版面和装帧上也作了符合当今人们审美理念的新的设计,从而使内容与形式完美融合,相得益彰。

作者简介
《二十五史简明读本》由李国章、赵昌平主编。撰著者有:汪受宽、李孔怀、陈勇、罗开玉、庄辉明、章义和、芮传明、牛致功、赵剑敏、周宝珠、王曾瑜、杨倩苗、刘凤翥、李锡厚、白滨、刘迎胜、汤纲、朱元寅、冯元魁、胡礼忠、戴鞍钢等,大多为史学界各领域的领军学者。

目录
第一册 《史记》
第二册 《汉书》
第三册 《后汉书》
第四册 《三国志》
第五册 《西晋书》《东晋书》
第六册 《宋书》《南齐书》《梁书》《陈书》
第七册 《魏书》《北齐书》《周书》《隋书》
第八册 《唐书》
第九册 《五代史》
第十册 《北宋史》《南宋史》
第十一册 《辽史》《金史》《西夏史》
第十二册 《元史》
第十三册 《明史》
第十四册 《清史》
第十五册 《晚清史》

男性P點高潮:就爽前列腺

男性P點高潮:就爽前列腺

內容簡介

金手指加藤鷹到不了的地方!
全球男人都在玩!讓妳/你的男人歡喜「開門」的第1本書
現在就動手探索,享受來自P點綿綿不絕的震顫,高潮一直來一直來!

美國亞馬遜Amazon.com讀者四星半好評推薦!

情趣女王SallyQ.實戰玩家潤滑液男孩
愛不釋手.挖挖哇推薦!
潤滑液男孩:「讀著這本書,我癢到忍不住把整箱玩具玩了一遍!」

擁有本書,你/妳將學習到──
○ 最實用安全的按摩、體位、性玩具等操作技巧!
○ 如何與伴侶建立信賴、敞開心防討論慾望!
○ 直通強烈P點高潮的祕訣和竅門!
○ 提早維護並促進前列腺的健康!

「這本書解答了我一切有關前列腺遊戲、以及如何探索快感的疑問。」
──尼肯‧法蘭提克
「它提供的資訊豐富到難以想像!不僅每位男同志都該人手一本,異性戀男女也將從本書獲得超乎預期的性愛靈感。」
──L‧彼得森

前列腺遊戲是目前男性性行為中最火熱的潮流。愈來愈多男人藉由「P點」刺激和高潮,讓性樂趣倍加強烈。正如女性對G點的探索永遠改變了高潮體驗,圖文兼具的本書,將帶給你超乎想像的性愛滿足感!
由兩位性學專家聯手撰寫、圖文兼備的本書,內容包含P點高潮原理詳解、個人如何探索自爽、雙人如何愉悅合戲(男女/男男)、前列腺情趣玩具選購指南……等等一切你想知道的專業知識和技巧。不管是好奇想入門的新手男孩,已有後庭歡快經驗的男人,或躍躍欲試、想為男伴開發「美麗新世界」的女性朋友,都可以按部就班找到強烈性快感的源頭,順利開啟歡愉暢感的眾妙之門。

內附本書讀者專享好康──
頂! 台灣本土原創情趣玩具 異物根根9折獨家優惠!
爽! GuyShop全店G點/P點玩具全系列不限品牌88折優惠券!
噴! 延伸探索.身心極樂──來店購物限時送神秘福袋 !

★更多訊息,請上基本書坊部落格: http://gbookstaiwan.blogspot.tw

理想国

《理想国》涉及柏拉图思想体系的各个方面,包括哲学、伦理、教育、文艺、政治等内容,主要是探讨理想国家的问题。

《理想国》一书是柏拉图的一篇重要对话录,对话录里柏拉图以苏格拉底之口通过与其他人对话的方式设计了一个真、善、美相统一的政体,即可以达到公正的理想国。柏拉图的理想国是人类历史上最早的乌托邦。在他的理想国里统治者必须是哲学家,他认为现存的政治都是坏的,人类的真正出路在于哲学家掌握政权,也只有真正的哲学家才能拯救当时城邦所处的危机。这种信念构成了柏拉图成熟的政治哲学体系的核心。在他的眼里“哲学家”有着特殊的内涵。他认为哲学家是最高尚、最有学识的人,而这种贤人统治下的贤人政体就是最好是政体。所以,只有建立以哲学家为国王的国家才是最理想的国家。这个国家就是存在于天上的模范国家。

在他看来,哲学家的本质是具有知识,具有智慧、正义、善的美德,只有哲学家才能达到对国家最高理念的认识,即对“善”的把握,而其他人也只能把握“意见”而已。治国作为一门知识,也只有哲学家才能掌握它,进而有资格执政,也就是说只有哲学家才能达到对于国家理念的认识,知道“理想国”应该怎样组织、怎样治理。这样,所谓哲学家执政,就被柏拉图理解为高超的智慧、真实的知识、完美的德行和绝对最高权力的结合。他坚信只有哲学家才可拯救城邦和人民,哲学家是理想国必然的统治者。

人类追求的正义与善就是柏拉图理想国的主题,他认为国家、政治和法律要朝向真正的存在并与人的灵魂相关才有意义。在《理想国》里苏格拉底刚开始讨论的话题就是“正义”问题,由此我们可以看到柏拉图对正义有着多么强烈的憧憬与向往!他认为绝对的正义在神那里,这正好印证了对话结尾的宣言,“让我们永远走向上的路,追求正义和智慧”。正义和智慧不仅是国家的主题,也可以说是整个宇宙存在的本质,因为国家的起点“就是永无止境的时间以及时间带来的变化”。

柏拉图的正义表现在爱情上就是节制。在我们很多人看来,柏拉图式的爱情似乎是精神恋的代名词,用来指称那种超越时间、空间,不以占有对方肉体为目的的只存在于灵魂间的爱情。而实际上柏拉图式爱情的真谛指的是一种对节制的崇尚,对善和美的追求。

法治的细节

◎编辑推荐:

◇2020年度法治人物、中国政法大学罗翔教授全新法律随笔,解读热点案件,思辨法治要义。

◇集结罗翔近两年对法治与社会的观察,论法理、聊读书、谈爱情,人间清醒与你坦诚相见。

◇盘点近年热点案件,理性而不失温度,从N号房事件到张玉环案,如何在现实中追求正义?

◇从法律视角破解电车难题,思辨刑罚边界、胎儿权利等法理冲突,在时事中保持理性思考

◇收录罗翔走红后的心路历程,不仅普法,更分享人生经历与感悟,附罗翔青年照。

◎内容简介:

《法治的细节》是中国政法大学法学教授罗翔全新的法学随笔,面向大众读者,从热点案件解读、法学理念科普、经典名著讲解等6大板块,普及法律常识与法治观念。内容包括辛普森案、电车难题、性同意制度等法律基本常识,或N号房、张玉环案等时事热点的案件,多维度培育法律思维,助力法治社会的构建,点亮每个人心中的法治之光。

此外,本书还收录了罗翔在爆红后的心路历程,分享其求学成长经历,袒露其心境的变化与成熟,与读者一起通过阅读与思辨,走出生活中的迷茫时刻,在现实中共同完善法治的细节。

◎媒体评价:

理性而不失温度,感性而不失高度。这不仅是罗翔老师这样法律传播者的愿望,也是在法治社会中我们应有的态度。

——《人民日报》

法律可能让人觉得很生涩,离生活比较远。但是罗老师能让你知道法律跟生活是非常贴近的。他自己本身很懂,所以可以用最简单直白的语言讲出来。

——《南方周末》

罗翔老师不仅给你提供法律专业视角下的独特解读,还时不时来一场哲学教育,让你感受到一种被降维打击的快感,获得感和成就感满满。

——《第一财经》

外皮是喜感的口音,搞笑的例证;内核则是在多年的实践和思辨中寻求真理,催人上进,成为内容产业中的一股“清流”。这恐怕是罗翔之所以能持续受欢迎的原因所在。

——《中国新闻周刊》

罗翔老师满足了人们对有力量的通识教育的想像。用荒诞、极端案件逗笑人的同时,夹带出对尊重生命、尊重常识和对理想主义的呼唤。

——《三联生活周刊》

“津津有味”是罗翔弹幕里的高频词。除此之外,人们喜欢他,很大程度上也是因为他的真性情。

——《网易》

人类简史:从动物到上帝(图文精编版)

十万年前,地球上至少有六种不同的人

但今日,世界舞台为什么只剩下了我们自己?

从只能啃食虎狼吃剩的残骨的猿人,到跃居食物链顶端的智人,

从雪维洞穴壁上的原始人手印,到阿姆斯壮踩上月球的脚印,

从认知革命、农业革命,到科学革命、生物科技革命,

我们如何登上世界舞台成为万物之灵的?

从公元前1776年的《汉摩拉比法典》,到1776年的美国独立宣言,

从帝国主义、资本主义,到自由主义、消费主义,

从兽欲,到物欲,从兽性、人性,到神性,

我们了解自己吗?我们过得更快乐吗?

我们究竟希望自己得到什么、变成什么?

------------------------------------------------------------------------------------------------

【编辑推荐】

1、由书改变而成的人类简史课程风靡全球,成为希伯来大学最受欢迎课程 Coursera最受欢迎课程 ,mooc最受欢迎课程。学界和大众都一致认可,戴蒙德推荐。

2、一大开创性:打通文字发明前后历史的界限。

文字发明之前的年代,是生物学家、考古学家的专长;文字发明之后的年代,是历史学家、政治学家和经济学家的专长;

许多著名史家的作品,欠缺遗传学或生态学的视野,如何让这两大段历史之间没有断层,能够有一以贯之的宏观解读?

本书不同于《枪炮、病菌与钢铁》从生物与环境的角度看人类社会的发展,也不同于麦克尼尔的《世界史》以文明为单位绘制的人类文明交织的世界。 他笔下的历史,在科学中有深沉的人文关怀。

3、填补传统人类史的三大鸿沟:

历史观与哲学观之间的鸿沟(提供有史实根据的深刻哲学思考);人类和生态系统之间的鸿沟(作者多从生态来思考,而不是只讲人类的利益);集体和个人之间的鸿沟(检视历史事件如何影响到当时一般人的生活)。

4、四大部分描述人类大历史:

7万年前的大脑认知革命(有能力谈八卦,想象不存在的事物,让陌生人开始合作、建立组织)

1.2万年前的农业革命(让我们渴求更多、生产更多,分工分职愈趋细腻)、

500年前的科学革命(带来快速进步,让我们拥有上帝的力量,也带来毁灭)

全球大一统、人类大融合的关键因素——金钱、帝国、宗教

5、一部个人幸福探索之书。

用通俗的语言和新鲜的视角,将个体的幸福放在人类发展的过程中审视,不再错过历史中最关键、最有意思的部分。涵盖了生物学,人类学,哲学,心理学,艺术,文学,伦理学等众多领域。涉及幸福,生命的意义等众多话题,有人说这是一部个人幸福探索之书。

6、一部“瘦身版”人类简史。

如果说给我一本书,不到五百页,没有一堆令人晕头转向的年份、人名、地名、称号,就能涵盖了人类如何崛起、影响现代生活甚巨的资本主义、一神教、自由人文主义、基因工程如何兴盛的人类历史重大脉络……这是仅有的一部!

7、一部引发多国版权大战的神秘大书。

获得波兰斯基人文学科创造力与独创性奖。 100周蝉联以色列畅销书排行榜第一,在英国,9家出版商疯狂竞价。 23个国家竞相购买版权。台湾上市一周,金石堂、诚品历史类畅销书榜第一 ,诚品总榜第八,西班牙上市两周总榜第一。

------------------------------------------------------------------------------------------------

【内容简介】

《人类简史:从动物到上帝》是以色列新锐历史学家的一部重磅作品。从十万年前有生命迹象开始到21世纪资本、科技交织的人类发展史。十万年前,地球上至少有六个人种,为何今天却只剩下了我们自己?我们曾经只是非洲角落一个毫不起眼的族群,对地球上生态的影响力和萤火虫、猩猩或者水母相差无几。为何我们能登上生物链的顶端,最终成为地球的主宰?

从认知革命、农业革命到科学革命,我们真的了解自己吗?我们过得更加快乐吗?我们知道金钱和宗教从何而来,为何产生吗?人类创建的帝国为何一个个衰亡又兴起?为什么地球上几乎每一个社会都有男尊女卑的观念?为何一神教成为最为广泛接受的宗教?科学和资本主义如何成为现代社会最重要的信条?理清影响人类发展的重大脉络,挖掘人类文化、宗教、法律、国家、信贷等产生的根源。这是一部宏大的人类简史,更见微知著、以小写大,让人类重新审视自己。

------------------------------------------------------------------------------------------------

【各界评论】

《人类简史:从动物到上帝》为什么能够在国际畅销书榜上爆冲?原因很简单,它处理的是历史的大问题、现代世界的大问题,而且,它的写作风格是刻骨铭心的生动。你会爱上它!

——普利策奖得主 《枪炮、病菌与钢铁》作者戴蒙德

这是此类大历史中最好的一本:规模宏大但绝非泛泛而谈;具有时代性又不花哨,观念惊世骇俗但绝不是个简单的反对者。每个人都能在书里找到一部分和另外的人开始讨论,但是弄清楚是哪部分、为什么,对我们都有好处。

——牛津大学历史学院院长 斯蒂文·刚尼

我拿起这本《人类简史》立刻“着道”了——拿起了就放不下,几乎一口气读完。吸引力主要来自作者才思的旷达敏捷,还有译者文笔的生动晓畅,而书中屡屡提及中国的相关史实,也能让人感到一种说不出的亲切,好像自己也被融入其中,读来欲罢不能。

——北京大学历史系教授 高毅

《人类简史》的目的不是传授人类考古学的所有研究成果,而是提供一种看历史的视角,一种全局的观点。当你不再执着于科学、政治或宗教等某一个领域的发展过程,而是关注人类社会的整体演变,观察这些领域之间的相互作用,你会感到你脑海中零碎的历史知识忽然像拼图一样各就各位,构成一幅宏大的图景,这样的视角非常新鲜。

——果壳网 姬十三

读完这本书,有一种跟着人类一同走过十万年的感觉!

——读者

这本书如果要用“宏伟史诗”来形容一点也不过分,其中包含了很多学科的内容,例如考古学、生物学、物理学、经济学、宗教、社会学甚至计算机科学等等。书里里面的大部分观点都是从不同的角度进行介绍,其中很多都是经无数人严格验证过的,讲师很多时候仅仅是通过自己的表达希望尽量客观地介绍一些内容,至于每个人怎么理解并没有统一的标准了。

——读者

超级好的课程,付费都坚持下来了,观点独特,从来没想到能从这个角度理解我们人类自己。

——读者

穷查理宝典(珍藏版)(1+2册)

《穷查理宝典》(珍藏本),分一、二册,副书名分别为《芒格的智慧箴言和私人书单》和《芒格最重要的三场演讲》。

《芒格的智慧箴言和私人书单》分上、下篇,上篇《芒格的智慧箴言》旨在做成一本关于生活、学习、工作和投资的芒格智慧语录。全书以《穷查理宝典》原书第一章“查理·芒格传略”与第三章“芒格主义:查理的即席谈话”为线索,串起了67条芒格金句,内容覆盖了芒格的传记、芒格对老年生活的评论、晚辈对芒格的评价,以及芒格在年会上的即席谈话。当芒格讲到学习、思维方式、家庭、投资等内容时,读者马上会读到芒格就该主题说过的最精彩的一句话。这既让人对芒格的传奇人生经历有了线性的了解,又能对他的精华思想加深印象,最终呈现出一个更加生动、立体的芒格形象。

下篇《芒格的私人书单》收入了芒格在不同场合推荐过的书,旨在为读者描绘芒格知识地图的概貌。根据《穷查理宝典》正文中提到的书以及书末的“查理·芒格的推荐书目”,整理出了一个39本书的书单。这39本书分为了6类,分别帮读者搞清楚了人类生存的自然环境、人类自身、经济的运行方式、投资的方法、杰出人物的故事,以及如何在社会中胜出等多个维度的问题。每本书都是芒格思维方式和知识结构的体现。我们为《芒格的私人书单》中的每一本建立了一个小档案,包括基本信息(作者、书名、出版社、封面、地位等)、主要内容、芒格推荐这本书的原因,以及书中精彩语录。就芒格荐书的原因而言,引用芒格推荐每本书时的原话,力求让读者明白这本书对芒格意味着什么。

《芒格最重要的三场演讲》收录了3场最适宜普通大众阅读的芒格演讲,分别为:第二讲《论基本的、普世的智慧,及其与投资管理和商业的关系》、第十讲《在南加州大学GOULD法学院毕业典礼上的演讲》和第十一讲《人类误判心理学》。其中前两场为大学演讲,向年轻学子或大学毕业生们讲述商业思维与人生智慧;最后的《人类误判心理学》被公认为是芒格最精彩的一场演讲,也是芒格独创的思想精华,反映了芒格对人类行为的深刻理解。

查理·芒格的智慧:投资的格栅理论(原书第2版)

作为巴菲特的黄金搭档和幕后智囊,芒格与巴菲特创造了有史以来最优秀的投资纪录。芒格极其熟练地掌握了各种不同的学科,能够在投资时考虑到许多普通人不会考虑到的因素。

芒格用一个非常形象的比喻来说明不同学科的不同思维方式是如何相互作用的:格栅模型。“你的头脑中已经有了许多思维方式,你得按自己直接和间接的经验将其安置在格栅模型中。”

芒格告诉我们,将不同学科的思维模式联系起来建立融会贯通的格栅,是投资的最佳决策模式。用不同学科的思维模式思考同一个投资问题,如果能得出相同的结论,这样的投资决策更正确。懂得越多,理解越深,投资者就越聪明智慧。

芒格认为:“要努力学习,掌握更多股票市场、金融学、经济学知识,但同时要学会不要将这些知识孤立起来,而要把它们看成包含了心理学、工程学、数学、物理学的人类知识宝库的一部分。用这样宽广的视角就会发现,每一学科之间都相互交叉,并因此各自得以加强。一个喜欢思考的人能够从每个学科中总结出其独特的思维模式,并会将其联想结合,从而达到融会贯通。”

真正的、永远的成功属于那些首先努力建立思维模式格栅,然后学会以善于联系、多学科并用的方式思考的人们。

如果你想一窥这位投资天才的思维格栅模型,不妨从本书中寻找答案。

Github | Docker | Project