推荐

新书推荐

从零开始大模型开发与微调:基于PyTorch与ChatGLM

内容简介

大模型是深度学习自然语言处理皇冠上的一颗明珠,也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架,以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术,为读者揭示大模型开发技术。本书配套示例源代码、PPT课件。

《从零开始大模型开发与微调:基于PyTorch与ChatGLM》共18章,内容包括人工智能与大模型、PyTorch 2.0深度学习环境搭建、从零开始学习PyTorch 2.0、深度学习基础算法详解、基于PyTorch卷积层的MNIST分类实战、PyTorch数据处理与模型展示、ResNet实战、有趣的词嵌入、基于PyTorch循环神经网络的中文情感分类实战、自然语言处理的编码器、预训练模型BERT、自然语言处理的解码器、强化学习实战、只具有解码器的GPT-2模型、实战训练自己的ChatGPT、开源大模型ChatGLM使用详解、ChatGLM高级定制化应用实战、对ChatGLM进行高级微调。

《从零开始大模型开发与微调:基于PyTorch与ChatGLM》适合PyTorch深度学习初学者、大模型开发初学者、大模型开发人员学习,也适合高等院校人工智能、智能科学与技术、数据科学与大数据技术、计算机科学与技术等专业的师生作为教学参考书。

作者简介

王晓华,高校计算机专业讲师,研究方向为云计算、大数据与人工智能。著有《PyTorch 2.0深度学习从零开始学》《Python机器学习与可视化分析实战》《谷歌JAX深度学习从零开始学》《Spark 3.0大数据分析与挖掘:基于机器学习》《TensorFlow深度学习应用实践》《OpenCV+TensorFlow深度学习与计算机视觉实战》《TensorFlow知识图谱实战》《TensorFlow人脸识别实战》《TensorFlow语音识别实战》《TensorFlow+Keras自然语言处理实战》《TensorFlow 2.0卷积神经网络实战》《Keras实战:基于TensorFlow2.2的深度学习实践》《TensorFlow 2.0深度学习从零开始学》《深度学习的数学原理与实现》。

目录

目 录

第1章 新时代的曙光—人工智能与大模型 1

  • 1.1 人工智能:思维与实践的融合 1
    • 1.1.1 人工智能的历史与未来 2
    • 1.1.2 深度学习与人工智能 2
    • 1.1.3 选择PyTorch 2.0实战框架 3
  • 1.2 大模型开启人工智能的新时代 4
    • 1.2.1 大模型带来的变革 4
    • 1.2.2 最强的中文大模型—清华大学ChatGLM介绍 5
    • 1.2.3 近在咫尺的未来—大模型的应用前景 6
  • 1.3 本章小结 7

第2章 PyTorch 2.0深度学习环境搭建 8

  • 2.1 环境搭建1:安装Python 8
    • 2.1.1 Miniconda的下载与安装 8
    • 2.1.2 PyCharm的下载与安装 11
    • 2.1.3 Python代码小练习:计算Softmax函数 14
  • 2.2 环境搭建2:安装PyTorch 2.0 15
    • 2.2.1 Nvidia 10/20/30/40系列显卡选择的GPU版本 15
    • 2.2.2 PyTorch 2.0 GPU Nvidia运行库的安装 15
    • 2.2.3 PyTorch 2.0小练习:Hello PyTorch 18
  • 2.3 生成式模型实战:古诗词的生成 18
  • 2.4 图像降噪:手把手实战第一个深度学习模型 19
    • 2.4.1 MNIST数据集的准备 19
    • 2.4.2 MNIST数据集的特征和标签介绍 21
    • 2.4.3 模型的准备和介绍 22
    • 2.4.4 对目标的逼近—模型的损失函数与优化函数 24
    • 2.4.5 基于深度学习的模型训练 24
  • 2.5 本章小结 26

第3章 从零开始学习PyTorch 2.0 27

  • 3.1 实战MNIST手写体识别 27
    • 3.1.1 数据图像的获取与标签的说明 27
    • 3.1.2 实战基于PyTorch 2.0的手写体识别模型 29
    • 3.1.3 基于Netron库的PyTorch 2.0模型可视化 32
  • 3.2 自定义神经网络框架的基本设计 34
    • 3.2.1 神经网络框架的抽象实现 34
    • 3.2.2 自定义神经网络框架的具体实现 35
  • 3.3 本章小结 43

第4章 一学就会的深度学习基础算法详解 44

  • 4.1 反向传播神经网络的前身历史 44
  • 4.2 反向传播神经网络两个基础算法详解 47
    • 4.2.1 最小二乘法详解 48
    • 4.2.2 梯度下降算法 50
    • 4.2.3 最小二乘法的梯度下降算法及其Python实现 52
  • 4.3 反馈神经网络反向传播算法介绍 58
    • 4.3.1 深度学习基础 58
    • 4.3.2 链式求导法则 59
    • 4.3.3 反馈神经网络的原理与公式推导 60
    • 4.3.4 反馈神经网络原理的激活函数 64
    • 4.3.5 反馈神经网络原理的Python实现 66
  • 4.4 本章小结 70

第5章 基于PyTorch卷积层的MNIST分类实战 71

  • 5.1 卷积运算的基本概念 71
    • 5.1.1 基本卷积运算示例 72
    • 5.1.2 PyTorch中的卷积函数实现详解 73
    • 5.1.3 池化运算 75
    • 5.1.4 Softmax激活函数 77
    • 5.1.5 卷积神经网络的原理 78
  • 5.2 实战:基于卷积的MNIST手写体分类 80
    • 5.2.1 数据的准备 80
    • 5.2.2 模型的设计 81
    • 5.2.3 基于卷积的MNIST分类模型 82
  • 5.3 PyTorch的深度可分离膨胀卷积详解 84
    • 5.3.1 深度可分离卷积的定义 84
    • 5.3.2 深度的定义以及不同计算层待训练参数的比较 86
    • 5.3.3 膨胀卷积详解 87
    • 5.3.4 实战:基于深度可分离膨胀卷积的MNIST手写体识别 87
  • 5.4 本章小结 90

第6章 可视化的PyTorch数据处理与模型展示 91

  • 6.1 用于自定义数据集的torch.utils.data工具箱使用详解 92
    • 6.1.1 使用torch.utils.data. Dataset封装自定义数据集 92
    • 6.1.2 改变数据类型的Dataset类中的transform的使用 93
    • 6.1.3 批量输出数据的DataLoader类详解 98
  • 6.2 实战:基于tensorboardX的训练可视化展示 100
    • 6.2.1 可视化组件tensorboardX的简介与安装 100
    • 6.2.2 tensorboardX可视化组件的使用 100
    • 6.2.3 tensorboardX对模型训练过程的展示 103
  • 6.3 本章小结 105

第7章 ResNet实战 106

  • 7.1 ResNet基础原理与程序设计基础 106
    • 7.1.1 ResNet诞生的背景 107
    • 7.1.2 PyTorch 2.0中的模块工具 109
    • 7.1.3 ResNet残差模块的实现 110
    • 7.1.4 ResNet网络的实现 112
  • 7.2 ResNet实战:CIFAR-10数据集分类 114
    • 7.2.1 CIFAR-10数据集简介 114
    • 7.2.2 基于ResNet的CIFAR-10数据集分类 117
  • 7.3 本章小结 118

第8章 有趣的词嵌入 120

  • 8.1 文本数据处理 120
    • 8.1.1 Ag_news数据集介绍和数据清洗 120
    • 8.1.2 停用词的使用 123
    • 8.1.3 词向量训练模型Word2Vec使用介绍 125
    • 8.1.4 文本主题的提取:基于TF-IDF 128
    • 8.1.5 文本主题的提取:基于TextRank 132
  • 8.2 更多的词嵌入方法—FastText和预训练词向量 134
    • 8.2.1 FastText的原理与基础算法 135
    • 8.2.2 FastText训练及其与PyTorch 2.0的协同使用 136
    • 8.2.3 使用其他预训练参数来生成PyTorch 2.0词嵌入矩阵(中文) 140
  • 8.3 针对文本的卷积神经网络模型简介—字符卷积 141
    • 8.3.1 字符(非单词)文本的处理 141
    • 8.3.2 卷积神经网络文本分类模型的实现—Conv1d(一维卷积) 148
  • 8.4 针对文本的卷积神经网络模型简介—词卷积 151
    • 8.4.1 单词的文本处理 151
    • 8.4.2 卷积神经网络文本分类模型的实现—Conv2d(二维卷积) 153
  • 8.5 使用卷积对文本分类的补充内容 155
    • 8.5.1 汉字的文本处理 155
    • 8.5.2 其他细节 157
  • 8.6 本章小结 158

第9章 基于循环神经网络的中文情感分类实战 160

  • 9.1 实战:循环神经网络与情感分类 160
  • 9.2 循环神经网络理论讲解 165
    • 9.2.1 什么是GRU 165
    • 9.2.2 单向不行,那就双向 167
  • 9.3 本章小结 168

第10章 从零开始学习自然语言处理的编码器 169

  • 10.1 编码器的核心—注意力模型 170
    • 10.1.1 输入层—初始词向量层和位置编码器层 170
    • 10.1.2 自注意力层 172
    • 10.1.3 ticks和Layer Normalization 177
    • 10.1.4 多头注意力 178
  • 10.2 编码器的实现 180
    • 10.2.1 前馈层的实现 181
    • 10.2.2 编码器的实现 182
  • 10.3 实战编码器:拼音汉字转化模型 184
    • 10.3.1 汉字拼音数据集处理 185
    • 10.3.2 汉字拼音转化模型的确定 187
    • 10.3.3 模型训练部分的编写 190
  • 10.4 本章小结 191

第11章 站在巨人肩膀上的预训练模型BERT 193

  • 11.1 预训练模型BERT 193
    • 11.1.1 BERT的基本架构与应用 194
    • 11.1.2 BERT预训练任务与微调 195
  • 11.2 实战BERT:中文文本分类 198
    • 11.2.1 使用Hugging Face获取BERT预训练模型 198
    • 11.2.2 BERT实战文本分类 200
  • 11.3 更多的预训练模型 203
  • 11.4 本章小结 205

第12章 从1开始自然语言处理的解码器 206

  • 12.1 解码器的核心—注意力模型 206
    • 12.1.1 解码器的输入和交互注意力层的掩码 207
    • 12.1.2 为什么通过掩码操作能够减少干扰 212
    • 12.1.3 解码器的输出(移位训练方法) 213
    • 12.1.4 解码器的实现 214
  • 12.2 解码器实战—拼音汉字翻译模型 215
    • 12.2.1 数据集的获取与处理 216
    • 12.2.2 翻译模型 218
    • 12.2.3 拼音汉字模型的训练 229
    • 12.2.4 拼音汉字模型的使用 230
  • 12.3 本章小结 231

第13章 基于PyTorch 2.0的强化学习实战 232

  • 13.1 基于强化学习的火箭回收实战 232
    • 13.1.1 火箭回收基本运行环境介绍 233
    • 13.1.2 火箭回收参数介绍 234
    • 13.1.3 基于强化学习的火箭回收实战 234
    • 13.1.4 强化学习的基本内容 239
  • 13.2 强化学习的基本算法—PPO算法 243
    • 13.2.1 PPO算法简介 243
    • 13.2.2 函数使用说明 244
    • 13.2.3 一学就会的TD-error理论介绍 245
    • 13.2.4 基于TD-error的结果修正 247
    • 13.2.5 对于奖励的倒序构成的说明 248
  • 13.3 本章小结 249

第14章 ChatGPT前身—只具有解码器的GPT-2模型 250

  • 14.1 GPT-2模型简介 250
    • 14.1.1 GPT-2模型的输入和输出结构—自回归性 251
    • 14.1.2 GPT-2模型的PyTorch实现 252
    • 14.1.3 GPT-2模型输入输出格式的实现 257
  • 14.2 Hugging Face GPT-2模型源码模型详解 259
    • 14.2.1 GPT2LMHeadModel类和GPT2Model类详解 259
    • 14.2.2 Block类详解 270
    • 14.2.3 Attention类详解 274
    • 14.2.4 MLP类详解 281
  • 14.3 Hugging Face GPT-2模型的使用与自定义微调 282
    • 14.3.1 模型的使用与自定义数据集的微调 282
    • 14.3.2 基于预训练模型的评论描述微调 285
  • 14.4 自定义模型的输出 286
    • 14.4.1 GPT输出的结构 286
    • 14.4.2 创造性参数temperature与采样个数topK 288
  • 14.5 本章小结 290

第15章 实战训练自己的ChatGPT 291

  • 15.1 什么是ChatGPT 291
  • 15.2 RLHF模型简介 293
    • 15.2.1 RLHF技术分解 293
    • 15.2.2 RLHF中的具体实现—PPO算法 296
  • 15.3 基于RLHF实战的ChatGPT正向评论的生成 297
    • 15.3.1 RLHF模型进化的总体讲解 297
    • 15.3.2 ChatGPT评分模块简介 298
    • 15.3.3 带有评分函数的ChatGPT模型的构建 300
    • 15.3.4 RLHF中的PPO算法—KL散度 301
    • 15.3.5 RLHF中的PPO算法—损失函数 303
  • 15.4 本章小结 304

第16章 开源大模型ChatGLM使用详解 305

  • 16.1 为什么要使用大模型 305
    • 16.1.1 大模型与普通模型的区别 306
    • 16.1.2 一个神奇的现象—大模型的涌现能力 307
  • 16.2 ChatGLM使用详解 307
    • 16.2.1 ChatGLM简介及应用前景 308
    • 16.2.2 下载ChatGLM 309
    • 16.2.3 ChatGLM的使用与Prompt介绍 310
  • 16.3 本章小结 311

第17章 开源大模型ChatGLM 高级定制化应用实战 312

  • 17.1 医疗问答GLMQABot搭建实战—基于ChatGLM搭建专业客服问答机器人 312
    • 17.1.1 基于ChatGLM搭建专业领域问答机器人的思路 313
    • 17.1.2 基于真实医疗问答的数据准备 314
    • 17.1.3 文本相关性(相似度)的比较算法 315
    • 17.1.4 提示语句Prompt的构建 316
    • 17.1.5 基于单个文档的GLMQABot的搭建 316
  • 17.2 金融信息抽取实战—基于知识链的ChatGLM本地化知识库检索与智能答案生成 318
    • 17.2.1 基于ChatGLM搭建智能答案生成机器人的思路 319
    • 17.2.2 获取专业(范畴内)文档与编码存储 320
    • 17.2.3 查询文本编码的相关性比较与排序 322
    • 17.2.4 基于知识链的ChatGLM本地化知识库检索与智能答案生成 325
  • 17.3 基于ChatGLM的一些补充内容 327
    • 17.3.1 语言的艺术—Prompt的前世今生 328
    • 17.3.2 清华大学推荐的ChatGLM微调方法 329
    • 17.3.2 一种新的基于ChatGLM的文本检索方案 330
  • 17.4 本章小结 331

第18章 对训练成本上亿美元的ChatGLM进行高级微调 332

  • 18.1 ChatGLM模型的本地化处理 332
    • 18.1.1 下载ChatGLM源码与合并存档 332
    • 18.1.2 修正自定义的本地化模型 335
    • 18.1.3 构建GLM模型的输入输出示例 337
  • 18.2 高级微调方法1—基于加速库Accelerator的全量数据微调 339
    • 18.2.1 数据的准备—将文本内容转化成三元组的知识图谱 339
    • 18.2.2 加速的秘密—Accelerate模型加速工具详解 342
    • 18.2.3 更快的速度—使用INT8(INT4)量化模型加速训练 345
  • 18.3 高级微调方法2—基于LoRA的模型微调 348
    • 18.3.1 对ChatGLM进行微调的方法—LoRA 348
    • 18.3.2 自定义LoRA的使用方法 349
    • 18.3.3 基于自定义LoRA的模型训练 350
    • 18.3.4 基于自定义LoRA的模型推断 352
    • 18.3.5 基于基本原理的LoRA实现 355
  • 18.4 高级微调方法3—基于Huggingface的PEFT模型微调 357
    • 18.4.1 PEFT技术详解 358
    • 18.4.2 PEFT的使用与参数设计 359
    • 18.4.3 Huggingface专用PEFT的使用 360
  • 18.5 本章小结 362

男性P點高潮:就爽前列腺

男性P點高潮:就爽前列腺

內容簡介

金手指加藤鷹到不了的地方!
全球男人都在玩!讓妳/你的男人歡喜「開門」的第1本書
現在就動手探索,享受來自P點綿綿不絕的震顫,高潮一直來一直來!

美國亞馬遜Amazon.com讀者四星半好評推薦!

情趣女王SallyQ.實戰玩家潤滑液男孩
愛不釋手.挖挖哇推薦!
潤滑液男孩:「讀著這本書,我癢到忍不住把整箱玩具玩了一遍!」

擁有本書,你/妳將學習到──
○ 最實用安全的按摩、體位、性玩具等操作技巧!
○ 如何與伴侶建立信賴、敞開心防討論慾望!
○ 直通強烈P點高潮的祕訣和竅門!
○ 提早維護並促進前列腺的健康!

「這本書解答了我一切有關前列腺遊戲、以及如何探索快感的疑問。」
──尼肯‧法蘭提克
「它提供的資訊豐富到難以想像!不僅每位男同志都該人手一本,異性戀男女也將從本書獲得超乎預期的性愛靈感。」
──L‧彼得森

前列腺遊戲是目前男性性行為中最火熱的潮流。愈來愈多男人藉由「P點」刺激和高潮,讓性樂趣倍加強烈。正如女性對G點的探索永遠改變了高潮體驗,圖文兼具的本書,將帶給你超乎想像的性愛滿足感!
由兩位性學專家聯手撰寫、圖文兼備的本書,內容包含P點高潮原理詳解、個人如何探索自爽、雙人如何愉悅合戲(男女/男男)、前列腺情趣玩具選購指南……等等一切你想知道的專業知識和技巧。不管是好奇想入門的新手男孩,已有後庭歡快經驗的男人,或躍躍欲試、想為男伴開發「美麗新世界」的女性朋友,都可以按部就班找到強烈性快感的源頭,順利開啟歡愉暢感的眾妙之門。

內附本書讀者專享好康──
頂! 台灣本土原創情趣玩具 異物根根9折獨家優惠!
爽! GuyShop全店G點/P點玩具全系列不限品牌88折優惠券!
噴! 延伸探索.身心極樂──來店購物限時送神秘福袋 !

★更多訊息,請上基本書坊部落格: http://gbookstaiwan.blogspot.tw

敌人与邻居:阿拉伯人和犹太人在巴勒斯坦和以色列

巴勒斯坦的这片土地,是犹太人经卷上所指的应许之地,也是许多阿拉伯人世世代代的居所。1917年,奥斯曼帝国落败,结束在这里4个世纪的统治;英国外交大臣发表《贝尔福宣言》,支持犹太人在这片土地上建立民族家园。一个世纪的撕扯与动荡就此开启。

分歧从一开始就难以调和。从19世纪末首批犹太定居点的建立、20世纪30年代的阿拉伯起义,到以色列在1948年的建国、1967年的六日战争,再到1993年的《奥斯陆协议》,以及2002年以来修建的隔离墙……对于同样的事件,双方说法截然不同。犹太复国主义者眼中的公正和胜利,对巴勒斯坦人来说则是不公、失败、流亡和羞辱。

对于这片土地上两个民族百年难解的纷争,记者兼历史学家伊恩·布莱克意识到,只能通过关注他们如何看待自己、历史以及彼此来理解。于是,他借助文献资料、解密档案、口述历史,还有他自己的现场报道,寻求真相和对话。他留意历史的变迁、国家间的斡旋和博弈,因为那是冲突的肇因和驱动力;他更在意被卷入这百年动荡的普通人的生活,因为冲突的撕裂,他们在日常感受得至为真切。

一百年来,缓和的机会一再错失,促使这两个民族和平、自由、公平地作为邻居而不是敌人相处的协议从未达成。如今,没有任何迹象表明这场冲突即将落幕,而理解,是面向未来的开始。

---------------------

1. 一片土地上两个民族的百年纷争,讲清最棘手地区冲突的来龙去脉

巴以冲突可以说是最棘手的地区纷争,牵动全球,却似乎始终无解。1917年英国政府《贝尔福宣言》发表已过去一个世纪,没有任何迹象表明这场冲突即将落幕,所以理解它比以往更加重要。

《敌人与邻居》从奥斯曼帝国末期,首批犹太复国主义者来到巴勒斯坦地区说起,一直讲到奥巴马卸任美国总统的2017年,从头梳理阿拉伯人和犹太人在这片土地的百年纠缠,透视地缘、国家格局的变化。

2. 以资深记者的切身观察、学者的挖掘反思,公正呈现历史全貌

作者伊恩·布莱克是《卫报》资深记者,伦敦政治经济学院政治学博士、资深研究员。他精通阿拉伯语、希伯来语,置身中东冲突现场36年,长期往来于中东北非地区。在新作《敌人与邻居》里,他依托解密档案、文献资料、口述历史、现场报道,既用政治和历史学者的视野,勾勒大国博弈下的上层决策过程,又以现场报道的视角,还描绘普通阿拉伯人、犹太人在冲突撕扯下的想法和生活。

3. 平衡呈现冲突双方观点,获得巴勒斯坦和以色列学者的共同认可

《贝尔福宣言》、《皮尔报告》、以色列建国、六天战争、联合国决议……百年历史上的所有大事,在冲突双方那里都有完全不同的解释。一方口中的英雄是另一方眼里的罪人;一方眼中的公正和胜利,对另一方来说则意味着不公、失败、流亡和羞辱。

巴以双方各说各话,对话难以展开。《敌人与邻居》平衡呈现双方的观点,讲述客观事实,在截然不同的说法之间找到了中间立场,获得巴勒斯坦和以色列学者的认可,让人看到,双方或许有希望基于共同认可历史展开对话。

4. 研究巴以冲突的里程碑式作品,赞誉奖项众多

因为分歧难以弥合,所以书写巴勒斯坦问题历史的作品往往侧重于其中一方的视角。《敌人与邻居》以其公正平衡获得巴以双方学者的认可,可以说是里程碑式的著作,也因此获得众多奖项赞誉。在《贝尔福宣言》发表一百周年的2017年,《金融时报》《经济学人》《星期日泰晤士报》《卫报》等众多主流媒体都将《敌人与邻居》列为年度好书。它的细腻、平衡、客观获得前英国驻联合国大使格林斯托克、著有《奥斯曼帝国的衰亡》的学者尤金·罗根、作家塞巴斯蒂安·福克斯等等的一致认可。