深度学习实战

内容简介

深度学习为人工智慧带来了巨大突破，也成为机器学习领域一颗闪耀的新星。虽然相关学习资料丰富，但大部分内容较为庞杂且难以理解，并对初学者的相关理论知识与实践能力有较高的要求，这使得大部分想进入这一领域的初学者望而却步。本书去繁化简地对深度学习的理论知识进行了梳理，并对算法实现做出了浅显易懂的讲解，适合初学者进行学习。

图书目录

第1章深度学习的发展介绍 11.1如何阅读本书 31.2深度学习沉浮史 31.2.1模拟生物大脑的疯狂远古时代 41.2.2联结主义近代 51.2.3百花齐放，层次结构主导，模型巨大的当代 61.3Python简易教程 71.3.1Anaconda搭建 71.3.2IPythonNotebook使用 71.3.3Python基本用法 81.3.4NumPy 151.3.5Matplotlib 231.4参考文献 25第2章机器学习快速入门 272.1学习算法 282.1.1学习任务 292.1.2性能度量 302.1.3学习经验 322.2代价函式 332.2.1均方误差函式 332.2.2极大似然估计 342.3梯度下降法 362.3.1批量梯度下降法 382.3.2随机梯度下降法 392.4过拟合与欠拟合 402.4.1没免费午餐理论 422.4.2正则化 432.5超参数与验证集 442.6Softmax编码实战 462.6.1编码说明 492.6.2熟练使用CIFAR-10数据集 502.6.3显式循环计算损失函式及其梯度 532.6.4向量化表达式计算损失函式及其梯度 562.6.5最小批量梯度下降算法训练Softmax分类器 572.6.6使用验证数据选择超参数 612.7参考代码 682.8参考文献 70第3章前馈神经网路 723.1神经元 733.1.1Sigmoid神经元 743.1.2Tanh神经元 753.1.3ReLU神经元 763.2前馈神经网路 803.2.1输出层单元 803.2.2隐藏层单元 803.2.3网路结构设计 813.3BP算法 823.4深度学习编码实战上 863.4.1实现仿射传播 883.4.2实现ReLU传播 913.4.3组合单层神经元 933.4.4实现浅层神经网路 963.4.5实现深层全连线网路 1013.5参考代码 1093.6参考文献 113第4章深度学习正则化 1154.1参数範数惩罚 1164.1.1L2参数正则化 1184.1.2L1正则化 1194.2参数绑定与参数共享 1204.3噪声注入与数据扩充 1204.4稀疏表征 1224.5早停 1234.6Dropout 1264.6.1个体与集成 1264.6.2Dropout 1274.7深度学习编码实战中 1294.7.1Dropout传播 1314.7.2组合Dropout传播层 1344.7.3Dropout神经网路 1364.7.4解耦训练器trainer 1384.7.5解耦更新器updater 1434.7.6正则化实验 1454.8参考代码 1484.9参考文献 150第5章深度学习最佳化 1525.1神经网路最佳化困难 1535.1.1局部最优 1535.1.2鞍点 1545.1.3梯度悬崖 1545.1.4梯度消失或梯度爆炸 1555.1.5梯度不精确 1565.1.6最佳化理论的局限性 1565.2随机梯度下降 1565.3动量学习法 1585.4AdaGrad和RMSProp 1595.5Adam 1605.6参数初始化策略 1615.7批量归一化 1635.7.1BN算法详解 1635.7.2BN传播详解 1655.8深度学习编码实战下 1665.8.1Momentum 1675.8.2RMSProp 1715.8.3Adam 1725.8.4更新规则比较 1745.8.5BN前向传播 1765.8.6BN反向传播 1805.8.7使用BN的全连线网路 1825.8.8BN算法与权重标準差比较 1885.9参考代码 1915.10参考文献 195第6章卷积神经网路 1966.1卷积操作 1976.2卷积的意义 1986.2.1稀疏连线 1996.2.2参数共享 2006.3池化操作 2016.4设计卷积神经网路 2046.4.1跨步卷积 2046.4.2零填充 2056.4.3非共享卷积 2066.4.4平铺卷积 2076.5卷积网路编码练习 2086.5.1卷积前向传播 2096.5.2卷积反向传播 2126.5.3最大池化前向传播 2156.5.4最大池化反向传播 2186.5.5向量化执行 2206.5.6组合完整卷积层 2236.5.7浅层卷积网路 2246.5.8空间批量归一化 2296.6参考代码 2336.7参考文献 237第7章循环神经网路 2387.1循环神经网路 2397.1.1循环神经元展开 2397.1.2循环网路训练 2407.2循环神经网路设计 2427.2.1双向循环网路结构 2427.2.2编码-解码网路结构 243
7.2.3深度循环网路结构 2447.3门控循环神经网路 2457.3.1LSTM 2467.3.2门控循环单元 2497.4RNN编程练习 2507.4.1RNN单步传播 2527.4.2RNN时序传播 2557.4.3词嵌入 2587.4.4RNN输出层 2617.4.5时序Softmax损失 2627.4.6RNN图片说明任务 2647.5LSTM编程练习 2697.5.1LSTM单步传播 2697.5.2LSTM时序传播 2737.5.3LSTM实现图片说明任务 2767.6参考代码 2787.6.1RNN参考代码 2787.6.2LSTM参考代码 2827.7参考文献 285第8章TensorFlow快速入门 2878.1TensorFlow介绍 2888.2TensorFlow1.0安装指南 2898.2.1双版本切换Anaconda 2898.2.2安装CUDA8.0 2918.2.3安装cuDNN 2928.2.4安装TensorFlow 2938.2.5验证安装 2948.3TensorFlow基础 2958.3.1Tensor 2958.3.2TensorFlow核心API教程 2968.3.3tf.trainAPI 2998.3.4tf.contrib.learn 3018.4TensorFlow构造CNN 3058.4.1构建Softmax模型 3058.4.2使用TensorFlow训练模型 3078.4.3使用TensorFlow评估模型 3088.4.4使用TensorFlow构建卷积神经网路 3088.5TensorBoard快速入门 3118.5.1TensorBoard可视化学习 3128.5.2计算图可视化 316