4. 多层感知机

在本章中，我们将第一次介绍真正的深度网络。 最简单的深度网络称为多层感知机。多层感知机由多层神经元组成， 每一层与它的上一层相连，从中接收输入； 同时每一层也与它的下一层相连，影响当前层的神经元。 当我们训练容量较大的模型时，我们面临着过拟合的风险。 因此，本章将从基本的概念介绍开始讲起，包括过拟合、欠拟合和模型选择。 为了解决这些问题，本章将介绍权重衰减和暂退法等正则化技术。 我们还将讨论数值稳定性和参数初始化相关的问题， 这些问题是成功训练深度网络的关键。 在本章的最后，我们将把所介绍的内容应用到一个真实的案例：房价预测。 关于模型计算性能、可伸缩性和效率相关的问题，我们将放在后面的章节中讨论。

• 4.1. 多层感知机
  • 4.1.1. 隐藏层
  • 4.1.2. 激活函数
  • 4.1.3. 小结
  • 4.1.4. 练习
• 4.2. 多层感知机的从零开始实现
  • 4.2.1. 初始化模型参数
  • 4.2.2. 激活函数
  • 4.2.3. 模型
  • 4.2.4. 损失函数
  • 4.2.5. 训练
  • 4.2.6. 小结
  • 4.2.7. 练习
• 4.3. 多层感知机的简洁实现
  • 4.3.1. 模型
  • 4.3.2. 小结
  • 4.3.3. 练习
• 4.4. 模型选择、欠拟合和过拟合
  • 4.4.1. 训练误差和泛化误差
  • 4.4.2. 模型选择
  • 4.4.3. 欠拟合还是过拟合？
  • 4.4.4. 多项式回归
  • 4.4.5. 小结
  • 4.4.6. 练习
• 4.5. 权重衰减
  • 4.5.1. 高维线性回归
  • 4.5.2. 从零开始实现
  • 4.5.3. 简洁实现
  • 4.5.4. 小结
  • 4.5.5. 练习
• 4.6. 暂退法（Dropout）
  • 4.6.1. 重新审视过拟合
  • 4.6.2. 扰动的稳健性
  • 4.6.3. 实践中的暂退法
  • 4.6.4. 从零开始实现
  • 4.6.5. 简洁实现
  • 4.6.6. 小结
  • 4.6.7. 练习
• 4.7. 前向传播、反向传播和计算图
  • 4.7.1. 前向传播
  • 4.7.2. 前向传播计算图
  • 4.7.3. 反向传播
  • 4.7.4. 训练神经网络
  • 4.7.5. 小结
  • 4.7.6. 练习
• 4.8. 数值稳定性和模型初始化
  • 4.8.1. 梯度消失和梯度爆炸
  • 4.8.2. 参数初始化
  • 4.8.3. 小结
  • 4.8.4. 练习
• 4.9. 环境和分布偏移
  • 4.9.1. 分布偏移的类型
  • 4.9.2. 分布偏移示例
  • 4.9.3. 分布偏移纠正
  • 4.9.4. 学习问题的分类法
  • 4.9.5. 机器学习中的公平、责任和透明度
  • 4.9.6. 小结
  • 4.9.7. 练习
• 4.10. 实战Kaggle比赛：预测房价
  • 4.10.1. 下载和缓存数据集
  • 4.10.2. Kaggle
  • 4.10.3. 访问和读取数据集
  • 4.10.4. 数据预处理
  • 4.10.5. 训练
  • 4.10.6. \(K\)折交叉验证
  • 4.10.7. 模型选择
  • 4.10.8. 提交Kaggle预测
  • 4.10.9. 小结
  • 4.10.10. 练习