3. 线性神经网络

在介绍深度神经网络之前，我们需要了解神经网络训练的基础知识。 本章我们将介绍神经网络的整个训练过程， 包括：定义简单的神经网络架构、数据处理、指定损失函数和如何训练模型。 为了更容易学习，我们将从经典算法————线性神经网络开始，介绍神经网络的基础知识。 经典统计学习技术中的线性回归和softmax回归可以视为线性神经网络， 这些知识将为本书其他部分中更复杂的技术奠定基础。

• 3.1. 线性回归
  • 3.1.1. 线性回归的基本元素
  • 3.1.2. 矢量化加速
  • 3.1.3. 正态分布与平方损失
  • 3.1.4. 从线性回归到深度网络
  • 3.1.5. 小结
  • 3.1.6. 练习
• 3.2. 线性回归的从零开始实现
  • 3.2.1. 生成数据集
  • 3.2.2. 读取数据集
  • 3.2.3. 初始化模型参数
  • 3.2.4. 定义模型
  • 3.2.5. 定义损失函数
  • 3.2.6. 定义优化算法
  • 3.2.7. 训练
  • 3.2.8. 小结
  • 3.2.9. 练习
• 3.3. 线性回归的简洁实现
  • 3.3.1. 生成数据集
  • 3.3.2. 读取数据集
  • 3.3.3. 定义模型
  • 3.3.4. 初始化模型参数
  • 3.3.5. 定义损失函数
  • 3.3.6. 定义优化算法
  • 3.3.7. 训练
  • 3.3.8. 小结
  • 3.3.9. 练习
• 3.4. softmax回归
  • 3.4.1. 分类问题
  • 3.4.2. 网络架构
  • 3.4.3. 全连接层的参数开销
  • 3.4.4. softmax运算
  • 3.4.5. 小批量样本的矢量化
  • 3.4.6. 损失函数
  • 3.4.7. 信息论基础
  • 3.4.8. 模型预测和评估
  • 3.4.9. 小结
  • 3.4.10. 练习
• 3.5. 图像分类数据集
  • 3.5.1. 读取数据集
  • 3.5.2. 读取小批量
  • 3.5.3. 整合所有组件
  • 3.5.4. 小结
  • 3.5.5. 练习
• 3.6. softmax回归的从零开始实现
  • 3.6.1. 初始化模型参数
  • 3.6.2. 定义softmax操作
  • 3.6.3. 定义模型
  • 3.6.4. 定义损失函数
  • 3.6.5. 分类精度
  • 3.6.6. 训练
  • 3.6.7. 预测
  • 3.6.8. 小结
  • 3.6.9. 练习
• 3.7. softmax回归的简洁实现
  • 3.7.1. 初始化模型参数
  • 3.7.2. 重新审视Softmax的实现
  • 3.7.3. 优化算法
  • 3.7.4. 训练
  • 3.7.5. 小结
  • 3.7.6. 练习