前沿技术第二章
2.神经网络
总结：
总结：联结主义（神经网络）
1. 机器学习定义
机器学习是一门研究如何通过经验自动改进计算机算法性能的科学。具体定义包括：
• 改善算法在特定任务中的性能。
• 使用数据或经验优化程序性能标准。
• Tom Michael Mitchell 提出的定义：程序从经验 E 中学习，针对任务 T 和性能度量 P，随着经验增加，性能逐步提升。
2. 机器学习的应用
机器学习的核心目标是找到一个函数来完成任务，如语音识别、图像识别、下围棋和对话系统等。
3. 神经元与自然计算机制
• 神经元是生物大脑的基本单位，负责接收输入、处理并输出信号。
• 生物神经元的特点：需要达到一定阈值才能触发输出，抑制微弱信号。
• 激活函数（Activation Function）模拟了这一特性，常用的是 S 型函数。
4. 人工神经元
• 人工神经元通过加权求和的方式整合多个输入，并通过激活函数生成输出。
• 多个神经元可以连接形成网络，完成更复杂的计算任务。
5. 神经网络模型
• 神经网络由多层神经元组成，每层神经元与上下层相连。
• 学习过程主要通过调整节点之间的连接权重实现。
• 权重更新基于误差反向传播（Backpropagation），将输出误差分配到各层节点。
6. 矩阵乘法的应用
• 矩阵乘法简化了神经网络中大量计算的过程。
• 输入信号通过权重矩阵传递到下一层，激活函数应用于每个节点。
7. 梯度下降与权重更新
• 梯度下降用于优化权重，通过链式法则计算误差函数关于权重的梯度。
• 权重更新公式结合学习率和梯度值，逐步逼近最优解。
8. 多层网络与反向传播
• 对于多层网络，误差从输出层逐层向前传播，更新每一层的权重。
• 隐藏层节点的误差通过其对输出层的贡献计算得出。
9. 构建神经网络
• 手动构建神经网络涉及定义网络结构、初始化权重、前向传播、误差计算和反向传播。
• 现代机器学习库（如 TensorFlow、PyTorch）提供了便捷的 Linear 层调用方法，简化了神经网络的构建过程。
核心要点
• 机器学习的目标是找到一个函数解决特定问题。
• 神经网络通过模拟生物神经元的工作机制实现复杂任务。
• 权重调整和误差反向传播是神经网络学习的核心。
• 矩阵乘法和梯度下降技术显著提升了神经网络的效率和可扩展性。
大纲
联结主义（神经网络）大纲
一、机器学习先导
• 机器学习的定义
◦ 人工智能科学：通过经验学习改善算法性能
◦ 计算机算法研究：自动改进的能力
◦ 数据或经验优化程序性能标准
• 英文定义解析
◦ 程序从经验E中学习，针对任务T和性能度量P，性能随经验提升
二、机器学习登场
• 语音识别示例
◦ 大量语音数据用于编写学习程序
• 图像识别示例
◦ 大量图像数据用于编写学习程序
• 机器学习的核心目标
◦ 寻找一个函数以解决特定任务
三、机器学习框架
（一）监督学习
• 框架结构
◦ 函数集合
◦ 训练数据
◦ 函数优劣评估
• 步骤详解
1 定义函数集合
2 评估函数优劣
3 选择最佳函数
• 示例流程
◦ 输入与输出映射关系
（二）不同类型的任务
• 监督学习
◦ 回归分析
▪ 线性模型
▪ 非线性模型
◦ 分类任务
▪ SVM、决策树、KNN等方法
• 半监督学习
• 迁移学习
• 无监督学习
• 强化学习
• 深度学习
四、神经元与自然计算机制
（一）生物神经元的工作原理
• 输入、处理与输出
◦ 输入信号通过树突进入
◦ 电信号沿轴突传输
◦ 输出信号由末梢传递
• 动物大脑的特点
◦ 并行处理能力
◦ 模糊性作为功能的一部分
（二）激活函数
• 生物神经元的非线性特性
◦ 不是简单的输入输出线性关系
◦ 存在阈值机制
• 数学表示
◦ 阶跃函数
◦ S型函数
▪ 更平滑、更自然的激活方式
（三）人工神经元
• 多个输入的处理
◦ 输入加权求和
◦ 总和作为S型函数输入
• 输出控制
◦ 低于阈值时抑制输出
◦ 达到阈值时激发输出
五、神经网络的构建
（一）几个神经元的连接
• 复杂计算能力
◦ 树突收集信号并合并
◦ 达到阈值时触发输出
• 网络结构
◦ 神经元层的概念
◦ 层间全连接
（二）人工模型
• 参数调整
◦ 调整节点间的连接强度
◦ 权重优化
• 矩阵乘法的应用
◦ 压缩计算过程
◦ 提高计算效率
六、权重学习与误差反向传播
（一）权重学习
• 单节点权重调整
◦ 使用误差指导改进
• 多节点权重更新
◦ 平均分配误差
◦ 按贡献比例分配误差
（二）误差反向传播
• 多输出节点的情况
◦ 错误按权重比例分配
• 多层网络中的应用
◦ 逐层反向传播误差
◦ 隐藏层误差计算方法
七、梯度下降与权重更新
• 梯度下降原理
◦ 解出误差函数关于权重的梯度
◦ 链式法则的应用
• 权重更新实例
◦ 实际操作步骤