【北京大学】4 TensorFlow1.x的反向传播推导与实现

1 相关概念

（1）反向传播：训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据上的损失函数最小。 （2）损失函数（loss）：预测值(y)与已知答案（y_）的差距 （3）均方误差MSE

loss = tf.reduce_mean(tf.square(y_-y))

（4）反向传播训练方法：以减小loss值为优化目标 （5）学习率：决定参数每次更新的幅度

2 神经网络实现过程

（1）准备数据集，提取特征，作为输入喂给神经网络 （2）搭建NN结构，从输入到输出（先搭建计算图，再用会话执行） （3）大量特征数据喂给NN，迭代优化NN参数 （4）使用训练好的模型预测和分类

3 代码实现

#coding:utf-8
#0导入模块，生成模拟数据集。
#tensorflow学习笔记(北京大学) tf3_6.py 完全解析神经网络搭建学习
#QQ群：476842922（欢迎加群讨论学习
import tensorflow as tf
import numpy as np
BATCH_SIZE = 8
SEED = 23455
rdm = np.random.RandomState(SEED)
X = rdm.rand(32,2)
Y_ = [[int(x0 + x1