【北京大学】7 TensorFlow1.x的神经网络模块设计思想举例及实现

1 第一个文件forward.py

放前向传播的函数，前向传播就是搭建网络结构，设计网络结构。一般需要包含三个函数

#定义前向传播过程
def forward(x,regularizer):
    w = 
    b = 
    y = 
    return y
#给权重赋初值
def get_weight(shape, regularizer):
    w = tf.Variable(tf.random_normal(shape), dtype=tf.float32)
    tf.add_to_collection('losses', tf.contrib.layers.l2_regularizer(regularizer)(w))
    return w
#给偏置赋初值
def get_bias(shape):  
    b = tf.Variable(tf.constant(0.01, shape=shape)) 
    return b
 

2 第二个文件backward.py

反向传播就是训练网络，优化网络参数，该文件可以包含损失函数、指数衰减学习率、滑动平均

def backard():
    x = tf.placeholder()
    y = tf.placeholder()
    y = forward.forward(x,REGULARIZER)
    global_step = tf.Variable(0,trainable =False)
    loss = 
## 损失函数
#loss第一种是一般求差值的loss，一种是交叉熵的loss，另一种是正则化的loss
#loss_mse = tf.reduce_mean(tf.square(y-y_))# 一般loss
#loss_ce = tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels = tf.argmax(y_,1)))# 交叉熵
#loss_total = loss_mse + tf.add_n(tf.get_collection('losses'))# 正则化的loss
## 指数衰减学习率
learning_rate = tf.train.exponential_decay(
        LEARNING_RATE_BASE,
    global_step,
    #数据集总样本数/Batch_size
    LEARNING_RATE_DECAY,
    staircase =True
)
#定义反向传播方法
train_step = tf.train.AdamOptimizer(0.0001).minimize(loss，global_step =global_step)
## 滑动平均
ema = tf.train.ExponentialMovingAverage(衰减率MOVING_AVERAGE_DECAY, 当前轮数global_step)#滑动平均
ema_op = ema.apply(tf.trainable_variables())#每运行此句，所有待优化的参数求滑动平均
# 通常我们把滑动平均与训练过程绑定在一起，使它们合成一个训练节点。如下所示
with tf.control_dependencies([train_step,ema_op]):
    train_op = tf.no_op(name='train')
    
with tf.Session() as sess:
    init_op = tf.global_variables_initializer()#初始化
    sess.run(init_op)#初始化
    STEPS = 3000 # 定义轮数
    for i in range(STEPS):#三千轮
        start = (i*BATCH_SIZE) % 32  #8个数据  为一个数据块输出
        end = (i*BATCH_SIZE) % 32 + BATCH_SIZE  #[i:i+8]
        sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})#训练
if __name__ = '__main__':
    backward()

3 模块化设计网络举例

数据X[x0,x1]为正态分布随机点，标注Y_当时y_= 1(标记为红色)，其余y_=0(标记未蓝色)。代码按照模块分为三个文件。

（1）生成数据集generateds.by

#coding:utf-8
#生成模拟数据集
import numpy as np
import matplotlib.pyplot as plt
seed = 2 
def generateds():
    #基于seed产生随机数
    rdm = np.random.RandomState(seed)
    #随机数返回300行2列的矩阵，表示300组坐标点（x0,x1）作为输入数据集
    X = rdm.randn(300,2)
    #从X这个300行2列的矩阵中取出一行,判断如果两个坐标的平方和小于2，给Y赋值1，其余赋值0
    #作为输入数据集的标签（正确答案）
    Y_ = [int(x0*x0 + x1*x1