TF之DNN：TF利用简单7个神经元的三层全连接神经网络【2-3-2】实现降低损失到0.000以下

TF之DNN：TF利用简单7个神经元的三层全连接神经网络实现降低损失到0.000以下(输入、隐藏、输出层分别为 2、3 、 2 个神经元)

 

 

 

目录

输出结果

实现代码

 

 

 

输出结果

 

实现代码

# -*- coding: utf-8 -*-

import tensorflow as tf
import os
import numpy as np

#TF：TF实现简单的三层全连接神经网络（输入、隐藏、输出层分别为 2、3 、 2 个神经元）
#隐藏层和输出层的激活函数使用的是 ReLU 函数。该模型训练的样本总数为 512，每次迭代读取的批量为 10。全连接网络以交叉熵为损失函数，并使用 Adam 优化算法进行权重更新。
import  tensorflow  as  tf 
from  numpy.random  import   RandomState  
batch_size= 10 
w1=tf. Variable (tf.random_normal([ 2 , 3 ],stddev= 1 ,seed= 1 )) 
w2=tf. Variable (tf.random_normal([ 3 , 1 ],stddev= 1 ,seed= 1 )) 
# None 可以根据batch 大小确定维度，在shape的一个维度上使用None 
x=tf.placeholder(tf.float32,shape=( None , 2 )) 
y=tf.placeholder(tf.float32,shape=( None , 1 ))  
#激活函数使用ReLU 
a=tf.nn.relu(tf.matmul(x,w1)) 
yhat=tf.nn.relu(tf.matmul(a,w2))  
#定义交叉熵为损失函数，训练过程使用Adam算法最小化交叉熵 
cross_entropy=-tf.reduce_mean(y*tf.log(tf.clip_by_value(yhat, 1e-10 , 1.0 ))) 
train_step=tf.train. AdamOptimizer ( 0.001 ).minimize(cross_entropy)
#tf.train.AdamOptimizer(learning_rate).minimize(cost_function) 是进行训练的函数，其中我们采用的是 Adam 优化算法更新权重，并且需要提供学习速率和损失函数这两个参数。
rdm= RandomState ( 1 ) 
data_size= 516  
#生成两个特征，共data_size个样本 
X=rdm.rand(data_size, 2 )#X=rdm.rand(512,2) 表示随机生成 512 个样本，每个样本有两个特征值。
#定义规则给出样本标签，所有x1+x2