DL之softmax：深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现

DL之softmax：深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现

目录

深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现

设计思路

输出结果

代码实现

深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现 设计思路

# 1、定义softmax()函数        # T1、初级定义softmax()函数：但是较大的数值难以计算        # T2、优化后的softmax()函数：解决因数值超大而导致的溢出现象               # 输出总和为1是softmax函数的一个重要性质。正因为有这个性质，才可以把softmax 函数的输出解释为“概率”。               # [ 0.01821127 0.24519181 0.73659691]    #有74%的概率是第2个类别，有25%的概率是第1个类别，有1%的概率是第0个类别 

输出结果

 DNN完整结构输出结果： [0.01821127 0.24519181 0.73659691] 1.0

代码实现

# DL之softmax：深度学习中常用的函数之softmax——基于numpy定义优化softmax函数代码实现

import numpy as np

 
# 1、定义softmax()函数
# T1、初级定义softmax()函数：但是较大的数值难以计算
def softmax01(a):
    exp_a = np.exp(a)          #指数函数
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a      #指数函数的和
    return y
 
# 因数值超大，没被正确计算
arr_X = np.array([1010, 1000, 990])
y01 = softmax01(arr_X)
print('DNN完整结构输出结果：',y01,np.sum(y01)) 
# 分析原因
res = np.exp(arr_X) / np.sum(np.exp(arr_X))    #softmax函数的运算
print(res)


# T2、优化后的softmax()函数：解决因数值超大而导致的溢出现象
def softmax(a):
    c = np.max(a)
    exp_a = np.exp(a - c)  # 溢出对策
    sum_exp_a = np.sum(exp_a)
    y = exp_a / sum_exp_a
    return y

arr_X = np.array([0.3, 2.9, 4.0])
y = softmax(arr_X)
print('DNN完整结构输出结果：',y,np.sum(y))  
# 输出总和为1是softmax函数的一个重要性质。正因为有这个性质，才可以把softmax 函数的输出解释为“概率”。
# [ 0.01821127 0.24519181 0.73659691]    #有74%的概率是第2个类别，有25%的概率是第1个类别，有1%的概率是第0个类别