0
点赞
收藏
分享

微信扫一扫

Tensorflow基础概念

利用EDRAW绘制(点击查看大图)

TensorFlow 是用数据流图做计算的,因此我们先创建一个数据流图(也称为网络结构图),如图所示,看一下数据流图中的各个要素。

图中讲述了 TensorFlow 的运行原理。图中包含输入(input)、塑形(reshape)、Relu 层(Relu layer)、Logit 层(Logit layer)、Softmax、交叉熵(cross entropy)、梯度(gradient)、SGD 训练(SGD Trainer)等部分,是一个简单的回归模型。

它的计算过程是,首先从输入开始,经过塑形后,一层一层进行前向传播运算。Relu 层(隐藏层)里会有两个参数,即 Wh1bh1,在输出前使用 ReLu(Rectified Linear Units)激活函数做非线性处理。

然后进入 Logit 层(输出层),学习两个参数 Wsmbsm。用 Softmax 来计算输出结果中各个类别的概率分布。

用交叉熵来度量两个概率分布(源样本的概率分布和输出结果的概率分布)之间的相似性。然后开始计算梯度,这里是需要参数 Wh1、bh1、Wsm 和 bsm,以及交叉熵后的结果。

随后进入 SGD 训练,也就是反向传播的过程,从上往下计算每一层的参数,依次进行更新。也就是说,计算和更新的顺序为 bsm、Wsm、bh1 和 Wh1。

未经作者授权,禁止转载

THE END

举报

相关推荐

0 条评论