神经网络的cost function

原创 2018-04-12 23:53 阅读(140)次

神经网络作为一个机器学习算法,跟逻辑回归,线性回归一样,也可以通过最小化代价函数cost function J(θ)来求预测函数h(θ)的θ。

逻辑回归的正则化cost function是

神经网络的cost function 是从上面的公式推导的

因为神经网络中输出层节点的激活函数都逻辑回归。但神经网络的输出层可能是K个节点,也就是输出是一个K维向量,在计算cost function的时候我们需要把这K维的值的cost都累加起来。

而正则项部分,因为神经网络中每个上层节点到下层节点都有权重(或者叫参数θ),所以需要都把他们加上,但不加上bias项的参数,这和逻辑回归是一样的,因为bias的值是1,不需要正则化。

注意这个式子的 K,  L ,sl 的含义。

K是输出的维度,L是神经网络的层数,sl是某层的节点数。

本文完。

本站作品的版权皆为作品作者所有。

本站文字和内容为本站编辑或翻译,部分内容属本站原创,所以转载前务必通知本站并以超链接形式注明内容来自本站,否则以免带来不必要的麻烦。

本站内容欢迎分享,但拒绝有商业目的的转载!