搜索:cost function

神经网络的cost function

原创 2018-04-12 23:53 阅读(150)次
神经网络作为一个机器学习算法,跟逻辑回归,线性回归一样,也可以通过最小化代价函数cost function J(θ)来求预测函数h(θ)的θ。 逻辑回归的正则化cost function是 神经网络的cost function 是从上面的公式推导的 因为神经网络中输出层节点的激活函数都逻辑回归。但神经网络的输出层可能是K个节点,也就是输出是一个K维向量,在计算cost function的时候我们需要把这K维的值的cost都累加起来。 而正则项部分,因为神经网络中每个上层节点到下层节点都有权重(或者叫参数θ),所以需要都把他们加上,但不加上bias项的参数,这和逻辑回归是一样的,因为bias的...

线性回归的cost function 等高线图分析法

原创 2018-03-16 10:51 阅读(187)次
从上文  线性回归的cost function 3D图形分析法 我们能大概看出cost function的趋势和最低点,但3D图形并不那么直观。本文介绍用等高线图来分析cost function。 基本求J值的方法是一样的, clear ; close all; clc data = load('ex1data1.txt'); X = data(:, 1); y = data(:, 2); m = length(y); X = [ones(m, 1), data(:,1)]; % m * 2 theta0_vals = linspace(-1...

线性回归的cost function 3D图形分析法

原创 2018-03-04 22:31 阅读(189)次
在上文 线性回归的cost function 2D图形分析法 我们假设θ0 =  0 ,使J(θ0,θ1) 变成 J(θ1)。所以可以用2D图形来表示J(θ)函数。本文将认为θ0 !=0,cost function  将有两个自变量的函数J(θ0,θ1) ,就是需要3D图形来表示(x轴θ0,y轴θ1,z轴为J(θ0,θ1))的值。 想要得到如下图的效果, 首先我们需要样本数据,这里用andrew Ng 课程一个的数据作为绘图的样本数据。 数据共97行,每行2列,第1列是特征项x,第2列是目标值y。我截取一些如下 6.1101,17.592 5.5277,...

线性回归的cost function 2D图形分析法

原创 2018-03-04 17:52 阅读(147)次
在 线性回归的求解原理和cost function 一文中我们已经介绍了线性回归的cost function和他的作用。 本文我们从cost function 的图形上来发现J的最小值。 预测函数 :           cost function :   为了理解方便,我们假设θ0 =  0 ,这样预测函数为 h(x) = 0 + θ1x =   θ1x  ,   对于cost function的自变量就只有θ1和因变量y...

线性回归的求解原理和cost function

原创 2018-03-04 01:19 阅读(283)次
上一篇 机器学习之回归入门     我们介绍了线性回归,这次我们来讲解线性回归的求解。求解原理举例说明cost function求解原理 中学学的一元的线性方程 y  =  ax + b, 为了后面的讲解简单,我们用θ来表示参数,即为  ,也是  我们称之为预测函数。 θ的不同取值,表示了不同的线性方程,坐标系上就表示了不同的直线。只有一条直线是最拟合训练样本的,求解线性回归就是找出这条直线,也就是找出对应的(θ0,θ1)举例说明 如图 五个红星代表了5个训练样本,分别有3条线对应3个线性方程。  &n...

梯度下降 gradient descent

原创 2018-02-25 20:34 阅读(172)次
梯度下降法,用来最小化一个函数的方法,可以用在机器学习的很多地方,特别是cost function,但不仅限于此。 也有称之为最速下降法。 梯度下降的原理就是沿着曲线逐步调整,以一定的学习速率向最低点移动,直到找到全局最低点或者局部最低点。 梯度下降需要有一下几个注意事项: 1.   因为很可能会停留在局部最低值,所以对应的曲线图形最好是凸函数图形,即只有全局最低点,不存在局部最低点的图形,这样就可以排除局部最低点的困扰。 如图,因为到了X点的时候,导数是0,梯度下降不会在移动参数了,认为是最低点了,但其实红点才是最低点。 2.   学习速率的选择,就...

分类之逻辑回归的代价函数costfunction梯度下降求解

原创 2018-02-25 17:14 阅读(168)次
我们在 分类之  分类之逻辑回归的代价函数costfunction  此文中已经给出了cost function, 现在我们要求解。 依然是用梯度下降法来求解,找到cost function  的最小值    minJ(θ)。 因为minJ(θ) 就是说明预测和真实值最接近,预测函数得出的错误“代价”最小。        梯度下降法就是重复做下面的计算 而后半部分求导得到         ...

分类之逻辑回归的代价函数costfunction

原创 2018-02-23 02:57 阅读(446)次
为什么不能用线性回归的cost function适合logistic regression的cost function为什么不能用线性回归的cost function 所谓代价函数,就是预测值和真实值的误差-----称为cost。而这个cost越小,说明预测越准确。也说明越拟合训练样本,也就能求出拟合训练样本的最好的θ。 如何去拟合训练样本,来找到θ 这个参数矩阵,就是求出分类预测函数h(x)剩下的问题了。 通过  线性回归的求解原理和cost function  一文,我们知道通过找到cost function的最低值,可以找出最佳的预测函数的方方法。 所以我们...