搜索:3D

hadoop3 新功能yarn service初探

原创 2018-06-29 11:26 阅读(268)次
最近浏览最新版的hadoop 3.1.0,发现一个有趣的东西,YARN service。看来hadoop的团队也意识到mapreduce的没落,转而发展自己的强项了,甚至还结合了docker。 YARN service 由几个重要的部分组成 Service Framework (ApplicationMaster) on YARN 本质上这是一个ApplicationMaster,他负责根据用户提供的服务定义,从ResourceManager请求containers,并根据placement 策略启动容器。另外他需要做繁重的任务: 1. 解析并执行服务定义和配置 2. 管理容器的生命周期,如自...

octave画图篇之3D

原创 2018-03-05 00:08 阅读(252)次
几行程序画出这样的图,方便理解一些数学函数。 1. plot3方法就是用来画3D图的>> x = [1:1:10] x = 1 2 3 4 5 6 7 8 9 >> y = sqrt(x)>> z = cbrt(x)>> plot3(x,y,z)也就是分别设置x, y ,z 轴的值,如下图 ,0-10的轴是x,     1-3.5的轴是y,  1-2.2的轴是z view命令可以旋转角度,但本身figure的菜单中也可以旋转角度。 2....

线性回归的cost function 3D图形分析法

原创 2018-03-04 22:31 阅读(179)次
在上文 线性回归的cost function 2D图形分析法 我们假设θ0 =  0 ,使J(θ0,θ1) 变成 J(θ1)。所以可以用2D图形来表示J(θ)函数。本文将认为θ0 !=0,cost function  将有两个自变量的函数J(θ0,θ1) ,就是需要3D图形来表示(x轴θ0,y轴θ1,z轴为J(θ0,θ1))的值。 想要得到如下图的效果, 首先我们需要样本数据,这里用andrew Ng 课程一个的数据作为绘图的样本数据。 数据共97行,每行2列,第1列是特征项x,第2列是目标值y。我截取一些如下 6.1101,17.592 5.5277,...

线性回归的cost function 2D图形分析法

原创 2018-03-04 17:52 阅读(136)次
在 线性回归的求解原理和cost function 一文中我们已经介绍了线性回归的cost function和他的作用。 本文我们从cost function 的图形上来发现J的最小值。 预测函数 :           cost function :   为了理解方便,我们假设θ0 =  0 ,这样预测函数为 h(x) = 0 + θ1x =   θ1x  ,   对于cost function的自变量就只有θ1和因变量y...

python用selenium进行数据爬取

原创 2018-03-02 11:51 阅读(152)次
现在数据爬取无非针对两种数据:网页和API接口,API返回的数据基本是json,xml这类的格式。 而网页的数据则复杂的多,很多数据可能是用javascript的动态加载的。如果这时候只用httpclient或者python的requests来获取就无法满足。 模拟浏览器就可以攻破js这堵墙。selenium这方面技术的翘楚。 本文讲解win10环境,python3使用selenium爬取网页数据。 python 3 默认是没有selenium,需要安装。用pip安装pip install selenium 安装完成后,本文用firefox来作为启动的浏览器。#引入selenium包 fr...

octave画图篇之2D

原创 2018-02-20 01:30 阅读(238)次
上文我们提到了plot的基本用法我们来画几张特别的图需求1,画一张只有点没有线的图。plot默认会把数据点用线连接起来x = [0;1;2;3;4;5;6;7] y = [0;0;0;0;1;1;1;1] plot(x,y)会得到如下图但是如果命令变成这样,就可以出现需求1的图形了plot(x,y,"marker","*","markersize",20,"color","r","linestyle","none") marker是设置点的标识,mar...