spark on k8s 第二篇:client模式和依赖管理(自翻译)

原创 2019-11-22 20:44 阅读(6)次
继上篇 http://www.kaonao.net/detail/147.html说完集群模式 还有客户端模式何为spark on k8s 的客户端模式? 从spark 2.4开始,提供了client mode。区别在于driver可以运行在pod或者物理机上。就是driver可以不在k8s集群里的pod里。但必须考虑网络通信,即executor需要能通过host+port去访问driver。因此根据不同选择,配置也不同1、 如果driver运行在pod上,可以通过 headless service,使用固定的hostname由executor路由到driver。...

spark on k8s 第一篇:注意事项和集群模式 (自翻译)

原创 2019-11-21 22:17 阅读(9)次
目前spark是可以运行在k8s上的,使用的是加入到spark中的原生的k8s(kubernates)的调度器。但目前还是试验阶段,配置,镜像和entrypoints都有可能会修改。spark on k8s 特别要注意安全:1、默认的镜像是没有用户指令的,所以只能用root用户在容器中运行spark,这存在被人攻击,提权的风险。所以要应该在构建自定义镜像,并提供user指令,来指定无特权的UID,GID。(用root风险太高,也违背了运维原则)2.也可以使用pod template特性,给spark提交的pods加上一个security的上下文runAsUser,但这是需要用户配合的,需要由集...

(转)为什么说要搞定微服务架构,先搞定RPC框架?

转载 2019-01-04 02:40 阅读(154)次
原地址:https://mp.weixin.qq.com/s/jUgmW3oflsTwyX-6kNZCfw? 增加了一段说明一、需求缘起服务化的一个好处就是,不限定服务的提供方使用什么技术选型,能够实现大公司跨团队的技术解耦,如下图:服务A是欧洲团队提供服务,欧洲团队的技术背景是Java,可以用Java实现服务;服务B是美洲团队提供服务,可以用C++实现服务;服务C是中国团队提供服务,可以用Go实现服务;服务的上游调用方,按照接口、协议即可完成对远端服务的调用。但实际上,99.9%的公司的团队规模有限,技术团队人数也有限,基本是使用同一套技术体系来调用和提供服务的: 这样的话,如果没...

(转)spring cloud 版本说明

转载 2019-01-02 02:12 阅读(134)次
我在学习spring cloud 的时候,对于中文网站上有不同版本做了简单了解。跟eclipse的版本一样spring cloud也用了一些特殊的英文词来表示版本号。本文转自 https://blog.csdn.net/ljj_9/article/details/78645267Spring Cloud是什么?Spring Cloud为开发者提供了一套可以用来快速搭建分布式系统中常见模式的工具。提取主干即是Spring Cloud提供了一套工具。这些工具为开发人员提供了分布式系统下常见问题的通用解决方案。这些方案涵盖了配置管理,服务发现,断路器,智能路由,微代理,控制总线,一次性TO...