spark executor

Spark Executor Driver資源調度彙總 2015-10-21

Spark Executor Driver資源調度彙總
  一.简介   于Worker Actor于,每次LaunchExecutor这将创建一个CoarseGrainedExecutorBackend流程.Executor和CoarseGrainedExecutorBackend是1对1的关系.也就是说集群里启动多少Executor实例就有多少CoarseGrainedExecutorBackend进程.   那么究竟是怎样分配

Spark源碼分析 – Executor 2015-10-18

ExecutorBackend 很简单的接口 package org.apache.spark.executor /** * A pluggable interface used by the Executor to send updates to the cluster scheduler. */ private[spark] trait ExecutorBackend { def statusUpdate(taskId: Long, state: TaskState, data: ByteBuffer

spark 筆記 12: Executor,task最後的歸宿 2015-10-19

spark的Executor是执行task的容器.和java的executor概念类似.===================start executor runs task============================->CoarseGrainedExecutorBackend::receiveWithLogging --接收CoarseGrainedSchedulerBackend发来的消息 ->case LaunchTask(data) =>  处理启动task的消息 -

hive on spark 編譯 2015-10-14

hive on spark 編譯
前置条件说明 Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样. 从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在spark分支上面,可以看这里https://github.com/apache/hive/tree/spark,并会定期的移到m

Spark Deploy 模塊 2015-10-14

Spark Scheduler 模块的文章中,介绍到 Spark 将底层的资源管理和上层的任务调度分离开来,一般而言,底层的资源管理会使用第三方的平台,如 YARN 和 Mesos.为了方便用户测试和使用,Spark

Spark Scheduler 模塊(下) 2015-10-14

Scheduler 模块中最重要的两个类是 DAGScheduler 和 TaskScheduler.上篇讲了 DAGScheduler,这篇讲 TaskScheduler. TaskScheduler 前面提到,在 SparkContext 初始化的过程中,根据 master 的类型分别创建不同的 TaskScheduler 的实现.当 master 为 local, spark, mesos 时创建 TaskSchedulerImpl,当 master 为 YARN 时,创建其他的实现,读者可以自行研

Spark on Yarn ”爬坑“集錦(spark1.2) 2015-10-14




    		    Spark on Yarn ”爬坑“集錦(spark1.2)
一.概述 Ha,已经有两个月没有更新blog了.由于近排公司需要引入Spark相关技术,我

Tuning Spark 2015-10-16

https://spark.apache.org/docs/1.2.1/tuning.html   Data Serialization 数据序列化,对于任意分布式系统都是性能的关键点 Spark默认使用Java s

spark配置lzo 2015-10-16

spark1.0版本 spark-env.sh中 export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/soft/hadoop/lzo/lib/export SPARK_CLASSPATH=$SPARK_CLASSPATH:/soft/server/spark-1.0.2-bin-hadoop2/lib/hadoop-lzo-0.4.20-SNAPSHOT.jar /soft/hadoop/lzo/lib/路径下: liblzo2.a  liblzo2.la  li

spark sql on hive初探 2015-10-16

前一段时间由于shark项目停止更新,sql on spark拆分为两个方向,一个是spark sql on hive,另一个是hive on spark.hive on spark达到可用状态估计还要等很久的时间,所以打算试用下spark sql on hive,用来逐步替代目前mr on hive的工作. 当前试用的版本是spark1.0.0,如果要支持hive,必须重新进行编译,编译的命令有所变化 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M

spark讀寫壓縮文件API使用詳解 2015-10-16

最近研究了下Spark如何读写压缩格式的文件,主要有如下三种方式,这里以lzo方式压缩为例 /*******************old hadoop api*************************/ v

Spark link集合 2015-10-17

Part1. 各种参数的意义及如何配置 Spark官方文档——Spark Configuration(Spark配置) http://www.cnblogs.com/vincent-hv/p/3316502.html

Spark源碼分析 – SchedulerBackend 2015-10-18

SchedulerBackend, 两个任务, 申请资源和task执行和管理 对于SparkDeploySchedulerBackend, 基于actor模式, 主要就是启动和管理两个actor Deploy.Cli

Spark 在Hadoop HA下配置HistoryServer問題 2015-10-19

我的Spark机群是部署在Yarn上的,因为之前Yarn的部署只是简单的完全分布式,但是后来升级到HA模式,一个主NN,一个备NN,那么Spark HistoryServer的配置也需要相应的做修改,因为不做修改会报

Apache Spark源碼走讀之3 Task運行期之函數調用關系分析 2015-10-19

概要 本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回. 准备 1. spark已经安装完毕 2. spark运行在local mode或local-cluster mode local-

譯Spark官方文檔——Spark Configuration(Spark配置) 2015-10-19

注重版权,尊重他人劳动 转帖注明原文地址:http://www.cnblogs.com/vincent-hv/p/3316502.html   Spark主要提供三种位置配置系统: 环境变量:用来启动Spark workers,可以设置在你的驱动程序或者conf/spark-env.sh 脚本中: java系统性能:可以控制内部的配置参数,两种设置方法: 编程的方式(程序中在创建SparkContext之前,使用System.setProperty(“xx”,“xxx”)语句设置相应系统属性值): 在co

Windows下IntelliJ IDEA中調試Spark Standalone 2015-10-19

Windows下IntelliJ IDEA中調試Spark Standalone
参考:http://dataknocker.github.io/2014/11/12/idea%E4%B8%8Adebug-spark-standalone/ 转载请注明来自:http://www.cnblogs.com/yuananyun/p/4265706.html                        研究Spark源码也有一段时间了,一直都是直接看代码,没有调试

Apache Spark源碼走讀之7 Standalone部署方式分析 2015-10-20

Apache Spark源碼走讀之7  Standalone部署方式分析
欢迎转载,转载请注明出处,徽沪一郎. 楔子 在Spark源码走读系列之2中曾经提到Spar
一周排行
  • 1. 使用Jmeter前需要先安装JDK.运行命令,进入Jmeter解压包的bin目录下,输入jmeter.bat,就可以启动jmeter 2. 添加一个线程组,如下 3. 输入线程组名称.线程数 4. 新建一个ht ...
  • 


    		    Office 365系列之十四:配置自定義URL訪問個人Portal和網頁版Outlook
    在之前的文章中我们已经通过添加自定义域名实现将用户登录名和电子邮件地址修改为公司的域名.但 ...
  •  (本系列基于Jelly Bean,Android OS4.2,API 17版本)  操作栏Action Bar是在Android3.0版本中引入的,用来替代之前的标题栏.ActionBar提供了更丰富的导航效果,它 ...
  • if (table.Rows != null) { IList<CurrentAccountInfo> currentList = new List<CurrentAccountInfo>() ...
  • ubuntu中sendmail函数可以很方便的发送邮件,ubuntu sendmail先要安装两个包.必需安装的两个包:代码 sudo apt-get install sendmail sudo apt-get in
  • 这几天补了一下四边形优化DP...(证明的论文也就是假装看看),下面来总结一下: 我们一般列出DP转移方程:dp[i][j] = min(dp[i][k] + dp[k][j] + w[i][j]) 这种形式的时候,
  • 系统:CentOS release 6.4 (Final) 2.6.58.el6.i686 ################## 获取安装源码包 ###################### shell> ...
  • 题目: Given a collection of numbers, return all possible permutations. For example,[1,2,3] have the following
  • Hibernate notes:<1-n> 单向的1对n关联关系:     1.         首先进行Jar包的导入,然后编辑配置文件:   在进行jar包的导入时候,老师给的方法是通过加载的方式找到 ...
  • 本来之前一篇想写一写最近使用Google Docs.Google Sites等服务的心得,不过写完了之后掂了掂,虽然只是讲讲一个hosts文件,不过一来怕误导大家,二来怕被某物误解,左思右想之后还是没有发.不过眼看着 ...