Spark学习(一)--RDD操作

标签(空格分隔): 学习笔记


Spark编程模型的两种抽象:RDD(Resilient Distributed Dataset)和两种共享变量(支持并行计算的广播变量和累加器)。

RDD

RDD是一种具有容错性的基于内存的集群计算方法。
RDD特征:

  1. 分区(partition):有一个数据分片列表,能够将数据进行切分,切分后的数据能够进行并行极端,是数据集的原子组成部分;
  2. 函数(compute):计算每个分片,得出一个可遍历的结果,用于说明在父RDD上执行何种计算;
  3. 依赖(dependency):计算每个RDD对父RDD的依赖列表,源RDD没有依赖,通过依赖关系描述血统(lineage);
  4. 优先位置:每一个分片的优先计算位置;
  5. 分区策略:描述分区模式和数据存放的位置,

常用的RDD有很多种,每个Transformation操作都会产生一种RDD。

RDD依赖

  1. 窄依赖(narrow dependency)
    窄依赖是指父RDD的每一个分区都最多被一个子RDD的分区所使用。表现为一父一子或者多父一子。
  2. 宽依赖(wide dependency)
    子RDD的每个分区都依赖于所有父RDD的所有分区或者多个分区。

创建RDD

  1. 集合(数组)创建RDD
    通过并行集合(数组)创建RDD,主要调用SParkContext的parallelize方法;
  2. 存储创建RDD
    可以从各种分布式文件创建,也可以从支持Hadoop输入格式数据源创建。

RDD操作

应用逻辑是通过一系列Transformation和Action来表达的,前者在RDD之间指定处理的相互依赖关系,后者指定输出的形式。

  • Transformation:是指该操作从已经存在的数据及上创建一个新的数据集,是数据集的逻辑操作,并没有进行真正的计算;
  • Action:指该方法提交一个与前一个Action之间的所有Transformation组成的job进行计算,Spark会根据Action将作业切分成多个Job。·

共享变量

  1. 广播变量
    可以在内的所有节点中被访问,用户缓存变量(只读);

    val broadcastVar = sc.broadcast(Array(1,2,3))

  2. 累加器
    只能用来做加法的变量,如计数和求和。

    val accum = sc.accumulator(0)

上一篇:iOS 屏幕方向


下一篇:Shell脚本-自动化部署反向代理、WEB、nfs