一眼看懂map和flatmap的区别

map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。
Spark 中 map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;
而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象
操作2:最后将所有对象合并为一个对象

object fla_map {
  def main(args: Array[String]): Unit = {
    val list: List[List[String]] = List(List("a","b"),List("z"))
    val map: List[(List[String], Int)] = list.map(a=>(a,1))
    map.foreach(a=>{println(a)})
    
    
    val map1: List[String] = list.flatMap(x=>x)
    map1.foreach(a=>{println(a)})
  }
}

一眼看懂map和flatmap的区别

上一篇:java – flatMap输入 – 尝试合并DoubleStreams


下一篇:Java 之 Stream流中map和flatMap的区别