A.RDD通过一系列的转换就就形成了DAG。B.根据RDD之间的依赖关系的不同将DAG划分成不同的Stage。C.对于窄依赖,partition的转换处理在Stage中完成计算。D.对于宽依赖,由于有Shuffle的存在,只能在parent RDD处理完成后,才能开始接下来的计算。
多项选择题下列属于rdd的创建方式的是()。
A.parallelize函数B.makeRDD函数C.textFile 函数D.从其它rdd转换
多项选择题下列关于宽依赖和窄依赖描述正确的是()。
A.窄依赖表示RDDs之间分区是一一对应的。B.宽依赖表示RDDs之间分区是一对多的关系。C.窄依赖经常出现在改变分区的情况下。D.宽依赖经常出现在不改变分区的情况下。
多项选择题下列关于rdd描述正确的是()。
A.弹性分布式数据集。B.逻辑上是分区的,每个分区的数据是抽象存在的。C.不能改变现有rdd中的数据。D.相邻的rdd之间存在着血缘关系。
多项选择题以下属于内置模块的是()。
A.SparkCoreB.SparkStreamingC.SparkMlibD.SparkGraphX
单项选择题下列关于spark从kafka 获取数据描述错误的是()。
A.分为ReceiverAPI和DirectAPIB.使用ReceiverAPI可能会导致计算数据的节点内存溢出C.使用DirectAPI可以增加消费的并行度D.两种API都可以手动维护offset 保存位置
单项选择题下列不可以直接作为spatkStreaming数据源的是()。
A.RDD队列B.Kafka消息队列C.本地数据D.自定义socket数据源
单项选择题下列关于累加器描述不正确的是()。
A.实现所有分片处理时更新共享变量的功能。B.工作节点上的任务不能访问累加器的值。C.累加器是一个只读变量。D.累加器中的共享变量会发往每一个Executor。
单项选择题下列关于rdd分区描述错误的是()。
A.rangeB.range robinC.hashD.自定义
单项选择题下列关于spark的cache算子默认缓存机制描述错误的是()。
A.多次使用同一个RDD ,可以将该RDD缓存起来。B.缓存的计算结果,可以在后期得到重用。C.重用计算结果的前提是当前进程JVM不能停止工作。D.将数据持久化到硬盘,使用时再加载的策略。
单项选择题下列关于spark 的local模式描述错误的是()。
A.local[*]表示直接使用最大cpu核数。B.不需要启动master和worker守护进程。C.driver程序在应用程序结束后就会终止。D.SparkSubmit进程只充当客户提交任务的Client进程。