判断题除获取海量的信息,实现数据存储外,爬虫还经常应用于大数据分析或数据挖掘中。
判断题SparkContext根据RDD的依赖关系构建DAG图,DAG图提交给DAG调度器(DAGScheduler)进行解析。
判断题利用文件管理系统可以长期的保存数据,但无法实现数据共享。
判断题在HDFS中,数据读写都遵循就近原则,即数据存储到离客户端最近的数据节点中。
判断题Spark使用DAG(有向无关图)执行引擎以支持循环数据流与内存计算。