单选题 关于 Spark 任务调度,DAGScheduler 将 Job 划分为多个 Stage 的主要依据是?
A、核数的多少
B、RDD 的分区数
C、宽依赖(Shuffle)
D、内存大小
单选题 Spark Driver 程序在 YARN Cluster 模式下运行在哪个节点?
A、提交任务的客户端
B、ApplicationMaster 所在的节点
C、NameNode 节点
D、随机的 Worker 节点
单选题 下列哪项不是 Spark 应用程序运行时的必须组件?
A、Driver
B、Executor
C、Zookeeper
D、Cluster Manager
单选题 下列哪个参数用于设置 Spark 应用程序在 YARN 上申请的 Executor 内存大小?
A、drivermemory
B、executormemory
C、numexecutors
D、executorcores
单选题 Spark 的 Master 节点在 Standalone 模式下的主要职责是?
A、执行具体的计算任务
B、资源管理与分配
C、存储 HDFS 文件
D、监控 Driver 运行状态
单选题 下列关于 Local[*] 模式的说法,正确的是?
A、使用集群中所有节点的 CPU
B、使用本地机器所有可用的逻辑核心
C、启动无限个线程
D、仅用于生产环境
单选题 在 PySpark 中,用于构建应用程序统一入口(Entry Point)的类是?
A、SparkContext
B、SparkSession
C、SQLContext
D、HiveContext
单选题 Spark 程序中,一个 Task 对应的处理单位是?
A、整个 RDD
B、RDD 的一个 Partition
C、一行数据
D、一个 Stage