
Spark有个关于是否允许一个application存在多个SparkContext实例的配置项, 如下: spark.driver.allowMultipleContexts: If true, log warnings instead of throwing exceptions when multiple SparkContexts are active. 该值默认为false, 即不在“File|ProjectStructure|Libraries”
窗体中点击绿色+号,选择“Java”,在d出的窗体中选择“Spark”的安装目录,定位到Spark\jars目录,点击“OK”,把全部jar
文件引入到项目中。网上和目前出版的书中讲解是spark2.0以下版本,采用
的是把sparkle核心文件(如:“spark-assembly-1.3.0-hadoop2.4.0.jar”)拷贝到InterllijIDEA安装目录下的Lib目录下,再使用Spark。由于Spark2.1.0已经取消了该文件,因此无法用原先的方法。
评论列表(0条)