December 26, 2016

解决在编程方式下无法访问Spark Master问题

我们可以选择使用spark-shell,spark-submit或者编写代码的方式运行Spark。在产品环境下,利用spark-submit将jar提交到spark,是较为常见的做法。但是在开发期间,每次都需要编译jar去做提交是一件麻烦事儿。尤其是在IDE例如IntelliJ Idea下,更直接的方式还是在main()方法中直接通过SparkContext运行。例如:

object DataFrameApp {

def main(args: Array[String]): Unit = {

val sparkConf = new SparkConf().setAppName(&q......