Spark SQL 案例（一）

将本地的json文件 存入MySQL

def main(args: Array[String]): Unit = {
    
    //TODO 创建Spark的运行环境
    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL")
    val sc = new SparkContext(conf)
​
    val sparkSession: SparkSession = SparkSession.builder().enableHiveSupport().config(conf).getOrCreate() //要使用$ 或者单引号，需要导包
​
    val df: DataFrame = sparkSession.read.json("src/datas/test.txt")
    df.show()
​
    //写入MySQL数据
    df.write
        .format("jdbc")
        .option("url", "jdbc:mysql://localhost:3306/test")
        .option("driver", "com.mysql.jdbc.Driver")
        .option("user", "root")
        .option("password", "123456")
        .option("dbtable", "user1")
        .option("header", false) 
        .mode(SaveMode.Append)
        .save()
​
    // TODO Spark的执行逻辑
​
    //TODO 关闭Spark
    sparkSession.stop()
}

df.write.format()中支持的格式：

 // .write.format("") 支持的格式
      hive （数据文件纯文本无压缩存储）
       parquet （spark默认采用格式）
       orc
       json
       csv
       text（若用 saveAsTable 只能保存只有一个列的 df）
       jdbc
       libsvm