Spark读取CSV文件（Scala）

Spark核心代码

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{DataTypes, StructField, StructType}

object ReadCSV {

  val schema = new StructType(Array(
    StructField("product_id",DataTypes.StringType),
    StructField("product_name",DataTypes.StringType),
    StructField("enterprise_name",DataTypes.StringType),
    StructField("entry_name",DataTypes.StringType)
  ))
  def main(args: Array[String]): Unit = {

    val spark = SparkSession
      .builder()
      .master("local")
      .appName("SNF-Income")
      .getOrCreate()

    val salesDF = spark.read
      .option("header", "true")
      .schema(schema)
      .format("csv")
      .load("./data/income_sales.csv")

    salesDF.show(10)
  }

}

参数说明：

format: 指定读取的文件格式：csv。

header: 是否指定首行作为schema。

schema: 指定数据字段的格式。

option里面的参数说明：