pyspark dataframe进阶 *** 作

pyspark dataframe进阶 *** 作

pyspark中的functions
这些内置函数可以极大的简化spark数据分析，到Spark2.2已经拥有307个函数，只有通过大量实践才能熟练掌握
其中的udf函数可以通过自己实现更加复杂的算法

1.1.udf函数(自定义函数)

from pyspark.sql import SparkSession #sparkSession为同统一入口
from pyspark.sql.types import *
from pyspark.sql import functions as F

#创建spakr对象
spark = SparkSession
    .builder