Spark SQL 合并小文件的一种方法

小文件问题原因:

spark.sql.shuffle.partitions=200  spark sql 默认 shuffle 分区是 200 个,如果数据量比较小时,写 hdfs 时会产生 200 个小文件。可通过如下调整,使其自适应的合并小文件 (本人测试环境从原来的 200 个小文件合并成一个文件)

解决方法:

spark-sql> set spark.sql.adaptive.enabled=true;     启用 Adaptive Execution ,从而启用自动设置 Shuffle Reducer 特性

spark-sql> set spark.sql.adaptive.shuffle.targetPostShuffleInputSize=128000000;    设置每个 Reducer 读取的目标数据量,其单位是字节。默认 64M,一般改成集群块大小

另外参见:https://itbook.com/article/1598106283267