

現在とあるpythonのスクリプトを開発しているのですが,そのスクリプトの処理の中で  
sparkのDataFrameの中身をCSVとしてS3に出力しており  
出力する際にスクリプト内でファイル名を指定して出力したいのですがなかなかいい方法が見つかりません。。。どんな些細なことでもよいのでご教示いただけますでしょうか。

[code]

    #SparkのDataFreameの型に変更
    sdf2 = spark.createDataFrame(pdf_out.fillna(''))
    sdf3 = spark.createDataFrame(pdf_out_null.fillna(''))
    
    #CSVファイル格納パス
    sucsesspath = 's3://*****/CSV/sucsess'
    temppath = 's3://*****/CSV/temp'
    
    
    #S3にCSVファイルとして出力
    sdf2.coalesce(1).write.mode('append').csv(sucsesspath,header=True)
    sdf3.coalesce(1).write.mode('append').csv(temppath,header=True)
    
[/code]


CC BY-SA 4.0
2019-03-14T03:31:48.257
53421
2023-04-28T07:06:35.827
32451
question
python csv pyspark
python spark DataFrameをcsv出力する際に指定したファイル名でS3に保存


ただ引用するだけの形で申し訳ありませんが、[こちらに](https://stackoverflow.com/questions/31385363/how-
to-export-a-table-dataframe-in-pyspark-to-csv)該当する質問と回答がありました。

あと見た感じ、ファイル格納パスに拡張子が付いていないのでは？と思います。


CC BY-SA 4.0
2019-03-18T01:52:19.127
53508
2019-03-18T01:52:19.127
30590
53421
answer