49906


AWSのglueサービスで下記のようなCSVファイルをクロールしデータカタログを作成しすると  
分類がUNKNOWNになります．

[code]

    DATE=2018-11-01
    
    city,score
    tokyo,2
    osaka,3
    kyoto,4
    ...
    
[/code]

（最初の２行を除くと正しくデータカタログが作成されます）  
データカタログを正しく作成するためにクローラで対応する方法はありますか？  
lambdaなどで１行目がヘッダー列になるようにするしかありませんか？


CC BY-SA 4.0
2018-10-31T11:24:10.863
49826
2018-11-02T14:44:10.430
28279
question
aws
AWS glueでデータ部分までに複数行存在する場合のクローラ


手元でちょっと試してみましたが、この形式のファイルをクローラーに自動で分類させるのは不可能かもしれません。

しかしながら、手動でテーブルを作成することで、AthenaやETLジョブで処理できる形が作れるようでした。  
Serdeパラメータに`skip.header.line.count: 3` を追加するとうまくいきます。  
テーブル作成画面では設定できないので、いったん作ってから編集することになります。


CC BY-SA 4.0
2018-11-02T14:44:10.430
49906
2018-11-02T14:44:10.430
18491
49826
answer