AWS glueでデータ部分までに複数行存在する場合のクローラ


AWSのglueサービスで下記のようなCSVファイルをクロールしデータカタログを作成しすると  
分類がUNKNOWNになります．

[code]

    DATE=2018-11-01
    
    city,score
    tokyo,2
    osaka,3
    kyoto,4
    ...
    
[/code]

（最初の２行を除くと正しくデータカタログが作成されます）  
データカタログを正しく作成するためにクローラで対応する方法はありますか？  
lambdaなどで１行目がヘッダー列になるようにするしかありませんか？




手元でちょっと試してみましたが、この形式のファイルをクローラーに自動で分類させるのは不可能かもしれません。

しかしながら、手動でテーブルを作成することで、AthenaやETLジョブで処理できる形が作れるようでした。  
Serdeパラメータに`skip.header.line.count: 3` を追加するとうまくいきます。  
テーブル作成画面では設定できないので、いったん作ってから編集することになります。




手元でちょっと試してみましたが、この形式のファイルをクローラーに自動で分類させるのは不可能かもしれません。

しかしながら、手動でテーブルを作成することで、AthenaやETLジョブで処理できる形が作れるようでした。  
Serdeパラメータに`skip.header.line.count: 3` を追加するとうまくいきます。  
テーブル作成画面では設定できないので、いったん作ってから編集することになります。

