

日本語自然言語処理に興味を持つ中国の大学生です。最近は日本語音声合成システムに没頭しています。でも今はテキスト正規化という問題があって困っています。[このリポジトリ](https://github.com/jamesohortle/loanwords_gairaigo)を見つけて試してみたんだけど、結果はあんまり良くないみたいです。

例えば、「good
night」はカタカナに変換したい場合、「グッドナイト」が出力されるはずだが、上記のリポジトリのスクリプトを使うと、「グドナイト」となります。他の色々のケースを試した結果、さすがにパフォーマンスはイマイチですね。

助けてください！


CC BY-SA 4.0
2023-07-31T05:41:25.577
95809
2023-08-02T09:44:32.260
59173
question
自然言語処理
日本語テキスト正規化のツールはありますか？


自分でちょっと調べたんですけど、[Sudachi](https://github.com/WorksApplications/Sudachi)
という形態素解析器を見つけました。  
英語を仮名に変換することができます。

Python バインディングの [SudachiPy](https://github.com/WorksApplications/SudachiPy)
を使った例:

[code]

    tokenizer_obj.tokenize("SUMMER", mode)[0].normalized_form()
    # => 'サマー'
    
[/code]


CC BY-SA 4.0
2023-08-02T07:54:59.457
95826
2023-08-02T09:44:32.260
2023-08-02T09:44:32.260
3060
59173
95809
answer