54895


お世話になります。

[pythonのドキュメント](https://docs.python.org/ja/3/reference/lexical_analysis.html)によると、以下のように書かれています。

> Python で書かれたプログラムは パーザ (parser) に読み込まれます。パーザへの入力は、 字句解析器 (lexical analyzer)
> によって生成された一連の トークン (token) からなります。

このときの字句解析器 (lexical analyzer) によって生成された一連のトークンを取得する方法はありますでしょうか？

具体的には以下のようなコードの場合、

[code]

    def function(foo):
        print(foo)
    
[/code]

以下のような字句解析結果が取得したいと思っています。

[code]

    "def","function","(","foo",")",":","print","(","foo",")"
    
[/code]

以上、宜しくおねがいします。


CC BY-SA 4.0
2019-05-11T11:19:05.117
54893
2019-05-11T12:12:04.370
2019-05-11T12:12:04.370
19110
23065
question
python python3
Pythonの字句解析結果を取得する方法について


標準で付属する`tokenize`モジュールはいかがですか?

<https://docs.python.org/ja/3/library/tokenize.html>


CC BY-SA 4.0
2019-05-11T11:46:53.683
54895
2019-05-11T11:46:53.683
9464
54893
answer