Pythonの字句解析結果を取得する方法について


お世話になります。

[pythonのドキュメント](https://docs.python.org/ja/3/reference/lexical_analysis.html)によると、以下のように書かれています。

> Python で書かれたプログラムは パーザ (parser) に読み込まれます。パーザへの入力は、 字句解析器 (lexical analyzer)
> によって生成された一連の トークン (token) からなります。

このときの字句解析器 (lexical analyzer) によって生成された一連のトークンを取得する方法はありますでしょうか？

具体的には以下のようなコードの場合、

[code]

    def function(foo):
        print(foo)
    
[/code]

以下のような字句解析結果が取得したいと思っています。

[code]

    "def","function","(","foo",")",":","print","(","foo",")"
    
[/code]

以上、宜しくおねがいします。




標準で付属する`tokenize`モジュールはいかがですか?

<https://docs.python.org/ja/3/library/tokenize.html>




標準で付属する`tokenize`モジュールはいかがですか?

<https://docs.python.org/ja/3/library/tokenize.html>

