55816


言語処理を勉強中のものです。  
/usr/local/lib/python3.5/dist-
packages/tensorflow/_api/v1/keras/preprocessing/text/  
には

[code]

    __init__.py  __pycache__
    
[/code]

しかなく、__init__.pyの中身にも

[code]

    # This file is MACHINE GENERATED! Do not edit.
    # Generated by: tensorflow/python/tools/api/generator/create_python_api.py script.
    """Utilities for text input preprocessing.
    
    """
    
    from __future__ import print_function
    
    from tensorflow.python.keras.preprocessing.text import Tokenizer
    from tensorflow.python.keras.preprocessing.text import hashing_trick
    from tensorflow.python.keras.preprocessing.text import one_hot
    from tensorflow.python.keras.preprocessing.text import text_to_word_sequence
    
    del print_function
    
[/code]

とTokenizerのモジュールの定義がないのに、なぜ

[code]

    from tensorflow.keras.preprocessing.text import Tokenizer
    
[/code]

とすることでTokenizerが使えるようになるのでしょうか。Tokenizerの定義はどこに書いてあるのでしょうか。


CC BY-SA 4.0
2019-06-15T06:10:27.547
55802
2019-06-19T13:19:35.927
2019-06-15T06:17:25.790
19110
34732
question
python tensorflow
from tensorflow.keras.preprocessing.text import Tokenizer でなぜTokenizerを読み込めるのか分かりません


`/usr/local/lib/python3.5/dist-
packages/tensorflow/python/keras/preprocessing/`に`text.py`がありませんか？

[参考]  
<https://github.com/tensorflow/tensorflow/blob/master/tensorflow/python/keras/preprocessing/text.py>

もしくは`/usr/local/lib/python3.5/dist-
packages`ではないディレクトリ（例えば、`/usr/local/lib/python2.7/dist-
packages`とか）にあるのではないですかね？

もしそれも違っていれば、以下のコマンドで探してみてはどうでしょう。

[code]

    sudo updatedb
    locate tensorflow/python/keras/preprocessing/text.py
    
[/code]


CC BY-SA 4.0
2019-06-15T13:56:07.613
55816
2019-06-15T13:56:07.613
21092
55802
answer


以下↓↓、コメント誤りです。パッケージの理解が、おかしかったです。申し訳ございません。

（もしかすると回答になっていないかもしれませんが。）  
Tokenizerは、モジュールではないです。

以下などが、参考になるのでは？  
<https://qiita.com/enoughspacefor/items/051b219ff403ef9a4ed5>


CC BY-SA 4.0
2019-06-15T15:28:02.843
55820
2019-06-19T13:19:35.927
2019-06-19T13:19:35.927
31548
31548
55802
answer