

tsvファイルから文書を呼び出し、MeCabを用いて特定の品詞を基本形で分かち書きするコードを動かしているのですが重すぎて５時間以上経った今でも処理が終わりません。  
PCのスペック自体そこまでいいわけではないのですが、ほかのコードを動かしているときにはこのようなことはなかったので、何かコードに問題があるのではないかと思い、質問させていただきます。

[code]

    with open("jurycomment2.tsv",mode='r',encoding='utf-8') as f:
        # reports.tsvには一行に口コミID,口コミがtab区切りで保存されている
        reader = csv.reader(f, delimiter="\t")
        for report_id, report in reader:
            words = []
            node = mt.parseToNode(report)
            while node:
                    if node.feature.split(",")[0] == u"名詞":
                            words.append(node.surface)
                    elif node.feature.split(",")[0] == u"形容詞":
                            words.append(node.feature.split(",")[6])
                    elif node.feature.split(",")[0] == u"動詞":
                            words.append(node.feature.split(",")[6])
                            node = node.next
            stopword = []
            words2 = [token for token in words if token not in stopword]
            # wordsが文章の単語のリスト,tagsには文章IDを指定
            reports.append(TaggedDocument(words=words2, tags=[report_id]))
    
[/code]

tsvファイルは500kbほどですのでこのファイルは原因ではないと思われます。


CC BY-SA 4.0
2019-11-22T22:12:35.510
60777
2019-11-23T01:12:34.673
36375
question
python 自然言語処理
mecabの分かち書きが遅すぎて終わらない


node = node.next のインデントの高さが elif node.feature.split(",")[0] ==
u"動詞":文の内部になってしまっているので、ほぼ無限ループに近い形になってしまっているのではないでしょうか。


CC BY-SA 4.0
2019-11-23T01:12:34.673
60779
2019-11-23T01:12:34.673
36375
60777
answer