ついて簡単にまとめてみました。文書の特徴をベクトルで表すことを考えてみます。単純な方法として、単語の出現頻度を要素とするベクトルが考えられます。これでも、それなりに特徴を捉えてはいますが、たとえば「です」「ます」のように、どの文書にも存在する、ありふれた単語(さほど重要でない)に大きく引きずられてしまいます。その弊害を避けるため、特定の文書にだけ現れる単語と、ありふれた単語に差をつけます。各単語の希少性を考慮にいれることを考えます。下記の計算でもとめます。計算し、下記の文書ベクトルを求めます。このベクトルを使って、たとえばクラスタリングを行ったり、文書の類似度を求めたりします。独自に計算式が改良されており、下記の赤字部分が追加されています。なるよう正規化された値が出力されます。入力するのは、単語をスペースで区切った文書、いわゆる分かち書きされた文書です。文書4のベクトル#-----------------------行方向に文書、列方向に単語が並んでいます。単語と列の対応は下記で確認できます。単語を処理対象に含めることを意味します。この指定をはずすと、長さ一文字の単語がまったくカウントされなくなります。ベクトル化した文書をクラスタリングで分類してみます。食べる#----------------------------「○○を買う」と「○○を食べる」に分類されました。人工知能が気になるエンジニアです。