グーグルが日本語N-gramデータを公開TweetNewsInsight自然言語処理の基礎データに貢献グーグルが日本語N-gramデータを公開2007/11/01グーグルは11月1日、大規模日本語コーパスのN-gramデータを公開した。N-gramは自然言語処理の領域で、単語同士の結びつきを統計的に処理する計算モデル。「グーグルで検索」「グーグルで調べる」「グーグルで探す」のように特定の単語(例では“グーグル”)と、他の単語の結びつきを予測できる。N-gramは特定の位置にある単語が何であるかを、その直前の単語、さらに前の単語......、とN個分さかのぼって推測できるという仮説に基づいている。公開したのはグーグルがWebサイトから抽出した約200億文(約2550億単語)の日本語データから作成したN-gramデータ(1〜7gram)。言語資源協会を通じて配布しており、団体・個人の区別なく利用できる。これまで米グーグルは英語について同様のデータを公開していた。今回新たに単語分割処理など日本語独自の処理を加えてデータを作成した。作成にはグーグルの大規模分散処理システムMapReduceを用い、数千台規模のPCクラスタを使った。今回のデータは、グーグル社内の「20%ルール」に基づいて、工藤拓氏と賀沢秀人氏が研究した成果。グーグルでは勤務時間の20%を研究開発など、自分の好きなテーマに使ってよい社内ルールがある。マーケティング」新着記事ジーニー、マーケティングオートメーションプラットフォーム「MAJIN」にアトリビューション機能を追加ジーニーは、マーケティングオートメーションプラットフォーム「MAJIN」に、アトリビュー...ツイート全量データ分析で判明した受験の縁起物、「キットカット」を超えたのは?2017年1月14、15日は大学入試センター試験が行われます。Inc.著作権はアイティメディア株式会社またはその記事の筆者に属します。(著作権について)当サイトに掲載されている記事や画像などの無断転載を禁止します。@IT情報マネジメント」「JOB@IT」「@ITハイブックス」「ITmedia」は、アイティメディア株式会社の登録商標です。当サイトに関するお問い合わせは「@ITへのお問い合わせ」をご覧ください。