データホテルのエンジニア陣によるブログです。大規模なサイト構築の裏側や気になる技術情報を掲載していきます。発表してきました2008年05月26日19:18カテゴリお知らせ技術情報ブックマーク数TweetTweetこんにちは。2008で発表してきましたので、その資料を公開します。ライブドアでは、各サービスで共通に使える内部サービスをいくつか独自開発しています。そのうちのひとつが、今回紹介した共通スパムフィルタ「スパムちゃんぷるー」です。ライブドアブログやライブドアwiki、したらば掲示板などのスパム書き込みのフィルタリングを共通化するために開発したものです。これにより、スパム判定のロジックが一元化され、統計情報、ブラックリスト、ホワイトリストなどが共有できるようになります。過去の判定結果から学習する機能もあります。スパム判定の基準は各サービス、あるいはユーザ毎の設定によっても変わってくるので、判定ロジックはプラグイン形式になっており、判定時にはこれらのプラグインが並列で動作する仕組みになっています。リクエスト時に必要なプラグインを指定し、任意の組み合わせで利用できます。これが、スパムちゃんぷるーの実際の管理画面です。ライブドアブログ宛に送られてきたコメント/TBに対する判定結果を抽出表示しているところです。ピンク色になっているのがスパムと判定されたコメント/トラックバックです。左側に判定対象のデータの詳細、右側に判定に参加したプラグインの一覧が表示されています。ライブドアブログ宛のコメント/TBについては、現在デフォルトで10種類のプラグインが判定に参加する設定になっています。太字で表示されています。(70%)の確率で、それぞれ「スパムである」という結果を返しています。これらの結果を総合して、このデータについてはscore:0.99...、すなわち「0.99(99%)の確率でスパムである」という判定を下した、というのがこの管理画面の表示の見方です。いう判定になっています。0.6を超えたらアウト、というのがおおよその基準です。スパムちゃんぷるーによるスパム判定の簡単な流れです。判定対象のデータが、クライアントからスパムちゃんぷるーのwebサービス宛に送信されてきます。して動いている各プラグインに並列に渡されます。クライアントに返されます。すべてのプラグインから見てスパムでない確率」です。(例えば、送信元や本文にはスパムの痕跡はまったく見られないが、本文が明らかに他のスパムと同じものである場合、これはやはりスパムと判定されます。