blogスマートフォン用の表示で見るスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。Warehouse(前編)では,サービスの概観を紹介しました。Dataではどのように解決しているのか,具体的に述べていきたいと思います:データ収集の問題:様々な種類のログをどのようにデータを集約・収集して,横断的な解析を可能にするか?ストレージの問題:増え続けていく大量のログを,どこに,どのようなフォーマットで,解析可能な状態のまま保管していくか?解析結果の活用に関する問題:ログを解析した結果を,どのように可視化するか。ログ解析の前段,ログ収集における問題を解決してくれる「解析対象のログを収集してくる」という作業は本質的では無いと思われるかもしれませんが,実践的なデータ・アナリティクスを始めるためには極めて重要なフェーズです。そのためにはアクセスログをはじめ,データベースに書き込まれるユーザーの行動ログ,プログラムから書き出されるカスタムログ(アプリケーションログ),CPU使用率などのシステムメトリクスなど,様々なデータソースから統一的にログを収集してくる必要があります。実際の解析フェーズにおいては,これらの複数のデータソースを同時に参照・結合することによって有用な結果を得られるケースも多々あります。多くのWebサービスではサーバの負荷分散を行っているため,アクセスログの収集もまた複数のサーバにまたがって行わなければなりません。場合によっては数十台〜数百台のサーバからログを収集する必要があります。いうプラグインが用意されています。これを利用することで所定のログファイルを継続的に読み出し,構造化したログをストリーミング転送することが可能になります。設定ファイルをインストールしておけば,ログの集約が可能になります。アクセスログに限らず,プラグイン機能によって様々なデータソースからログを収集できます。プラグインの導入および使用は非常に簡単で,かつプログラムを書く必要も無く設定ファイルの簡単な記述だけで済みます。公式サイトのプラグインリストには,ダウンロード回数順に非常に多くのプラグインがリストアップされています。インプット/アウトプットとして,シームレスな連携が可能です。ログを転送しながら中継点で集計を行っていくようなストリーミング処理もプラグインによって実現することができます。連携によってほぼリアルタイムなカウンターをWeb上に実装することも可能です。乗せてストリーミング転送することが可能になります。してやれば良いことになります。その活用方法によっては非常に強力で柔軟なデータ解析を実現することができます。おいてはユーザーのアクセス履歴にはそれほど意味は無く,有用なのは個々のユーザーのアクション(ログイン・登録・メッセージの書き込み・アイテムの購入・友達とカード交換...)履歴であり,これらを取得することが重要になってきます。このための最適なツールと言うことができます。サービスをアドオンという非常に簡潔な方法で活用すことができます。自動的に蓄積されていきます。活用されている方は是非一度導入してみてください。使い方は非常にシンプルです。ドキュメントはこちらです。サービスも開始される予定です。ユーザの皆様は,是非ご期待ください。「先月のデータと比較したい」あるいは「去年の冬のデータと比較したい」といった要求は,データ・アナリティクスを実践的に活用していく上では一般的なニーズです。このため収集されたログは,常に解析可能な状態で保管・管理しておかなければ,その価値が失われます。数年後でも読み出せるように,データフォーマットを設計しなければならない単純な記録メディアの価格は下がり続けていますが,データを継続的かつ適切に管理し続けるコストは,依然として高く付きます。永続的な管理は容易ではなく,あくまで分散処理を行うための一時的な保管場所になります。クラウド上に構築されたオブジェクト・ストレージで,安価でありながら高い堅牢性と可用性が担保されています。現状より良いストレージと言えるでしょう。上に独自の列指向型データベースを構築しました。これによって,ログを「構造化されていない生のログファイル」ではなく,「構造化されたテーブル」として保持します。保存しておくことが可能です。このデータベースに保存されているログには,いつでも解析クエリを発行することができます。データの管理をすべてクラウド側で行うことによってストレージにまつわる問題を解決し,実践的なデータ・アナリティクスに集中できるようにしています。最後に,解析された結果をどのように既存のシステムに統合・フィードバックし,活用していくかについて紹介します。解析結果を「MySQLなどの各種データベースに書き出す機能」を提供しています。その解析を定期的に行うスケジューリング機能も提供しています。最新のランキング集計の結果を常に表示しておきたいというケースでは,ランキング集計を行う解析クエリをスケジュールに登録しておきます。Webアプリケーションは,その結果が書き出されるMySQLを参照していれば,その結果は定期的に自動更新されます。お客様の要望に応じて,解析結果の可視化を行うダッシュボードの提供も可能です。このダッシュボードでは,分〜年単位でのインターバルで定期的にSQLクエリを実行し,その結果をテーブル・ピボットおよび多種のグラフによって可視化することができます。ドライバによってその他多くのレポーティングツール・ダッシュボードツールへの連携が可能です。ツールや可視化ツールとのネイティブな連携を,技術・事業の両輪で進めて行きたいと考えています。ついて紹介してきましたが,その概要およびメリットをうまくお伝えすることができていれば幸いです。第3回では実際に導入から簡単なデータ解析を行ってもらうためのチュートリアルを行います。デモアカウントを取得しておいて下さい。質問およびリクエストなどを以下のメールアドレスより受け付けております。何かあれば気軽にコンタクト下さい。(英語・日本語どちらでも対応可能です。blogのメイントピックをトレジャーデータ日本語公式ブログへ移設しました。Blog|ブログを報告する。