Dataに出資というニュースが飛び込んできました。Dataはファウンダー全員が日本人のスタートアップ企業です。2011年7月に設立されて以来,シリコンバレーを拠点にしながら"ビッグデータ+クラウド"を掲げたビジネスを展開し,順調に業績を伸ばしています。Dataに出資を行っていることからも,いかに彼らに対しての注目度が高まっているかが伺われます。DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。Dataの創業メンバーはいずれもHadoopやmemcached,MongoDBなど,現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。Data設立の大きなきっかけになっています。「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で,ユーザ企業がHadoopをデプロイし,運用をはじめても,結局はメンテナンスが大変になり,既存のDWHを使わざるをえなくなるというケースをたくさん見てきた」と太田氏。一般のユーザ企業には荷が重いHadoop運用にかかわる部分に,ビジネスチャンスを見出したといえます。HadoopやNoSQLといったビッグデータ関連の技術の最大の難点は,ソリューションが多すぎてわかりにくいことだと太田氏は指摘しています。Hadoopにしてもバージョンが2系統あり,さらにエンタープライズディストリビューションがいくつも存在し,ユーザはどれを使えばよいのか,当然判断に苦しむことになります。Creep"─求められるがままに機能を追加したスイスアーミーナイフのようだとたとえています。「ウチの製品には全部の機能が付いています,というビッグデータベンダはよく言うが,ユーザはどうやって使えばいいかわからない。実はそれは何にもできないと同じ。Dataの役割だと太田氏は言います。ナタは刃がひとつしかありませんが,木を切ることも,ものを研ぐこともできる。何ができるのかが一目瞭然のインターフェースを備えています。Dataが強くこだわっていることが伝わってきます。Dataはどうやって頭角を現すことができたのでしょうか。Dataは,ビッグデータを集めて,保存して,クエリをかけるというレポーティングだけに特化してる。それしかやっていない会社」と何度か繰り返していました。ビッグデータビジネスにはレポーティングとアナリティクスという大きく2つのアダプションがあります。その理由について「分析をしたいという顧客の70%は,レポーティングまでで十分と感じている。Hadoopエコシステムの中でHiveの普及率が最も高いというのはそのあらわれ」と太田氏は言います。高度な予測分析よりもアドホックなレポート作成で十分,むしろその部分を徹底的に行うことに価値を見出している企業が多くなってきていると言えるのかもしれません。具体的に説明すると,ユーザ企業のオンプレミスの環境に「td-agent」というログコレクタをインストールし,センサーデータやアプリケーションデータなどをクラウド(AWS)上に吸い上げます。アップロードのタイミングは5分に1回,そしてJDBCやODBC経由で既存のBIツールにつなげ,クエリがクラウド上に投げられて実行され,結果がオンプレミスの手元に返ってくるという仕組みです。200億くらいのデータでも,約2週間でデータコレクトが完了するとのこと。Dataのほかにも存在します。Dataが競合と異なる点は,「データを集めるという,あまり楽しくないけど最も重要な作業に,一番労力をかけている」(太田氏)ことです。Dataは「Fluentd」というログコレクタを開発し,オープンソースで提供していますが,「日本のソーシャルゲーム企業でFluentdを使っていないところはないのでは」(太田氏)というほどの普及率を誇っているそうです。データコレクションはビッグデータのプロセスの中でも「最も甘く見られやすい部分」だと太田氏は強調しますが,ここでロバストなデータコレクションを実現できていることが,競合との大きな差別化を果たしていることにつながっています。ひとつ,インフラ部分で特徴的なのはストレージとコンピュートが完全に分離している点です。EC2を利用していますが,「カラムナー形式のストレージをもっていることが非常に重要」と太田氏は強調しています。ユニークIPを大量のアクセスログから集めるような簡単なクエリでも,既存のHadoopプロダクトにはIPのフィールドだけを見るような単純なものが少なく,結果としてI/Oの負荷が高まることになります。Dataではユーザにまったく意識させることなく,データをカラムナー形式に変換して保存することで,5~6倍のI/O削減を実現しているそうです。Dataだけがやっていること」として太田氏はHadoopクラスタのユーザ間シェアを挙げています。Dataは4つのデータセンターで4つのHadoopクラスタを稼働していますが「複数のHadoopクラスタをもつこと,ユーザ企業にそれをシェアしてもらうことに何のためらいもない」と断言する太田氏。どのユーザをどのクラスタに割り当てるかは非常に悩ましいため,ローカルのスケジューラの上にリソースを管理するグローバルのスケジューラを置き,ジョブ実行時にどこに割り当てるかを決めるようにしているそうです。ここでもポイントとなるのはストレージとコンピュートが完全に分離していることです。「ユーザにとってはローカルのI/Oはあまり問題にならない。DataはAmazonとどう違うのか」─太田氏はときどきこうした質問を受けるそうです。ビッグデータとクラウドを掲げていれば,当然AWSとぶつかる部分もあるのでは,と想像するのですが,「AWSはコンポーネントの提供が基本。ストレージが使いたいといえばS3があり,コンピュート環境が...といえばEC2がある。MapReduceを使いたければEMRもあるし,最近ではDWHのRedshiftも出てきた。このパーツをそれぞれに使いこなせる企業ならAWSで十分だけど,我々の顧客はそこまでITリテラシが高くない」と太田氏。DataはAWSがあまり手を出さない部分をカバーしているからこそ成功しているとも言えます。Dataの経営理念が強く心に残りました。Dataに,目の肥えたシリコンバレーの投資家たちが注目しても不思議ではありません。Dataが失敗する要因を筆者は見つけることができません。今後のさらなる活躍に期待がもてます。レポーティング著者プロフィール五味明子(ごみあきこ)IT系の出版社で編集者としてキャリアを積んだ後,2011年からフリーランスライターに。フィールドワークはオープンソースやクラウドコンピューティング,データアナリティクスなどエンタープライズITが中心。海外カンファレンス取材多め。そこにはヒットメーカーの極意があった噂の超高速分析データベースを試してみよう~ログ解析,機械学習なんでもござれ~ワールドワイドで3,500社以上が活用しているビッグデータ高速分析用のデータベース「Vertica」。クエリ性能を簡単に数百倍にする術をご紹介します。「JIRA」をはじめとするアトラシアンのツール群。多くのオープンソースソフトウェアを継続して提供する支えとなっている使い易さを探ってみます。Cloud」が,いよいよ日本でのサービスを本格的に開始します。その他の連載CSS3アニメーションでつくるインターフェイス表現CSS3によるアニメーション表現を紹介していきます。その中でも,幅広い読者に応用してもらえるだろうインターフェイスを主なお題とします。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。JavaScriptセキュリティの基礎知識JavaScriptに関するセキュリティ上の問題はどこで発生し,どうすれば防ぐことができるのか?について解説していきます。〜システムをきちんと運用するための基礎知識システムは「作って終わり」ではなく,運用の中でさまざまな問題が発生します。問題の発生に備えて事前にどのような対応をしておくべきなのか,問題発生時に何をしなければならないのか,ポイントを解説していきます。きたみりゅうじの聞かせて珍プレーソフトウェア開発の現場で体験したトホホな失敗,思わずうなる珍プレーをきたみりゅうじ氏が四コママンガで紹介。Linuxのメンテナンスの傍ら,Linuxやオープンソースソフトと日々を過ごす著者が,その魅力とつきあい方を,エッセイ風味でお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。]メールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。