Hadoopによる分散システムの構築と運用の落とし穴。PublickeyHadoopによる分散システムの構築と運用の落とし穴。ClouderaとCiscoのエバンジェリストが語る[PR]2015年10月20日データを分析することで得られるさまざまな知見は、企業の製品開発、製造、マーケティング、営業などのあらゆる分野でこれから大きな変革をもたらすと考えられています。した大規模データの処理基盤として存在感を高めているのがHadoopです。Hadoopのような大規模分散システムの構築や運用は容易ではありません。そこにどんな課題があり、解決策があるのでしょうか。シスコシステムズとClouderaが8月に共同開催したイベント「実際動いているIoT&Hadoopから学ぶ会」から、Hadoopによる分散システムの落とし穴とソリューションについて紹介しましょう。多種多様にわたっています。それを分析して有意義な知見を得るには、複数のデータソースを横断的に分析することが求められます。した多様かつ大量のデータの保存や横断的な解析は、従来のデータ分析で主に用いられていたリレーショナルデータベースでは困難です。エンタープライズデータハブとは、ひとつのプラットフォームにすべてのデータを集めて、ひとつのプラットフォームで処理するという考え方でできています。Hadoopをベースにした、データの種類を選ばず統合マルチフレームワークアクセスが可能なデータ基盤です。既存のデータベースを置き換えるのではなく、データベースやデータウェアハウスを残しつつ、そこに加えていくものとされています。エンタープライズデータハブの利点は「非常に安価なコストでデータを1カ所に統合し、分析できる点」(嶋内氏)。これをいまあるデータベースやパートナーのソリューションと組み合わせることで、さまざまな形のビッグデータ処理基盤を実現することができるのです。実際に、このエンタープライズデータハブは証券会社のJPMorganChaseにおいて大量の金融商品のヒストリカルデータ分析によるリスクモデリングや、保険会社Allstateにおいてパーソナライズされた保険契約といった事例で使われ始めています。アーキテクチャ設計に落とし穴があるエンタープライズデータハブ、あるいはHadoopを本番環境として構築し運用する上で、気をつけるべきいくつかの落とし穴があると嶋内氏は指摘します。1つはサービスレベルをどう定めるか。ある処理を10秒以内で実現すべきか、5秒以内で実現すべきかといったサービスレベルの設定はシステムのコストに直接影響するため、本当にそのサービスレベルが必要なのかどうかを慎重に考える必要があります。ストレージ層のファイルフォーマットやスキーマなどの選択によって読み書きの性能とデータの圧縮率が決まり、データが増えてからの変更は時間もコストもかかるため、設計時に十分考える必要があります。オンプレミスで構築するかクラウドを利用するかの選択もあります。性能の面ではクラウドよりもオンプレミスの方が一般的には有利ですが、最近はクラウドでもストレージにSSDが選択できるなど性能面での改善も進んでいます。そのため初期投資を抑えるためにクラウドでスタートすることも重要な選択肢である一方、ネットワークの面で大量のデータ投入が大変な面があります。「いずれにせよ間違ったアーキテクチャ設計は無駄なコスト、性能や安定性の低下など多くの問題を引き起こしますので、ここは慎重に設計する必要があるでしょう」(嶋内氏)また必要なストレージ容量の見積もりも「私の経験上、100%はずれます。どのお客様とお話ししても例外なく起きています」(嶋内氏)。Hadoopのシステムを構築し運用がうまく行き始めると、その評判を聞きつけて社内のデータがさらにどんどん集まってくることになるというのです。そのため、長期的な計画よりも3カ月ごとにどれだけ増えるかを予想するなど、柔軟な計画が望ましいと嶋内氏は指摘します。優秀なスタッフが引き抜かれてしまったら?設計時だけでなく、もちろん運用時にも落とし穴はあると嶋内氏。ひとつはHadoopなどシステムのバージョンアップを行う場合。業務の中にHadoopやエンタープライズデータハブによるデータの収集と分析が組み込まれていると、バージョンアップのときにそれを止めることが難しくなってきます。その解決策として、例えば分散メッセージキューのKafkaを用いて入力されてくるストリームデータの流入を維持しつつ、アップグレードするなどの手段を考えなければなりません。Hadoopは比較的難しいシステムであるため、それを理解している優秀なスタッフは多方面から引っ張りだこです。社外からよい条件が提示されて転職してしまう可能性もあります。これに対応するにはチームとして設計や運用スタッフを育成すること、外部のトレーニング、コンサルティングやサポートを積極的に活用すると行ったことを考えるべき、と嶋内氏はアドバイスします。Data」を提供するのがシスコシステムズです。茎沢信氏は、シスコのアプローチを「シスコとClouderaでテストをし、検証済みの構成をデザインガイドとしてまとめ、市場に展開している」と説明。Data」を提供しています。これはできるだけ個別のチューニングなしで使えるように考慮されており、既存の仮想基盤との統合運用も可能なパッケージ。Expressなどをオプションでつけることも可能です。Hadoopの環境は、サーバ、ネットワーク、ストレージなどの物理構成からOSとHadoopのインストールなども含めて手間がかかるものです。これが数台ではなく数十台やさらに増えたときには、その手間だけで膨大なものになり、また人為的ミスや抜けを完全になくすことも難しくなってくるでしょう。Service」では、構築済みのHadoopの基礎実行環境が素早く入手できるだけでなく、顧客の利用形態に合わせた設定書やプロジェクト計画書と合わせて構築されたHadoop環境の説明会によるナレッジトランスファも行われるため、ビッグデータ環境の検討、構築における時間とコストの短縮を図ることができます。シスコ自身もHadoopアプライアンスを自社サービスで活用シスコ自身もHadoopを自社のサービスで利用しています。Analytics」です。このサービスは、シスコが顧客向けに提供しているセキュリティ分析サービス。ネットワークのパケットを分析し、マルウェアなどなんらかの脅威が存在しないかどうかを機械学習などによって発見、対策するというもの。このために同社は365日24時間のセキュリティ対策センター(SOC)で分析を行っていますが、客先に設置したHadoopアプライアンスによってパケットの収集や基本的な分析などを行っています。Search、MySQL、Storm、Sparkなどのビッグデータ向けソフトウェアで構成されています。同社はこうした自社でビッグデータ基盤を活用した経験や知見を、さらに優れた製品やサービスを提供するためにフィードバックしているのです。Liberty」が登場。コンテナ管理の「Magnum」がフルリリース。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。10本トランプ政権の不確実性はグローバルIT市場の成長率を下げているとガートナーが暗に指摘。2017年IT市場予測Googleは巨大なインフラをどうやってセキュアに保っているか。独自のセキュリティチップ利用やDoS対策、安全なソフトウェア開発など、全体像を解説したホワイトペーパーを公開さくらインターネット、1ペタフロップス超の「高火力コンピューティング基盤」が産総研とHi-Matのスーパーコンピュータに採用2016年の国内地域別IT市場は東京だけがプラス成長。2017年も東京だけがプラス、大都市圏とそれ以外の格差が広がる。Japanコンテナ市場は急成長、4年で3倍以上の3000億円規模へ。Essentials」まもなく提供開始、シトリックスオープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Framework、power-assertの作者が討論(後編)オープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Framework、power-assertの作者が討論(中編)オープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Edgeの内部もバージョンアップほかグーグルのクラウド事業は広告事業より稼ぐようになる夏のITイベント関連。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。