2010」で行っています。講演の内容を4つの記事(MapReduce編、BigTable編、教訓編、デザインパターン編)で紹介しています。この記事はMapReduce編の続き、BigTable編です。分散処理に対応するBigTable次はBigTableの説明に移ろう。BigTableは、大規模分散の半構造化データストアシステムだ。グーグルでは多くの構造的なデータを保存している。ページランクの計算のためのURLやWebのデータ、ユーザーごとのデータ、位置情報等々。これが大規模に存在している。これを数千台のマシンで分散処理でき、故障にも対応できるようなストレージが必要だった。BigTableの基本的なデータモデルは、ロー、カラム、それにタイムスタンプによるバージョニング。BigTableを分散処理に対応させるメカニズムが、Tabletと、TabletのSplittingだ。Tabletには多くのローが保存されており、Tabletにデータを格納していくとTabletが大きくなっていく。ある程度大きくなったらTabletを分割し、分散させていく。BigTableはグーグルの主要なデータストアであり、多くの実際のサービスで使われている。BigTableに付随する実行コードさて、BigTableについての新しい情報も紹介しよう。以前は、グーグル内のそれぞれのグループが独自にBigTableを利用し、それぞれがBigTableを管理していた。現在ではBigTable専用チームで管理するようにしている。性能分離を向上させている。グーグルマップ、ブックスキャニングチームなどが大量のMapReduceをはじめても影響がないようになった。耐障害性も向上させている。レプリケーションも進歩しており、データは3つの異なるデータセンターにレプリケーションされるようになった。Consistency(結果整合性)を採用している。ユーザー向けのほとんどのデータはレプリケーションされるようになっている。Coprocessorsと呼ぶ、Tabletごとに付随するコードを実行できるようにした。このコードはTabletの分割などにも追随していく。RPCによる操作とは異なり、「これこれの行をとりだしたい」という抽象化した要求をTabletに対して投げ、複数のサーバで並列に実行できる。マルチデータセンターの上に作られるSpanner現在取り組んでいるのが「Spanner」だ。グーグルがこれまで(Spanner以前に)作ってきたのは、個別のデータセンター用のものだった。サービスデベロッパはそれらを組み合わせてクラスタレベルでのアプリケーションを作ってきた。Spannerでは、マルチデータセンターの上にストレージやコンピューテーションを作ろうとしている。プログラマは強いコンシステンシも容易に使えるようになる。Spannerのゴールは、10万台から1000万台程度のサーバで構成され、1つのネームスペースを持つものだ。内部はゾーンという単位で管理しようとしている。次回は、グーグルが大規模システム構築で学んだこと。Niino(jniino)IT系の雑誌編集者、オンラインメディア発行人を経て独立。新しいオンラインメディアの可能性を追求しています。10本トランプ政権の不確実性はグローバルIT市場の成長率を下げているとガートナーが暗に指摘。2017年IT市場予測Googleは巨大なインフラをどうやってセキュアに保っているか。独自のセキュリティチップ利用やDoS対策、安全なソフトウェア開発など、全体像を解説したホワイトペーパーを公開さくらインターネット、1ペタフロップス超の「高火力コンピューティング基盤」が産総研とHi-Matのスーパーコンピュータに採用2016年の国内地域別IT市場は東京だけがプラス成長。2017年も東京だけがプラス、大都市圏とそれ以外の格差が広がる。Japanコンテナ市場は急成長、4年で3倍以上の3000億円規模へ。Essentials」まもなく提供開始、シトリックスオープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Framework、power-assertの作者が討論(後編)オープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Framework、power-assertの作者が討論(中編)オープンソースの開発現場では限られたリソースで品質管理をどうしているのか。Edgeの内部もバージョンアップほかグーグルのクラウド事業は広告事業より稼ぐようになる夏のITイベント関連。usPublickeyについて/運営者についてお問い合わせ広告についてプライバシーポリシ。