02:55aws株式会社学びingの五十嵐学様より「よくわかるAmazonEC2/S3入門」を献本いただきました。S3を中心とするAWSの導入、運用方がをボリュームよくまとまったかなりの良本です。コマンドリファレンスAWS導入検討時は何よりまず読むべき一通り読んでみて感じたことは、「僕がAWSを初めてまともに使った1年前にこの本があれば。Webインターフェースとコマンドツールの細かな説明から運用上の諸注意まで全部一通り掲載されてあって、AWS日本語公式サイトがまだ存在しない今だと、へたに検索して1つ1つ調べるよりよっぽど有益な情報を効率よく収集できます。個人的に一番よかったのは、6章「AWSにおける運用管理」と7-3「当社でおきた特殊な事件」。AWSの実運用事例はまだまだ国内では少ないので、このあたりの実際に使ってみてはじめて分かる、目の当たりにする困難な点は情報として絶対量もまだまだ多くありません。その点で、これらの章は使った人にとっては「あるある!!」と思える点ばかりで、AWSユーザ視点での生の声が集まったかなり貴重な章と言えると思います。Balancingなんかは、まだ使ったことがなかったので、そのあたりの情報は普通にかなり参考になりました。いうわけでAWSの導入を検討している人は当然のこと、AWSのサービスを断片的には使っているもののサービス間の連携についての知識が不十分だと思える人にとって、本書は必須な本だと思います。Pigのバージョンは異なります。VersionCDHは常にupdateしていて、現在の最新リリースであるCDH3も2010年5月5日現在ではテスト版扱いですが、これもじきにStable版としてリリースされることになるかと思います。そうるとClouderaのAMIを使っていて、特定のバージョンに上げたい、というのは結構自然な流れかと思います。このとき、バージョンを上げる流れとしては次のような流れになります。Pigなどをパッケージ管理ツールを利用して全てアンインストール。Pigなどをンストールし直し要するに、全ソフトウェアのバージョンをまとめて上げるのではなく、Hadoopかまたはそれ以外の特定のソフトウェアについて、パッケージ管理ツールを利用してバージョンを上げる、ということが可能になります。このとき、Hadoopについては新たに設定項目がかなり多かったり、AMIを作りなおさないと試すことができなかったりと面倒なことが多いのですが、逆にHiveやPigなどHadoopの上モノについては、AMIを作り直すこともなく、その場でバージョンを上げることも結構簡単にできます。HiveのバージョンをCDH1→CDH2に上げる場合は次のような手順で可能です。既存にインストールされてあるHiveをアンインストールします。AMIの場合は、パッケージ管理ツールとしてはyumを利用することが可能です。hadoop-hive次に、CDH2用のyumのレポジトリを追加します。あとえばCDH2用のレポジトリを追加するときは、こんなかんじ。CDH3用のレポジトリを追加したい場合は、URLの最後をcloudera-cdh3.repoに変更ください。http://archive.cloudera.com/redhat/cdh/cloudera-cdh2.repoこれで、最新のパッケージを扱える状態になりました。ここでHiveだけCDH2仕様のver0.40系にしてみましょう。hadoop-hiveこれで、0.40.xのHiveがインストールされました。設定ファイル(/etc/hive/conf/hive-site.xml)は、オリジナルのものに戻ってしまっているので、適宜直しておきましょう。ぼくは以下の箇所を変更、追加しました。javax.jdo.option.ConnectionURLjavax.jdo.option.ConnectionDriverNamejavax.jdo.option.ConnectionUserNamejavax.jdo.option.ConnectionUserPasswordいかがでしたでしょうか?Hiveについては、アップグレードは非常に簡単だったかと思います。同じように、PigについてもHadoopの上モノなので同様の手順でアッグレード可能になります。これなら割と気軽にバージョン上げたりパッチ当てたりなんかもできそうですね。Hadoop本体のアップグレードについても、次回は挑戦してみたいと思います。17日に京都で「アグレッシブなクラウドの使い方」というタイトルで、会社でのクラウドの取り組みについて話してきました。話の中身としては、僕とsasata299さんがいろんなところで話してきたクラウド系の話の総集編みたいなものになっています。あと、RDSとかPigについて話したのは今回が初になります。発表の後のTwitterでのTLを追いかけてると、「内容がちょっと分かりづらかった」という声もちらほらあったようですが、たしかにそれは間違っていなくて、AWS系のサービスの内容とHadoopについての仕組みが一通り理解できている前提での内容でしたので、かなり難解だった方も多かったかと思います。いうわけで参加されていた方々は、もう一度キーワードレベルで見直していただくなりして、内容を再確認いただければ幸いです。ArchiveAboutこのBlogはクックパッドに勤めるWebエンジニアがLLネタや情報技術について直感で思ったことを何も考えず発信するサイトです。コメントやお問い合わせ、執筆依頼などは@ryo_katsuma宛のmention、またはメールなどでお待ちしています。