Hadoop

• ライセンス：Apache Licence 2.0　（日本語訳）
• 採用実績

• Hadoop World 2010 の ビデオと PPT
• ソフトバンク通信3社向けHadoop研修資料公開 by PFI

• Dhruba Borthakur, Hadoop分散ファイルシステム：アーキテクチャと設計（原題：The Hadoop Distributed File System: Architecture and Design）

• Open TechTalk「Hadoop Hack Night」レポート
  • Hadoop Hacks Night詳細レポート［前編］
  • Hadoop Hacks Night詳細レポート［後編］

• 配下のプロジェクト
  • Hadoop Streaming ... PerlやPHP言語でMap/Reduceプログラムを作成
  • Hadoop Hive ... SQL風言語でMap/Reduceプログラムを作成
  • Hadoop Pig ... MapプログラムはPerl言語など、ReduceプログラムはPig Latinという独自言語で作成

• 連載：企業で使われるHadoop
  • 第1回 大量データのバッチ処理を高速化するHadoop
  • 第2回 Hadoopがスケール・アウトする仕組み
  • 第3回 「データのライフ・サイクル」で考えるHadoopの使いどころ ... DBの種類による使いどころを丁寧に解説。RDBMS, KVS, Hadoopの使い分け
    • 図：RDBMS、Hadoop、KVSを組み合わせて使い分ける
  • 第4回 Hadoopシステム構築のノウハウ

• Hadoopによる分散データ処理
  • 第1回 導入編
  • 第2回 拡張編
  • 第3回 アプリケーション開発

• 高まるHadoopの導入機運、日本のHadooperが集結

• Hadoop、hBaseで構築する大規模分散データ処理システム
• Hadoopのインストールとサンプルプログラムの実行
• 複数マシンへHadoopをインストールする

• Hadoopを用いたクラスタコンピューティング環境の構築
• オープンソース分散システム「Hadoop」解析資料
• Hadoop Streaming - naoyaのはてなダイアリー
• ヤフーが検索にHadoop採用、グーグルっぽく脱皮を図る
  • Hadoop and Distributed Computing at Yahoo!

• いま再注目の分散処理技術
  • MapReduceのJava実装 Apache Hadoopを使ってみた

• GoogleのMapReduceアルゴリズムをJavaで理解する

• hadoop-ec2でアクセス解析してみたよ！

• 小さいファイルを処理する際には、サーバー間通信・プログラム起動などのオーバーヘッドの方が大きくなる

• Hadoop構築支援サービス

• 平成２１年度産学連携ソフトウェア工学実践事業（高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業））事業成果報告書 [PDF]

• Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。

• インフラエンジニアのためのHadoop情報

• 次世代版「Hadoop」開発を進めるヤフー

• Hadoop Conference Japan 2011行ってきました
• Hadoop conference japan 2011に参加してきた

• Hadoop and HBase vs RDBMS メモ

システム構成 †

• 導入事例

Facebook †

• FacebookによるHadoop, Hive, HBaseそして A/B Testingへの取組み

eBay †

Twitter †

• Elephant-birdはlzo圧縮したデータをproto bufで圧縮して送る仕組み。In/OutFormat?, Pig, StoreFunc?など。

• Hadoop at Twitter (Hadoop Summit 2010)
• Hadoop and Pig at Twitter (Hadoop Summit 2010)
• NoSQL at Twitter (NoSQL EU 2010)

関連ツール †

S4 †

• リアルタイムなHadoop？ 「Real-Time MapReduce」を実現するS4、オープンソースとしてYahoo!が公開
• S4: the open-source distributed stream computing platform

Pig †

• PigのDSLは、独特な言語体系を持ち、ステップ単位で集合演算を実行可能

Hive †

• Hive Wiki

• Hiveはデータを構造化し、SQLライクな言語（HiveQL）でデータを扱えるようにすることができる
• 半構造化されたテキストファイルをタブ区切り、カンマ区切り、正規表現でのグルーピングなどを組み合わせてカラムに分け、テーブル名、カラム名で扱えるようにできる
• テーブル定義情報はメタストアに保存される
• メタストアには組み込みDBやMySQLなどが利用可能
• パーティショニングが使える
• ユーザ定義関数の作成も可能

• 基本的に単一のソース（入力データ）とシンク（出力データ）を前提として、各データに抽出系の処理を行い、演算フローをつなげていくという構成

• Hadoop/Hiveを用いたログ解析基盤の構築
  • 決まった解析をDailyやMonthlyで行う場合はスケジューリングしてHiveジョブを実行し、その結果をサマリデータベース（MySQLを使用しています）に入れ、Web UIからグラフ表示するなどしていつでも確認できるようにしている。

Oozie †

• 1台でOozieを試してみる(CentOS + Cloudera(CDH3 beta3))

• 米Yahoo! で開発、運用されている Apache Hadoop のためオープンソースのワークフローエンジン
• HDFSへの操作、Pigスクリプトの実行そしてMap/Reduce処理を含めた複雑なジョブの実行を管理することが可能

Flume †

• Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Being highly configurable and very extensible means that there are many options and thus many decisions that need to be made by an operator.

• Flume intro-100715
• Inside Flume

• Flume cassandra real time log processing (日本語）

• HBaseとの連携
  • Search Analytics with Flume and HBase
    • Metric Capture -> Log File -> Flume Agent -> Flume Collector -> Decorators -> HBase Sink -> HBase
  • Add Efficient HBase Sink whith Flexible Event's Attributes Writing
  • 8.2.2. Introducing Sink Decorators - Flume User Guide

    collector(15000) { [ escapedCustomDfs("xxx","yyy-%{rolltag}"), hbase("aaa", "bbb-%{rolltag}"), elasticSearch("eeee","ffff") ] }

Scribe †

• Scribeを使ってアクセスログを集約する
• 障害に強いscribeサーバ構成と設定

ディストリビューション †

• CDH3
  • Distribution Details

• クラウデラ、Hadoopディストリビューション最新版「CDH3」の一般提供を開始 ... 2011/4/13

適用の仕方 †

ファイルが小さい場合 †

• MapReduce?で小さいファイルを1つにまとめる処理を定期的に走らせる
• Hadoop Archives でディレクトリごとファイルをまとめる
  • Hadoopアーカイブ

構築事例 †

• Hadoop〜Yahoo! JAPANの活用について〜
  • JavaでMapReduce?を書くのはマシン語を書くようなもの
  • Yahoo! Inc.のジョブの60%はPigで書かれている
  • Yahoo! TechBlog (Hadoop)

• 楽天の事例から見えた「Hadoop」構築の誤解
  • 現実的には、Hadoopを最適に動かすためのハードウェアは相応なスペックが必要になる
  • データレプリカの配置が障害レベルに応じてきちんと分散された状態になるかどうかを意識する必要がある
  • サーバをフル稼働させるために電力使用効率なども真剣に考える必要がある
  • SQLに似た言語を用いてHadoopのMapReduce?処理が記述可能なHiveなどを活用すれば、マーケティング部門のメンバーにも使えるようになるかもしれない

• ついに Apple も、Hadoop ユーザーになるようだ！

• 企業システムにおける大規模データの活用と Hadoop の動向 [PDF]

可用性向上 †

0.20系 †

• Linux-HAクラスタによるマスタノードの冗長化
  • Hadoopを用いたクラスタコンピューティング環境の構築
  • Hadoopを用いたクラスタコンピューティング環境の構築

• メタデータのバックアップ
  • 0.20系にはBackupNode?の機能がない。自分でNFSマウントとかしてローカルとマウント先の2箇所に書くような仕組みを作る必要あり

0.21系 †

• CheckpointNode?
• BackupNode?

Hadoopを気軽に試す †

Amazon Elastic MapReduce? †

• 100台を1時間、1000円程度

Google BigQuery? †

環境構築 †

• CentOS に Hadoop, Pig, Hive, HBase をインストール
• 4台構成のHadoopを100分で試してみる(CentOS + Cloudera)

自動構築 †

• kickstart ... OSの自動インストールで使用
• Puppet ... Hadoop関連の自動インストールで使用

NameNode?の冗長化 †

• Hadoop HA Configuration - Cloudera

HDFS †

• Mounting HDFS
• HDFSをマウントして利用してみる
• hadoopのHDFSをRHELでマウント
• fuseでhdfsをmount

開発 †

• Java 開発 2.0: Hadoop MapReduce によるビッグ・データ分析

開発ツール †

• Karmasphere Studio

Hadoop Streaming †

• Hadoopに入門してみた - セットアップからHadoop Streaming まで
• Writing An Hadoop MapReduce Program In Python
• Hadoop Streaming Made Simple using Joins and Keys with Python
• Hadoopでサンプル作成
• Pythonで自然言語処理

運用 †

• Hadoop運用

チューニング †

NameNode? †

• HDFSのスケーラビリティ
  • HDFS Scalability
  • Scalability of the Hadoop Distributed File System

• Block Sizeは128Mで運用
• 1ファイルは平均1.5ブロック(192MB)
• NameNode?では、(1 file object + 2 block object)で1ファイル約600byteのメモリが必要
  • 1億ファイル時には60GBのメモリがNameNode?に必要
• 1ファイルのサイズ平均は減少する傾向にある
  • NameNode?のメモリ使用料が更に増加傾向
• BlockReport?を１０分おき、Heartbeatを３秒おきにDataNode?が送信するとする
• 10000 DataNode?の時、
  • NameNode?は秒間639,713のブロックを処理する必要が有る
  • NameNode?は秒間300,000のハートビートを処理する必要が有る
• これは、NameNode?のワークロードの約30%にあたる

圧縮 †

• Hadoop チューニング データ圧縮
• LZO圧縮は速い

フレームワーク †

Asakusa †

• Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌
• 基幹バッチ再構築のニーズは大きい、Hadoopの課題をAsakusaで解決する

導入支援サービス †

• 大量データを対象とした分散処理基盤　バッチ処理の高速化などに用途広がる

Hadoop用サーバ †

Cloudera’s Support Team Shares Some Basic Hardware Recommendations †

• datanodes/tasktrackers
  • 4 1TB hard disks in a JBOD (Just a Bunch Of Disks) configuration
  • 2 quad core CPUs, running at least 2-2.5GHz
  • 16-24GBs of RAM (24-32GBs if you’re considering HBase)
  • Gigabit Ethernet
• namenode/jobtracker
  • 1GB of namenode memory for every one million blocks stored in the distributed file system
  • With 100 datanodes in a cluster, 32GBs of RAM on the namenode provides plenty of room to grow
  • We also recommend having a standby machine to replace the namenode or jobtracker, in the case when one of these fails suddenly
• When you expect your Hadoop cluster to grow beyond 20 machines we recommend that the initial cluster be configured as it were to span two racks, where each rack has a top of rack gigabit switch, and those switches are connected with a 10 GigE interconnect or core switch.

• Light Processing Configuration (1U/machine): Two quad core CPUs, 8GB memory, and 4 disk drives (1TB or 2TB). Note that CPU-intensive work such as natural language processing involves loading large models into RAM before processing data and should be configured with 2GB RAM/core instead of 1GB RAM/core.
• Balanced Compute Configuration (1U/machine): Two quad core CPUs, 16 to 24GB memory, and 4 disk drives (1TB or 2TB) directly attached using the motherboard controller. These are often available as twins with two motherboards and 8 drives in a single 2U cabinet.
• Storage Heavy Configuration (2U/machine): Two quad core CPUs, 16 to 24GB memory, and 12 disk drives (1TB or 2TB). The power consumption for this type of machine starts around ~200W in idle state and can go as high as ~350W when active.
• Compute Intensive Configuration (2U/machine): Two quad core CPUs, 48-72GB memory, and 8 disk drives (1TB or 2TB). These are often used when a combination of large in-memory models and heavy reference data caching is required.

Lindacloud for Hadoop †

• Hadoop専用機「リンダ」を解剖
  • CPU:Core2 Quad Q9550s
  • RAM:8GB
  • HDD:3.5inch 1TB x 4

HP ProLiant SLサーバー †

• 日本HP、Hadoop関連ビジネスを強化〜コンサルサービスや高密度サーバーなどを提供
• 日本HP、Hadoop処理を最適化するサーバ3製品と導入支援サービスを提供

• スパコン並みの性能を実現する「GPU＋CPUハイブリッドソリューション」
• 100倍のパフォーマンスも夢ではない。次世代スパコンを体現するGPU+CPUハイブリッドソリューション。

• HP ProLiant SLサーバー
  • システム構成図
  • HP ProLiant SL335s G7
  • HP ProLiant SL160s G6
  • HP ProLiant SL165s G7

• HP Cluster Management Utility (HP-CMU)
  • 多数のLinuxサーバを効率的に構築・運用・監視するためのソフトウェア
  • 運用管理機能 ... 複数の演算ノードに対するファイル操作・編集、コマンド発行、ブート、シャットダウン、リブートや電源のオン/オフなどの処理を一括で実行
  • クローン機能 ... 演算ノードのシステムディスクを他のノードに複製することが可能
  • モニタ機能 ... 各演算ノードの負荷状況などさまざまなモニタ項目を、グラフや表で一覧可能

• Hadoopをインストールし使ってみる(06-APR-2011)
• アーキテクチャー概要：HadoopとHP

HP DLシリーズ †

• DL2000 ... namenodeとか、マスター系にはこのモデル
• DL180 G6 ... HDD容量をかせぐならこのモデル

その他 †

• radserv ZX1 - A.T.WORKS ... 1/2Uで3.5inch SATA 2本搭載可能

• 日立、Hadoopに適したエントリーサーバにiSCSIブートモデルを追加