大規模分散処理の変更点

追加された行はこの色です。
削除された行はこの色です。
大規模分散処理へ行く。
* メソッド [#n4f9d7bc]
** データ分割（シャーディング） [#ie78324a]
-複数のデータベースにデータを分散して運用すること
-[[Moore氏はシャーディングを蹴飛ばす:http://ikebomb.blogspot.com/2009/01/37signals-moore.html]] ... 大容量のメモリが手に入る昨今、シャーディングを行う必要性は薄れて来ている
-[[600億PVもMySQLで！ モバゲーのインフラ底力:http://www.atmarkit.co.jp/ad/dena/dena1004/index.html]]

-[[Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア:http://www.publickey1.jp/blog/10/twittergizzard_scalasharding.html]]

* プロジェクト [#c1479ec5]
** [[Hadoop]]（別ページ） [#o8270181]
** [[HBase]]（別ページ） [#g67aa871]

** Hive [#d6c65ca9]
-HiveQLというSQL風の言語でHadoop上のデータを操作

-[[Hive - RDB使いのためのHadoopガイド:http://www.atmarkit.co.jp/fdb/single/s_hive/hive_01.html]]
-[[Hive, Hadoop and Facebook Life after reading Startup:http://hidekiitakura.com/blog/?p=334]]
-[[SQLライクにHadoop Hiveを使い倒す!:http://www.atmarkit.co.jp/fdb/single/s_hive/hive_04.html]]

** [[Hypertable:http://hypertable.org/]] [#i44d68d3]

** Amazon Elastic MapReduce [#j33155e9]
-[[Amazon Elastic MapReduceを使ってみた:http://kzk9.net/blog/2009/04/reviewing_amazon_elastic_map_reduce.html]]
-[[来た来た！ Amazon + Hadoop = Amazon Elastic MapReduce:http://d.hatena.ne.jp/muranaga/20090403/p1]]

** [[MRToolkit:http://code.google.com/p/mrtoolkit/]] [#x8a8aed7]
-[[New York Timesがログ解析向けで自社開発したものを公表 RubyでHadoopをラップ、分散処理ツールキットが登場:http://www.atmarkit.co.jp/news/200905/12/nyt.html]]

* 各社の取り組み [#f9c19743]
-[[大規模サービス　他社事例がまとめられているページ（mixiとかも）:http://blog.hacklife.net/archives/51788873.html]]

** 海外 [#k52a190d]
-Twitter
--[[秒間120万つぶやきを処理、Twitterシステムの“今”:http://www.atmarkit.co.jp/news/201004/19/twitter.html]]
--[[Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか:http://www.publickey1.jp/blog/10/twitter_4.html]]
--[[Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア:http://www.publickey1.jp/blog/10/twittergizzard_scalasharding.html]]
-Facebook
--[[Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）〜800億枚の写真データとPHPのスケーラビリティ問題:http://www.publickey1.jp/blog/09/facebook8php.html]]
--[[Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）〜キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性:http://www.publickey1.jp/blog/09/facebook.html]]
-[[FriendFeedの事例:http://hyuki.com/yukiwiki/wiki.cgi?HowFriendFeedUsesMySqlToStoreSchemaLessData]]
-Cloudera
--[[Cloudera、パッケージ配布でHadoopをさらに利用しやすく:http://www.infoq.com/jp/news/2009/03/cloudera-hadoop]]
--[[Cloudera、シリーズAで$5Mを調達―大規模分散DB、Hadoopの商用化をめざす:http://jp.techcrunch.com/archives/20090316cloudera-raises-5-million-series-a-round-for-hadoop-commercialization/]]

** 日本 [#qfe46ab4]
-楽天
--[[楽天版MapReduce・HadoopはRubyを活用:http://www.atmarkit.co.jp/news/200812/01/rakuten.html]]
--[[楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ:http://itpro.nikkeibp.co.jp/article/NEWS/20070831/280859/]]

-Yahoo
--[[ヤフーを変え始めたHadoop:http://itpro.nikkeibp.co.jp/article/COLUMN/20100531/348671/]] ... 2010/6/14の記事
---[[ヤフーにおけるHadoopの用途:http://itpro.nikkeibp.co.jp/article/COLUMN/20100531/348671/?SS=imgview&FD=55059667&ST=cloud]]
--[[Y!オークションの事例:http://techblog.yahoo.co.jp/web/yahoo/mysql/]]

-クックパッド
--[[Hadoopを業務で使ってみた話:http://techlife.cookpad.com/2009/12/16/hadoop_for_business/]]

-CyberAgent
--[[おひろめ会2010 Vol.3 「Hiveによるpiggデータ解析」:http://www.ustream.tv/recorded/5718348]]

* その他 [#b1fdc63f]
-[[きりんさん日記: 1台でHBase, Hive, Pig, Cloudera Desktopを試してみる(CentOS + Cloudera):http://saburi380.blogspot.com/2009/12/1hbase-hive-pig.html]]
-[[きりんさん日記: 1台でHive, Pigを試してみる(Ubuntu + Cloudera):http://saburi380.blogspot.com/2010/01/1hive-pigubuntu-cloudera.html]]
大規模分散処理 の変更点

大規模分散処理の変更点
