大規模分散処理
http://wiki.examind.net/index.php?%E5%A4%A7%E8%A6%8F%E6%A8%A1%E5%88%86%E6%95%A3%E5%87%A6%E7%90%86
[
トップ
] [
編集
|
凍結
|
差分
|
バックアップ
|
添付
|
リロード
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
最新の20件
2023-10-26
Haskell
2023-10-17
ビッグデータ
2023-10-16
経営
2023-09-25
ITエンジニア/キャリア
2023-08-22
会議
2023-07-20
WBS
PERT
2023-07-19
プロジェクト管理
エンジニアリングマネジメント
2023-07-18
デザイン
Webアクセシビリティ
2023-07-13
macOS
2023-07-10
要件定義
2023-06-30
食品衛生
情報セキュリティ/ISMS
2023-06-28
シャドーIT
2023-06-15
Notion
1on1
ビジネス
2023-06-13
ドメイン駆動設計
メソッド
†
↑
データ分割(シャーディング)
†
複数のデータベースにデータを分散して運用すること
Moore氏はシャーディングを蹴飛ばす
... 大容量のメモリが手に入る昨今、シャーディングを行う必要性は薄れて来ている
600億PVもMySQLで! モバゲーのインフラ底力
Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア
↑
プロジェクト
†
↑
Hadoop
(別ページ)
†
↑
HBase
(別ページ)
†
↑
Hive
†
HiveQLというSQL風の言語でHadoop上のデータを操作
Hive - RDB使いのためのHadoopガイド
Hive, Hadoop and Facebook Life after reading Startup
SQLライクにHadoop Hiveを使い倒す!
↑
Hypertable
†
↑
Amazon Elastic
MapReduce
?
†
Amazon Elastic MapReduceを使ってみた
来た来た! Amazon + Hadoop = Amazon Elastic MapReduce
↑
MRToolkit
†
New York Timesがログ解析向けで自社開発したものを公表 RubyでHadoopをラップ、分散処理ツールキットが登場
↑
各社の取り組み
†
大規模サービス 他社事例がまとめられているページ(mixiとかも)
↑
海外
†
Twitter
秒間120万つぶやきを処理、Twitterシステムの“今”
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterが分散フレームワーク「Gizzard」公開! Scalaで書かれたShardingを実現するミドルウェア
Facebook
Facebookが大規模スケーラビリティへの挑戦で学んだこと(前編)〜800億枚の写真データとPHPのスケーラビリティ問題
Facebookが大規模スケーラビリティへの挑戦で学んだこと(後編)〜キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
FriendFeedの事例
Cloudera
Cloudera、パッケージ配布でHadoopをさらに利用しやすく
Cloudera、シリーズAで$5Mを調達―大規模分散DB、Hadoopの商用化をめざす
↑
日本
†
楽天
楽天版MapReduce・HadoopはRubyを活用
楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ
Yahoo
ヤフーを変え始めたHadoop
... 2010/6/14の記事
ヤフーにおけるHadoopの用途
Y!オークションの事例
クックパッド
Hadoopを業務で使ってみた話
CyberAgent
?
おひろめ会2010 Vol.3 「Hiveによるpiggデータ解析」
↑
その他
†
きりんさん日記: 1台でHBase, Hive, Pig, Cloudera Desktopを試してみる(CentOS + Cloudera)
きりんさん日記: 1台でHive, Pigを試してみる(Ubuntu + Cloudera)
Last-modified: 2017-04-09 (日) 20:47:35 (2544d)
Link:
Hadoop
(2544d)
HBase
(2544d)