kumofs
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
-[[kumofs:http://kumofs.sourceforge.net/]]
--[[ずばり動く!kumofs と ずばり動かないケース:http://www...
--[[kumofsはなぜスケールするか:http://d.hatena.ne.jp/vive...
--[[kumofsはなぜ落ちないか:http://d.hatena.ne.jp/viver/20...
-[[doc/doc.ja.md at master from etolabo/kumofs - GitHub:h...
-[[kumofs - syuki.skr.jp [PDF]:http://syuki.skr.jp/files/...
-[[分散Key-Valueストア「kumofs」を公開しました!:http://d...
-[[kumofs を試してみる:http://www5f.biglobe.ne.jp/~sempre...
-[[連載 R&Dトレンドレポート:http://gihyo.jp/admin/serial/...
--[[第4回 分散環境でTokyoCabinetを動かす:http://gihyo.jp...
--[[第5回 分散環境でTokyoCabinetを動かす─2:http://gihyo....
* 基本 [#yaeb24df]
-レプリケーション数は3固定?
* インストール [#f4b3d3bd]
-[[「kumofs」を使って、分散key-Valueストレージシステムを...
-[[分散Key-Valueストア「kumofs」のインストール(0.4.13版):...
-[[kumofsをインストールしてみた:http://www.kdl.co.jp/open...
-[[kumofsをインストールして遊んでみた。:http://www.blogki...
-インストール手順
--bzip2
--ruby
--RubyGems
$ wget http://rubyforge.org/frs/download.php/60718/rubyg...
$ tar zxvf rubygems-1.3.5.tgz
$ cd rubygems-1.3.5
$ ruby setup.rb
---Rubyのバージョンによって使えるRubyGemsのバージョンが決...
---[[How to install Ruby and Gems on CentOS 5.5:http://ww...
---[[「ruby extconf.rb」で「can't find header files for r...
--[[Tokyo Cabinet:http://fallabs.com/tokyocabinet/]]
$ wget http://1978th.net/tokyocabinet/tokyocabinet-1.4.4...
$ tar zxvf tokyocabinet-1.4.47.tar.gz
$ cd tokyocabinet-1.4.47
$ ./configure
$ make
# make install
--[[MessagePack:http://sourceforge.net/projects/msgpack/]]
$ wget http://sourceforge.net/projects/msgpack/files/msg...
$ tar zxvf msgpack-0.5.4.tar.gz
$ cd msgpack-0.5.4
$ ./configure
$ make
# make install
--MessagePack for Ruby
# gem install msgpack
--[[kumofs:http://kumofs.sourceforge.net/]]
$ wget https://github.com/etolabo/kumofs/downloads/kumof...
$ tar zxvf kumofs-0.4.13.tar.gz
$ cd kumofs-0.4.13
$ ./configure
$ make
# make install
* 1台のサーバで冗長構成を試す [#f09c626f]
-[[「kumofs」を使って、分散key-Valueストレージシステムを...
-[[kumofs 1台のマシンで冗長構成を組んでみる:http://blog....
-準備(データベースファイルの作成)
--1億件のテストをするため、余裕をみてバケット数=1.5億を指...
$ tchmgr create kumodb1.tch 150000000
$ tchmgr create kumodb2.tch 150000000
$ tchmgr create kumodb3.tch 150000000
-起動
--マネージャ起動
$ kumo-manager -v -l localhost:19700 -p localhost:19701
$ kumo-manager -v -l localhost:19701 -p localhost:19700
---片方しか動いていないときは以下のエラーが出る
2011-05-19 15:54:29 ../rpc/client_tmpl.h:199: connect fa...
--サーバ起動
$ kumo-server -m localhost -l localhost:19801 -L 19901 -...
$ kumo-server -m localhost -l localhost:19802 -L 19902 -...
$ kumo-server -m localhost -l localhost:19803 -L 19903 -...
--- 動きを見たければ -v オプションを付ける
--サーバ登録
$ kumoctl localhost attach
--ゲートウェイ起動
$ kumo-gateway -v -m localhost -t localhost
--状態確認
$ kumoctl localhost status
hash space timestamp:
Thu May 19 16:59:23 +0900 2011 clock 139
attached node:
127.0.0.1:19801 (active)
127.0.0.1:19802 (active)
127.0.0.1:19803 (active)
not attached node:
--試しに接続
$ telnet localhost 11411
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
version
VERSION kumofs-0.4.13
--統計情報
$ kumostat -h
Usage: kumostat server-address[:port=19800] command
kumostat -m manager-address[:port=19700] command
command:
pid get pid of server process
uptime get uptime
time get UNIX time
version get version
cmd_get get number of get requests
cmd_set get number of set requests
cmd_delete get number of delete requests
items get number of stored items
stats get statistics like memcached's 'stats'...
rhs get rhs (routing table for Get)
whs get whs (routing table for Set/Delete)
hscheck check if rhs == whs
replstat get replace status
set_delay maximize throughput at the expense of l...
unset_delay minimize latency at the expense of thro...
--負荷確認
$ kumotop -m localhost
address #Get #Set #Del Get/s Set/s Del/s ...
127.0.0.1:19801 0 0 0 0 0 0 ...
127.0.0.1:19802 0 0 0 0 0 0 ...
127.0.0.1:19803 0 0 0 0 0 0 ...
* 耐障害性、自動復帰など [#r073fdc5]
** kumo-server [#p495f68f]
** kumo-manager [#kd55a796]
** kumo-gateway [#x23d590f]
-ソフトウェア的な障害を考慮するなら、kumo-gatewayをdaemon...
* チューニング [#zac29231]
** データベースファイル [#yaefbabd]
-最大の性能を得たいなら、kumo-serverのオプションでデータ...
-最も重要なのはパケット数のチューニング
バケット数(bnum)=レコード数の約2倍 / 拡張メモリ(xmsiz)
* 拡張メモリ:KVSに割り当てられるメモリ
-64GB以上になる場合は、データベース作成時に「#opts=l」を...
--[[TokyoCabinet 64GBの壁:http://ameblo.jp/cyberx-enginee...
-拡張メモリマップのサイズ(xmsiz), キャッシュ機構(rcnum)
$ kumo-server -v -m localhost -l localhost:19801 -L 1990...
-参考資料
--[[Tokyo Cabinet第1版基本仕様書:http://fallabs.com/tokyo...
--[[Inside Tokyo Cabinet その壱:http://alpha.mixi.co.jp/b...
** スレッド数 [#h21a875c]
-kumo-server, kumo-gateway
-- -TW <number=2> --write-threads number of thr...
-- -TR <number=8> --read-threads number of thr...
* スケールアウト [#j229f4a5]
-[[kumo-serverの追加方法:http://d.hatena.ne.jp/ando_ando_...
終了行:
-[[kumofs:http://kumofs.sourceforge.net/]]
--[[ずばり動く!kumofs と ずばり動かないケース:http://www...
--[[kumofsはなぜスケールするか:http://d.hatena.ne.jp/vive...
--[[kumofsはなぜ落ちないか:http://d.hatena.ne.jp/viver/20...
-[[doc/doc.ja.md at master from etolabo/kumofs - GitHub:h...
-[[kumofs - syuki.skr.jp [PDF]:http://syuki.skr.jp/files/...
-[[分散Key-Valueストア「kumofs」を公開しました!:http://d...
-[[kumofs を試してみる:http://www5f.biglobe.ne.jp/~sempre...
-[[連載 R&Dトレンドレポート:http://gihyo.jp/admin/serial/...
--[[第4回 分散環境でTokyoCabinetを動かす:http://gihyo.jp...
--[[第5回 分散環境でTokyoCabinetを動かす─2:http://gihyo....
* 基本 [#yaeb24df]
-レプリケーション数は3固定?
* インストール [#f4b3d3bd]
-[[「kumofs」を使って、分散key-Valueストレージシステムを...
-[[分散Key-Valueストア「kumofs」のインストール(0.4.13版):...
-[[kumofsをインストールしてみた:http://www.kdl.co.jp/open...
-[[kumofsをインストールして遊んでみた。:http://www.blogki...
-インストール手順
--bzip2
--ruby
--RubyGems
$ wget http://rubyforge.org/frs/download.php/60718/rubyg...
$ tar zxvf rubygems-1.3.5.tgz
$ cd rubygems-1.3.5
$ ruby setup.rb
---Rubyのバージョンによって使えるRubyGemsのバージョンが決...
---[[How to install Ruby and Gems on CentOS 5.5:http://ww...
---[[「ruby extconf.rb」で「can't find header files for r...
--[[Tokyo Cabinet:http://fallabs.com/tokyocabinet/]]
$ wget http://1978th.net/tokyocabinet/tokyocabinet-1.4.4...
$ tar zxvf tokyocabinet-1.4.47.tar.gz
$ cd tokyocabinet-1.4.47
$ ./configure
$ make
# make install
--[[MessagePack:http://sourceforge.net/projects/msgpack/]]
$ wget http://sourceforge.net/projects/msgpack/files/msg...
$ tar zxvf msgpack-0.5.4.tar.gz
$ cd msgpack-0.5.4
$ ./configure
$ make
# make install
--MessagePack for Ruby
# gem install msgpack
--[[kumofs:http://kumofs.sourceforge.net/]]
$ wget https://github.com/etolabo/kumofs/downloads/kumof...
$ tar zxvf kumofs-0.4.13.tar.gz
$ cd kumofs-0.4.13
$ ./configure
$ make
# make install
* 1台のサーバで冗長構成を試す [#f09c626f]
-[[「kumofs」を使って、分散key-Valueストレージシステムを...
-[[kumofs 1台のマシンで冗長構成を組んでみる:http://blog....
-準備(データベースファイルの作成)
--1億件のテストをするため、余裕をみてバケット数=1.5億を指...
$ tchmgr create kumodb1.tch 150000000
$ tchmgr create kumodb2.tch 150000000
$ tchmgr create kumodb3.tch 150000000
-起動
--マネージャ起動
$ kumo-manager -v -l localhost:19700 -p localhost:19701
$ kumo-manager -v -l localhost:19701 -p localhost:19700
---片方しか動いていないときは以下のエラーが出る
2011-05-19 15:54:29 ../rpc/client_tmpl.h:199: connect fa...
--サーバ起動
$ kumo-server -m localhost -l localhost:19801 -L 19901 -...
$ kumo-server -m localhost -l localhost:19802 -L 19902 -...
$ kumo-server -m localhost -l localhost:19803 -L 19903 -...
--- 動きを見たければ -v オプションを付ける
--サーバ登録
$ kumoctl localhost attach
--ゲートウェイ起動
$ kumo-gateway -v -m localhost -t localhost
--状態確認
$ kumoctl localhost status
hash space timestamp:
Thu May 19 16:59:23 +0900 2011 clock 139
attached node:
127.0.0.1:19801 (active)
127.0.0.1:19802 (active)
127.0.0.1:19803 (active)
not attached node:
--試しに接続
$ telnet localhost 11411
Trying 127.0.0.1...
Connected to localhost.localdomain (127.0.0.1).
Escape character is '^]'.
version
VERSION kumofs-0.4.13
--統計情報
$ kumostat -h
Usage: kumostat server-address[:port=19800] command
kumostat -m manager-address[:port=19700] command
command:
pid get pid of server process
uptime get uptime
time get UNIX time
version get version
cmd_get get number of get requests
cmd_set get number of set requests
cmd_delete get number of delete requests
items get number of stored items
stats get statistics like memcached's 'stats'...
rhs get rhs (routing table for Get)
whs get whs (routing table for Set/Delete)
hscheck check if rhs == whs
replstat get replace status
set_delay maximize throughput at the expense of l...
unset_delay minimize latency at the expense of thro...
--負荷確認
$ kumotop -m localhost
address #Get #Set #Del Get/s Set/s Del/s ...
127.0.0.1:19801 0 0 0 0 0 0 ...
127.0.0.1:19802 0 0 0 0 0 0 ...
127.0.0.1:19803 0 0 0 0 0 0 ...
* 耐障害性、自動復帰など [#r073fdc5]
** kumo-server [#p495f68f]
** kumo-manager [#kd55a796]
** kumo-gateway [#x23d590f]
-ソフトウェア的な障害を考慮するなら、kumo-gatewayをdaemon...
* チューニング [#zac29231]
** データベースファイル [#yaefbabd]
-最大の性能を得たいなら、kumo-serverのオプションでデータ...
-最も重要なのはパケット数のチューニング
バケット数(bnum)=レコード数の約2倍 / 拡張メモリ(xmsiz)
* 拡張メモリ:KVSに割り当てられるメモリ
-64GB以上になる場合は、データベース作成時に「#opts=l」を...
--[[TokyoCabinet 64GBの壁:http://ameblo.jp/cyberx-enginee...
-拡張メモリマップのサイズ(xmsiz), キャッシュ機構(rcnum)
$ kumo-server -v -m localhost -l localhost:19801 -L 1990...
-参考資料
--[[Tokyo Cabinet第1版基本仕様書:http://fallabs.com/tokyo...
--[[Inside Tokyo Cabinet その壱:http://alpha.mixi.co.jp/b...
** スレッド数 [#h21a875c]
-kumo-server, kumo-gateway
-- -TW <number=2> --write-threads number of thr...
-- -TR <number=8> --read-threads number of thr...
* スケールアウト [#j229f4a5]
-[[kumo-serverの追加方法:http://d.hatena.ne.jp/ando_ando_...
ページ名: