MySQL/ストレージエンジン
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
|
ログイン
]
開始行:
-[[Star Schema Bechmark: InfoBright, InfiniDB and LucidDB...
* [[Infobright:http://www.infobright.com/]] [#g56439c7]
-MySQLのエンジン形式のDWH検索エンジン
-カラム型DB
-レコード数が多ければ多いほど、通常のMySQLとの差が広がる
--1000万レコードだと5倍以上違うらしい
-[[Infobright - MySQL:http://www-jp.mysql.com/products/dw...
-[[Infobright - KSK Solutions:http://www.infobright-partn...
-[[Infobright Japanパートナーブログ:http://www.blog.infob...
-[[QuickKnowLedge > Infobright:http://nakayama.ddo.jp/wor...
-[[DWH:infobrightの構築:http://nakayama.ddo.jp/wordpress/...
-[[DWH: Infobright パフォーマンス検証:http://nakayama.ddo...
-[[mongodb,mysql,infobright 速度検証:http://nakayama.ddo....
-[[Data Warehousing with MySQL and Infobright のまとめ:ht...
** CSVファイルのimport [#e2620daa]
-DB、テーブル、CSVファイルを指定してデータロード
#!/bin/sh
INFOBRIGHT_ROOT=/usr/local/infobright
MYSQL_USER=*****
MYSQL_PASSWORD=*****
CUR_DIR=`pwd`
DQ='"'
QT="'"
DATABASE=$1
TGT_TABLE=$2
CSV_FILE=$3
# データフォマットを可変長のテキストに設定して、CSV形式...
WKSTR="set @bh_dataformat='txt_variable';\n"
# ロード前に現在のデータを削除
WKSTR="${WKSTR}TRUNCATE TABLE ${TGT_TABLE};\n"
# データロード
WKSTR="${WKSTR}LOAD DATA INFILE ${QT}${CUR_DIR}/${CSV_FI...
echo ${WKSTR}
echo ${WKSTR} > ${CUR_DIR}/LOAD_TABLE_${TGT_TABLE}.sql
$INFOBRIGHT_ROOT/bin/mysql $DATABASE < ${CUR_DIR}/LOAD_T...
* [[InfiniDB:http://www.infinidb.org/]] [#a3497b39]
-[[Calpont社:http://www.calpont.com/]] 開発
-2010年11月現在、最新バージョンは2.0
-[[Enterprise版の価格:http://www.calpont.com/licensing]] ...
-InfiniDBは「MySQL 5.1.39」をベースとしたエンジンで、デー...
-カラム主導のアーキテクチャを採用、マルチスレッド設計によ...
-このほか、可用性技術のMVCC(多版型同時実行制御)、DMLサ...
-Enterprise版(30日間仕様可能)では、Community Editionを...
-InfiniDB Community Editionは、[[Calpontのオープンソース...
-[[InfiniDB 1.0登場、高性能データウェアハウスをMySQLへ:ht...
-[[OSSなDWH InfiniDB の話 ? 〜インストール:http://nakayam...
-[[OSSなDWH InfiniDB の話 ? 〜データベース構築:http://nak...
-[[OSSなDWH InfiniDB の話 ? 〜CSVデータのロード:http://na...
-[[OSSなDWH InfiniDB の話 ? 〜InnoDB エンジンと共存する方...
-[[OSSなDWH InfiniDB の話 ? 〜リアルタイムDWH化に成功!:h...
-[[InfiniDBを使ってみる:http://kingyo-bachi.blogspot.com/...
** 設定 [#u6e2bd66]
-ユーザ mysql, グループ mysql がない場合は作成しておく(...
-バイナリファイルを /usr/local に展開(/usr/local/Calpont...
-/usr/local/Calpont/mysql/my.cnf を編集
--変更:[client] port ... 3306以外に(既にMySQLが動いてい...
--変更:[mysqld] port ... 3306以外に(既にMySQLが動いてい...
--追記:[client]
default-character-set=utf8
--追記:[mysqld]
default-character-set=utf8
default-collation=value
character-set-server=utf8
collation-server=value
init-connect=’SET NAMES utf8’
sql_mode = 'IGNORE_SPACE'
skip-character-set-client-handshake
--追記:[mysql]
default-character-set=utf8
-以下のコマンドを実行
# /usr/local/Calpont/bin/install-infinidb.sh
# . /usr/local/Calpont/bin/calpontAlias
# service infinidb start
-使えるようになったか確認
# idbmysql
mysql > show engines;
:
| InfiniDB | YES | Calpont InfiniDB storage engine...
:
** 使い方 [#yf9b9e4d]
-起動と終了
# service infinidb start
# service infinidb stop
-Aliasの設定(InfiniDB を使う際に1回実行)
$ . /usr/local/Calpont/bin/calpontAlias
-クライアントプログラム
$ idbmysql
** CSVファイルのimport [#jf3ee4f8]
-Infobright に比べると面倒くさい
-注意点
--文字と文字をくくる、ダブルクォーテーションに対応してい...
--だからInfiniDBの場合はCSVファイルでなく、タブ区切りファ...
-定義ファイルの作成
# /usr/local/Calpont/bin/colxml -h
Running colxml with the following parameters:
Usage: colxml [options] schema
Options:
-d delimiter
-e max error rows (numeric)
-h Print this message
-j Job id (numeric)
-l load file name
-n "name in quotes"
-p path for XML job description file that is generated
-s "description in quotes"
-t table name
-u user
-r Number of read buffers (numeric)
-c Read buffer size (numeric)
-w Write buffer size (numeric))
-x Extention of file name
-b debug level (1-3)
schema - Required field, all others are optional!
Example:
colxml -t lineitem -j 123 schema
-作成した定義ファイルに基づくimport
# /usr/local/Calpont/bin/cpimport -h
Usage: cpimport -j jobID [-h][-r readers][-w parsers][-s...
Options:
-d Print different level (1-3) debug message
-i Print extended info to console, else extended info ...
-h Print this message
-j Job id (Required)
-n NullOption (0-treat the string NULL as data (defaul...
-p path for XML job description file
-r number of readers
-w number of parsers
-s 'c' is the delimiter between values
-f data file(s) directory path; specify 'STDIN' to red...
-j option is required!
** アンインストール [#ef2f5f81]
# service infinidb stop
# chkconfig --del infinidb
# rm -rf /usr/local/Calpont
** Tips [#z37e3cc7]
-カラム名として date を指定するとエラーになる(そもそも型...
--[[MySQL allows column named date or action and some spe...
* VP for MySQL [#g2912a1b]
-[[まるで魔法のようなストレージエンジン??VP for MySQLに...
* SPIDER [#hab4d965]
-[[快適スケールアウト生活への第一歩。SPIDERストレージエン...
-[[Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせ...
-[[国産MySQLストレージエンジン「Spider」の作者、斯波健徳...
* [[HandlerSocket:https://github.com/ahiguti/HandlerSocke...
-モバゲータウンにて実際に運用中
-非SQLでインターフェイスを提供し、リクエストを集約して実...
-標準でC++とPerlのクライアントライブラリを提供
-有志によって、Ruby や Python,PHP,Java などのバインディ...
-[[Using MySQL as a NoSQL:http://yoshinorimatsunobu.blogs...
--[[NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75...
-[[HandlerSocket plugin for MySQL:http://www.slideshare.n...
-[[mysqlにhandlersocket pluginを入れる:http://d.hatena.ne...
-[[NoSQLとしてのMySQLの動作確認(HandlerSocket):http://www...
-[[HandlerSocket Plugin for MySQLのPHPクライアントを公開...
-[[MySQLのplugin検証(HandlerSocketのJavaクライアント実装...
-[[MySQLのplugin検証(HandlerSocketのJavaクライアント):h...
-[[HandlerSocket の Node.js クライアント node-handlersock...
-[[Re: handlersocket plugin や mycached を使えば memcache...
* Falcon [#zea46844]
* Maria [#y7f25627]
* groonga [#y0882121]
終了行:
-[[Star Schema Bechmark: InfoBright, InfiniDB and LucidDB...
* [[Infobright:http://www.infobright.com/]] [#g56439c7]
-MySQLのエンジン形式のDWH検索エンジン
-カラム型DB
-レコード数が多ければ多いほど、通常のMySQLとの差が広がる
--1000万レコードだと5倍以上違うらしい
-[[Infobright - MySQL:http://www-jp.mysql.com/products/dw...
-[[Infobright - KSK Solutions:http://www.infobright-partn...
-[[Infobright Japanパートナーブログ:http://www.blog.infob...
-[[QuickKnowLedge > Infobright:http://nakayama.ddo.jp/wor...
-[[DWH:infobrightの構築:http://nakayama.ddo.jp/wordpress/...
-[[DWH: Infobright パフォーマンス検証:http://nakayama.ddo...
-[[mongodb,mysql,infobright 速度検証:http://nakayama.ddo....
-[[Data Warehousing with MySQL and Infobright のまとめ:ht...
** CSVファイルのimport [#e2620daa]
-DB、テーブル、CSVファイルを指定してデータロード
#!/bin/sh
INFOBRIGHT_ROOT=/usr/local/infobright
MYSQL_USER=*****
MYSQL_PASSWORD=*****
CUR_DIR=`pwd`
DQ='"'
QT="'"
DATABASE=$1
TGT_TABLE=$2
CSV_FILE=$3
# データフォマットを可変長のテキストに設定して、CSV形式...
WKSTR="set @bh_dataformat='txt_variable';\n"
# ロード前に現在のデータを削除
WKSTR="${WKSTR}TRUNCATE TABLE ${TGT_TABLE};\n"
# データロード
WKSTR="${WKSTR}LOAD DATA INFILE ${QT}${CUR_DIR}/${CSV_FI...
echo ${WKSTR}
echo ${WKSTR} > ${CUR_DIR}/LOAD_TABLE_${TGT_TABLE}.sql
$INFOBRIGHT_ROOT/bin/mysql $DATABASE < ${CUR_DIR}/LOAD_T...
* [[InfiniDB:http://www.infinidb.org/]] [#a3497b39]
-[[Calpont社:http://www.calpont.com/]] 開発
-2010年11月現在、最新バージョンは2.0
-[[Enterprise版の価格:http://www.calpont.com/licensing]] ...
-InfiniDBは「MySQL 5.1.39」をベースとしたエンジンで、デー...
-カラム主導のアーキテクチャを採用、マルチスレッド設計によ...
-このほか、可用性技術のMVCC(多版型同時実行制御)、DMLサ...
-Enterprise版(30日間仕様可能)では、Community Editionを...
-InfiniDB Community Editionは、[[Calpontのオープンソース...
-[[InfiniDB 1.0登場、高性能データウェアハウスをMySQLへ:ht...
-[[OSSなDWH InfiniDB の話 ? 〜インストール:http://nakayam...
-[[OSSなDWH InfiniDB の話 ? 〜データベース構築:http://nak...
-[[OSSなDWH InfiniDB の話 ? 〜CSVデータのロード:http://na...
-[[OSSなDWH InfiniDB の話 ? 〜InnoDB エンジンと共存する方...
-[[OSSなDWH InfiniDB の話 ? 〜リアルタイムDWH化に成功!:h...
-[[InfiniDBを使ってみる:http://kingyo-bachi.blogspot.com/...
** 設定 [#u6e2bd66]
-ユーザ mysql, グループ mysql がない場合は作成しておく(...
-バイナリファイルを /usr/local に展開(/usr/local/Calpont...
-/usr/local/Calpont/mysql/my.cnf を編集
--変更:[client] port ... 3306以外に(既にMySQLが動いてい...
--変更:[mysqld] port ... 3306以外に(既にMySQLが動いてい...
--追記:[client]
default-character-set=utf8
--追記:[mysqld]
default-character-set=utf8
default-collation=value
character-set-server=utf8
collation-server=value
init-connect=’SET NAMES utf8’
sql_mode = 'IGNORE_SPACE'
skip-character-set-client-handshake
--追記:[mysql]
default-character-set=utf8
-以下のコマンドを実行
# /usr/local/Calpont/bin/install-infinidb.sh
# . /usr/local/Calpont/bin/calpontAlias
# service infinidb start
-使えるようになったか確認
# idbmysql
mysql > show engines;
:
| InfiniDB | YES | Calpont InfiniDB storage engine...
:
** 使い方 [#yf9b9e4d]
-起動と終了
# service infinidb start
# service infinidb stop
-Aliasの設定(InfiniDB を使う際に1回実行)
$ . /usr/local/Calpont/bin/calpontAlias
-クライアントプログラム
$ idbmysql
** CSVファイルのimport [#jf3ee4f8]
-Infobright に比べると面倒くさい
-注意点
--文字と文字をくくる、ダブルクォーテーションに対応してい...
--だからInfiniDBの場合はCSVファイルでなく、タブ区切りファ...
-定義ファイルの作成
# /usr/local/Calpont/bin/colxml -h
Running colxml with the following parameters:
Usage: colxml [options] schema
Options:
-d delimiter
-e max error rows (numeric)
-h Print this message
-j Job id (numeric)
-l load file name
-n "name in quotes"
-p path for XML job description file that is generated
-s "description in quotes"
-t table name
-u user
-r Number of read buffers (numeric)
-c Read buffer size (numeric)
-w Write buffer size (numeric))
-x Extention of file name
-b debug level (1-3)
schema - Required field, all others are optional!
Example:
colxml -t lineitem -j 123 schema
-作成した定義ファイルに基づくimport
# /usr/local/Calpont/bin/cpimport -h
Usage: cpimport -j jobID [-h][-r readers][-w parsers][-s...
Options:
-d Print different level (1-3) debug message
-i Print extended info to console, else extended info ...
-h Print this message
-j Job id (Required)
-n NullOption (0-treat the string NULL as data (defaul...
-p path for XML job description file
-r number of readers
-w number of parsers
-s 'c' is the delimiter between values
-f data file(s) directory path; specify 'STDIN' to red...
-j option is required!
** アンインストール [#ef2f5f81]
# service infinidb stop
# chkconfig --del infinidb
# rm -rf /usr/local/Calpont
** Tips [#z37e3cc7]
-カラム名として date を指定するとエラーになる(そもそも型...
--[[MySQL allows column named date or action and some spe...
* VP for MySQL [#g2912a1b]
-[[まるで魔法のようなストレージエンジン??VP for MySQLに...
* SPIDER [#hab4d965]
-[[快適スケールアウト生活への第一歩。SPIDERストレージエン...
-[[Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせ...
-[[国産MySQLストレージエンジン「Spider」の作者、斯波健徳...
* [[HandlerSocket:https://github.com/ahiguti/HandlerSocke...
-モバゲータウンにて実際に運用中
-非SQLでインターフェイスを提供し、リクエストを集約して実...
-標準でC++とPerlのクライアントライブラリを提供
-有志によって、Ruby や Python,PHP,Java などのバインディ...
-[[Using MySQL as a NoSQL:http://yoshinorimatsunobu.blogs...
--[[NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75...
-[[HandlerSocket plugin for MySQL:http://www.slideshare.n...
-[[mysqlにhandlersocket pluginを入れる:http://d.hatena.ne...
-[[NoSQLとしてのMySQLの動作確認(HandlerSocket):http://www...
-[[HandlerSocket Plugin for MySQLのPHPクライアントを公開...
-[[MySQLのplugin検証(HandlerSocketのJavaクライアント実装...
-[[MySQLのplugin検証(HandlerSocketのJavaクライアント):h...
-[[HandlerSocket の Node.js クライアント node-handlersock...
-[[Re: handlersocket plugin や mycached を使えば memcache...
* Falcon [#zea46844]
* Maria [#y7f25627]
* groonga [#y0882121]
ページ名: