#author("2021-06-19T04:51:16+00:00","default:admin","admin")
#author("2021-06-20T09:17:39+00:00","default:admin","admin")
*データ処理 [#i51e4a38]
**3V [#y4919288]
-Volume（膨大な量）
-Velocity（処理に必要な速度）
-Variety（多様性）

**RDB [#i61ec903]
***行指向型 [#ydb1af36]
-データの追加修正やデータ検索のレスポンスが早く、トランザクションにも対応している
-処理結果をすぐに返す必要がある業務システムや機器の制御などに向いている

-Oracle
-SQL Server
-MySQL
-PostgreSQL
-AWS Aurora
-Google Cloud Spanner

***列指向型 [#kd558a6d]
-列方向でデータを圧縮して格納することで大量のデータを扱うことができ、集計や分析に特化している

-Oracle Exadata
-Snowflake
-Amazon Redshift
-Google BigQuery

**NoSQL [#s2ecbd6b]
***キーバリュー型 [#v332a78e]
-Memcashed
-Redis
-Riak

***ワイドカラム型 [#w0fbf94c]
-キーバリュー型を拡張したもので、キーに対して複数のカラムを持つことができる
-データごとに異なるカラムを持つことができるので、複数の種類のセンサデータの格納などに向いている
-列方向の集計が得意

-Cassandra
-Hbase
-Google BigTable
-Amazon DynamoDB

***ドキュメント型 [#q501a9a3]
-XMLやJSONといった複雑なドキュメントをそのまま格納できるデータベース
-スキーマが不要で、個々のドキュメントのデータ構造が自由なことから、ニュースサイトやブログなどのWebアプリケーションで使用されている

-MongoDB
-CouchDB
-ElasticSearch

***グラフ型 [#pbedbe85]
-SNSなどで人と人の関係をあらわす用途や経路検索において最短経路を導き出す用途に利用される

-Neo4j
-Amazon Neptune

**バッチ処理 [#o28743e4]
***Hadoop [#y7591235]

**ストリーミング処理 [#ud449f5a]
***リアルタイムメッセージシステム [#uc18807a]
-データの送信者（Publisher/Producer）と受信者（Subscriber/Consumer）を仲介者（Broker）が仲介し、送信者からのリアルタイムデータをその都度処理し、その処理結果を必要とする複数の受信者に効率的に送信する

-Pub/Subメッセージモデル

-Apache Kafka
-Amazon Kinesis

***CEP (Complex Event processing) [#xec85f51]
-複数のデータ元から時系列に生み出されるデータをリアルタイムに処理、解析して出力する処理方式
-適用例としては、株価、SNSのテキスト、センサデータなど、様々な定型・非定型のデータを取り扱う

-Apache Storm
-Apache Flink

*データ分析 [#b4d8a453]
**データ前処理 [#u2c373df]
***データクレンジング [#p4aff6a6]
-異常データ処理
-欠損データ処理

***データ加工・データ整形 [#i97f05c8]
-リサンプリング
-データ変換・統合
-正規化
-標準化

***データ水増し [#x02aeb12]
-変形による水増し
-データ混合による水増し
-シミュレーションや生成による水増し

**統計解析 [#p5ddd559]
-統計解析は既知のデータの特性を「説明」することを主な目的としている
-データの背景にある現象の数理モデルが明確であるため、分析結果の因果関係を人間が理解しやすいという特徴がある

***予測 [#n290ab55]
-相関分析
-回帰分析
-決定木分析

***分類 [#l1351adb]
-主成分分析
-クラスター分析

**機械学習 [#yabff702]
-機械学習は既知のデータから未知のデータを「予測」することを主な目的としている

***教師あり学習 [#m112235e]

***教師なし学習・半教師あり学習 [#k0fbc6df]

***強化学習 [#t0d06bfb]

***深層学習 [#o20d0713]

**分析結果の評価 [#p1607416]

*データ活用技術 [#d6d1006e]
**IoTプラットフォーム [#yd4851a2]
トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS