Unix/コマンド

Unixのコマンドで「これは使える」と思ったオプション、Tipsをメモ

UNIX & Linux コマンド・シェルスクリプトリファレンス
- フィルタを使用した文字列操作 1
- フィルタを使用した文字列操作 2

オプション †

getopts - コマンド "getopt", "getopts" の使い方を把握する

計算 †

合計値の算出（例：2列目の値の合計値）

$ cut -f2 data.txt | tr "\n" + | sed -e "s/+$/\n/g" | bc

↑

日付 †

unixtime と日付の相互変換
- 日付 > unixtime
```
$ date +%s --date "2009-11-18 13:02:06"
1258516926
```

unixtime > 日付

$ echo 1258516926 | awk '{print strftime("%Y-%m-%d %H:%M:%S",$1)}'
2009-11-18 13:02:06

日付計算
- dateコマンドの便利な使い方（日数計算）

○日前
```
date -d '3 days ago'
```
○日後
```
date -d '3 days'
```
○ヶ月×日後
```
date --date '3 months 1 day'
```
YYYY/MM/DD の○日後
```
date -d 'YYYY/MM/DD 3 days'
```

↑

tar †

-O ... 展開データを標準出力

↑

unzip †

複数のファイルを展開する場合は以下のように '' で囲む
```
$ unzip '*.zip' 
```

↑

sort †

-m ... 複数のファイルをまとめてソートしてマージ
-k POS1[,POS2] ... ソートで使うフィールドを指定

例：

対象データ

$ cat sortText.txt
111     bbb     111
222     aaa     9
333     ccc     55
444     aaa     33

2列目で昇順

$ sort -k 2,2 sortText.txt
222     aaa     9
444     aaa     33
111     bbb     111
333     ccc     55

3列目で降順に数値ソート

$ sort -k 3,3nr sortText.txt
111     bbb     111
333     ccc     55
444     aaa     33
222     aaa     9

2列目で昇順 & 3列目で降順に数値ソート

$ sort -k2,2 -k3,3nr sortTest.txt
444     aaa     33
222     aaa     9
111     bbb     111
333     ccc     55

↑

uniq †

-c ... 項目毎の件数を表示
```
sort data.txt | uniq -c
```

↑

cut & awk †

hoge.txtの2,5,6,9,10,11列だけ抜き出し、並び順を9,2,10,11,5,6列にして出力
```
cut -f2,5,6,9,10,11 hoge.txt | awk '{ print $4"\t"$1"\t"$5"\t"$6"\t"$2"\t"$3 }'
```

↑

grep †

grepで複数の項目を除外

複数項目を除外

$ grep -v -e [keyword1] -e [keyword2] ...

特殊文字をただの文字として扱って検索
```
$ grep -F "aaa|bbb|*" src.txt
```

↑

find †

検索結果に対するコマンドの実行(1)

find . -type f -print0 | xargs -0 [コマンド]

↑

文字コード †

↑

文字コード変換 †

for i in `ls *.txt`; do iconv -c -f utf-8 -t ms932 $i -o ms932/$i; mv $i utf-8/; done

find . -name "*.txt" -exec iconv -f utf-8 -t ms932 {} -o {}.new \;

↑

改行コードの補正（CRの除去） †

tr -d '\r' < hoge.bk > hoge.sh

「: bad interpreter: そのようなファイルやディレクトリはありません」のエラーが出たときに試してみる。

↑

lftp †

公式サイト
- man lftp

コマンドラインで使用するFTPクライアント
ほとんどのLinuxディストリビューションには標準で入っている
数多くのプロトコルに対応（FTP,HTTP,HTTPS,SFTP, ...）
ミラーリング，コマンドライン上での補完・編集，ブックマーク機能などが備わっており，高機能

↑

ブックマークの活用 †

パスワードもブックマークに保存するように設定
```
$ echo 'set bmk:save-passwords 1' > ~/.lftprc
```

ログインしてブックマークに登録

$ lftp sftp://[user]@[server]
パスワード: [パスワード]
lftp [user]@[server]:~> bookmark add [ブックマーク名]
lftp [user]@[server]:~> quit

ブックマークを使ってログイン
```
$ lftp [ブックマーク名]
```

↑

ミラーリング †

ダウンロード : mirror
アップロード : mirror -R

実行例（リモートにある新しいファイルのみダウンロード）

$ lftp -c "open example.com && user USERNAME PASSWORD && mirror --only-newer /from_dir /to_dir"

↑

sftp †

sftpによる対話的なファイル転送