awkの連想配列(アクセスログを例に) こんにちは。hacknoteのj.kushiyamaです。 今回学習したことの一部としてawkの連想配列についてアクセスログを例にとって解説したいと思います。 アクセスログの例 以下のようなアクセスログを考えます。 ..… j.kushiyamaハック2019.08.22 1,245
【AWS-CLI】S3のバケット毎の容量とファイル数を取得する S3は保存してくだけで料金を取られるので、余分なファイルは削除したい。 管理するためにもS3のバケット毎の容量とファイル数を取得する。 awkで高速化をしているので読みづらいが、AWS-CLIのプロファイルを設定すればそ… Jyoziハック2018.07.04 3,597
【awk】「列毎に別処理」or「特定の列のみに処理」 シェルスクリプトで列毎に別処理を行ったり、特定の列のみに処理を行いたいときがある。 for文やwhile文で行うのも手だが、アクセスログなどの大きいデータを処理する時には時間がかかってしまい使い物にならない。 awkを用… Jyoziハック2018.03.23 2,244
awkでOSコマンドを使う こんな感じで使える。 awkの変数はダブルクオートで囲む。 echo “TEST” | awk ‘{system(“echo “$1″”)}’ Jyoziハック2018.02.13 4,810
【AWK】特定文字列で囲まれている部分を抜き出す 例: XML、HTMLのタグの中身 例: Apache設定のディレクティブ (コンテナ) の中身 $ cat /etc/httpd/conf.d/ssl.conf | awk ‘/<VirtualHost _def… 駆け出し 太郎ハック2018.01.10 3,122
awkのFS(field separator) awkコマンドの-Fオプションについて awkコマンドに-Fオプションを指定することで、FS(field separator)を指定することができる。 FSのデフォルトは、スペースとなっている。 nishi ”… niciyanハック2017.10.12 1,093
[awk]変数を代入する -vオプションを使用します。 STRING=”hoge hoge huga” echo $STRING | awk -v my-string=${STRING} ‘{print my-string}’ Yuya Satoハック2017.10.11 2,496
[awk]ログから特定の範囲の日時のものを抽出する /var/log/secureなどのログフィアルから、特定の範囲の日時を指定して、そのログだけを抽出する方法 $ awk -F – ‘”開始時間” < $1 && $1 <= “終了時間”‘ … Yuya Satoハック2017.06.28 29,581