OpenSearchの代替としてDuckDBを検証してみた

こんにちは、AI Labの川口あいです。

今回は、これまでOpenSearchを利用していたサーバーインベントリの検索基盤を、DuckDBを使ったより軽量な構成へ置き換えられるか検証したプロジェクトについて紹介します。

これまで、Ansibleで各サーバーからRPMパッケージ情報を取得し、NDJSON形式へ変換してS3へ保存した後、OpenSearchへ登録して検索できる仕組みを構築していました(前回のブログ参照)。

OpenSearchは高機能な検索・分析基盤ですが、今回扱っているRPMインベントリは、

  • 検索するタイミングが限定されている
  • データ量が比較的小さい
  • ホスト名やパッケージ名、バージョンなどを条件に検索できればよい
  • 多数のユーザーが常時利用するわけではない

という用途です。

そこで今回は、OpenSearchへデータを登録して検索する構成から、S3に保存したデータをDuckDBから直接SQLで検索する構成への変更を検証しました。

さらに、RPMインベントリだけでなく、S3に保存されたALBアクセスログもDuckDBから直接読み込み、複数ファイルを横断して検索・集計できることを確認しました。

目次

プロジェクトの目的

今回の目的は、OpenSearchで行っていたサーバーインベントリ検索を、DuckDBを利用したより軽量な構成へ置き換えられるか確認することです。

RPM情報を収集する既存の処理はそのまま利用します。

Ansible
  ↓
RPMインベントリ情報を取得
  ↓
NDJSONへ変換
  ↓
S3へ保存

従来は、この後にLambdaなどを介してOpenSearchへデータを登録し、作成したインデックスを検索していました。

今回の構成では、S3へ保存したNDJSONをDuckDBから参照します。

Ansible
  ↓
RPMインベントリ情報を取得
  ↓
NDJSONへ変換
  ↓
S3へ保存
  ↓
DuckDB
  ↓
SQLで検索・分析

RPM情報を収集してS3へ保存する既存処理は変更せず、検索部分だけをOpenSearchからDuckDBへ変更する構成です。

DuckDBとは

DuckDBは、分析処理に特化した組み込み型のデータベースです。

大きな特徴の1つが、シングルバイナリで動作することです。

OpenSearchのように検索サービスを常時稼働させて利用する方式とは異なり、DuckDBはPCなどへ導入し、必要なタイミングで起動して利用できます。

また、CSV・JSON・ParquetなどのファイルをSQLから直接読み込めるため、必ずしも事前にデータベースへデータを登録しておく必要がありません。

今回使用しているNDJSONについても、次のように直接読み込めます。

SELECT *
FROM read_ndjson_auto('data/*.ndjson');

さらにDuckDBのS3連携を利用すると、ローカルへファイルをダウンロードせず、S3上のファイルを直接検索対象にできます。

S3上のデータ
      ↑
   DuckDB
      ↓
     SQL

この構成では、検索用のデータを別の検索基盤へ登録する処理を省略できます。

シングルバイナリで検索基盤を小さくする

DuckDBは単体で実行できるため、検索用のサーバーやサービスを常時稼働させる必要がありません。

今回のRPMインベントリでは、通常時はAnsibleで収集したデータをS3へ保存します。

AnsibleでRPM情報を収集
        ↓
     NDJSON化
        ↓
      S3へ保存

CVEなどの脆弱性情報が公開され、RPM情報を確認する必要がある場合だけDuckDBを実行します。

DuckDBを起動
      ↓
S3上のRPM情報を参照
      ↓
対象パッケージをSQLで検索

この構成では、データの保存先はS3、検索処理はDuckDBという形で役割を分けられます。

今回の検証では、

  • Docker上でDuckDBを実行する構成

  • ローカルPCへDuckDBを導入して直接実行する構成

の両方を確認しました。

Dockerを利用すればDuckDBのバージョンや実行環境を揃えられます。

一方、ローカルへ直接導入すればDocker Desktopやコンテナネットワークを介さず、PC上のAWS認証情報を利用してS3へアクセスできます。

利用環境に合わせてどちらの方式も選択できます。

RPMインベントリを検索する

まず、既存のRPMインベントリをDuckDBで検索しました。

検証した方法は大きく2つです。

ローカル取込方式

1つ目は、S3へ保存されているNDJSONをローカルへダウンロードし、DuckDBへ取り込む方法です。

S3
 ↓
NDJSONをダウンロード
 ↓
DuckDBへ読み込み
 ↓
SQLで検索

例えば、ダウンロードしたNDJSONからテーブルを作成します。

CREATE OR REPLACE TABLE rpm_inventory AS
SELECT *
FROM read_ndjson_auto('/workspace/data/downloads/*.ndjson');

一度テーブルを作成すれば、その後の検索ではS3へアクセスせず、ローカルのDuckDBファイルに対してSQLを実行できます。

一方で、最新のRPM情報を確認するためには、

  1. S3から最新ファイルを取得する
  2. DuckDBへ再度取り込む
  3. SQLを実行する

という更新作業が必要になります。

S3直接参照方式

2つ目は、DuckDBからS3上のNDJSONを直接参照する方法です。

S3
 ↑
DuckDB
 ↓
SQLで検索

こちらでは、ローカルへのダウンロードやDuckDBへの事前取り込みを省略できます。

AWSの認証情報を設定することで、例えば次のようにS3上のNDJSONを直接読み込めます。

SELECT *
FROM read_ndjson_auto(
    's3://<bucket-name>/<prefix>/*.ndjson'
);

S3上のファイルが更新されてもDuckDB側へ再インポートする必要がなく、最新データをそのまま参照しやすいことがメリットです。

一方、検索のたびにS3上のファイルを読み込むため、ローカルへ取り込んだデータを検索する場合と比べると時間がかかる場合があります。

今回の構成では、RPM情報を常時検索するのではなく必要なタイミングで確認するため、S3上の最新データをそのまま参照できる直接参照方式を採用します。

RPM情報をSQLで検索する

今回取得しているRPM情報には、ホスト名・パッケージ名・バージョン・リリース・アーキテクチャなどが含まれています。

例えば、opensslがインストールされているサーバーを確認する場合は、次のSQLを実行します。

SELECT DISTINCT
    host.hostname AS hostname,
    package.name AS package_name,
    package.version AS version,
    package.release AS release,
    package.arch AS arch
FROM rpm_inventory
WHERE
    package.name LIKE 'openssl'
ORDER BY
    host.hostname,
    package.name;

このSQLを実行すると、

hostname    package_name    version    release    arch
-------------------------------------------------------
server01    openssl         x.x.x      ...        x86_64
server02    openssl         x.x.x      ...        x86_64
server03    openssl         x.x.x      ...        x86_64

という形で、対象パッケージがインストールされているサーバーとバージョンを一覧で確認できます。

これまでのように対象サーバーへ1台ずつSSH接続し、rpm -qaなどを実行して確認する必要がありません。

また、今回のSQLでは完全一致で検索していますが、例えばパッケージ名の一部を条件にしたい場合は、

WHERE package.name LIKE '%openssl%'

のような検索も可能です。

DuckDB UIで検索する

検索にはCLIだけでなく、DuckDB UIも利用しました。

DuckDB UIではブラウザからSQLを実行でき、検索結果を表形式で確認できます。

また、NotebookとしてSQLを残しておけるため、よく使う検索を再利用することもできます。

一方で、新しい環境を用意した場合、利用したいSQLが最初からNotebookへ登録されているわけではありません。

そこで、よく利用するSQLについては、

sql/
├─ search_packages.sql
├─ list_packages_by_host.sql
└─ find_stale_hosts.sql

のようにSQLファイルとしてリポジトリで管理する方法を考えました。

Dockerを使わずにDuckDBを実行する

最初の検証ではDocker上にDuckDB環境を構築しました。

一方、DuckDB自体はシングルバイナリで動作するため、Dockerは必須ではありません。

そこで、ローカルPCへDuckDBを直接導入して同じ検索処理を実行しました。

Dockerを利用する場合には、

  • DuckDBのバージョンを統一しやすい
  • 環境を再現しやすい
  • ホスト側へ依存パッケージを増やしにくい

といったメリットがあります。

一方、ローカルで直接実行すると、

  • Docker Desktopを起動する必要がない
  • コンテナのネットワーク設定を意識しなくてよい
  • PCに設定済みのAWS認証を利用しやすい
  • DuckDB本来のシンプルさを活かしやすい

というメリットがあります。

S3上のALBアクセスログを解析する

RPMインベントリの検索に加えて、S3へ保存されたALBアクセスログもDuckDBから分析しました。

ALBアクセスログは、S3上へ日時ごとの複数ファイルとして保存されます。

DuckDBではワイルドカードを利用できるため、複数のログファイルを1つずつダウンロードしたり結合したりせず、まとめて読み込めます。

例えば次のように指定します。

SELECT *
FROM read_csv(
    's3://<bucket-name>/<log-path>/*.log.gz',
    delim = ' ',
    header = false
);

*.log.gzを指定することで、該当する複数のALBアクセスログをまとめて検索対象にできます。

この方法を利用すれば、例えば、

  • 特定時間帯のアクセスを確認する
  • HTTPステータスコードごとに集計する
  • 特定URLへのアクセスを調査する
  • 4xxや5xxのリクエストを抽出する

といった調査をSQLで行えます。

OpenSearchとDuckDBを比較する

今回の検証で重要だったのは、DuckDBがOpenSearchより優れているということではありません。

両者は、そもそも得意としている用途が異なります。

項目OpenSearchDuckDB
種類サーバー型の検索・分析基盤組み込み型の分析DB
実行形態サービスとして稼働シングルバイナリで実行可能
常時稼働基本的に必要不要
データ準備インデックスへの登録が必要ファイルを直接参照可能
S3上のデータ基本的に取り込み処理が必要直接参照可能
SQLによる集計・分析主用途ではない得意
全文検索得意主用途ではない
複数ユーザーからの常時利用向いている常設サービス用途には向きにくい
必要時だけの調査構成が大きくなりやすい手軽に利用しやすい
ローカル利用検索基盤への接続が必要PC単体でも利用可能

例えば、

  • 大量のデータを常時検索したい
  • 多数のユーザーが同じ検索基盤を利用する
  • 全文検索を利用したい
  • ダッシュボードを継続的に提供したい

といった用途では、OpenSearchが適しています。

一方で、

  • 必要なタイミングだけ調査する
  • 分析対象のファイルがS3へ保存されている
  • SQLで検索・集計できればよい
  • 個人または少人数で利用する
  • 常時稼働する検索サービスを増やしたくない

といった用途では、DuckDBが有力な選択肢になります。

まとめ

今回は、OpenSearchを利用していたサーバーインベントリ検索を、DuckDBへ置き換えられるか検証しました。

プロジェクトでは、主に次の内容を確認しました。

  • RPMインベントリのローカル取込・S3直接参照
  • RPM検索用SQLの作成
  • Dockerあり/なしでのDuckDB実行
  • S3上のALBアクセスログの検索・集計

今回の構成では、

S3
 ↓
DuckDB
 ↓
SQL

という形で、S3に保存したデータを必要なタイミングで検索・分析できます。

RPMインベントリでは、対象パッケージがインストールされているサーバーやバージョンを横断検索でき、ALBアクセスログも複数ファイルをまとめてSQLで分析できました。

DuckDBはシングルバイナリで動作するため、常設の検索基盤を用意せず、必要なときだけ利用できます。

「S3にデータを保存し、必要なタイミングでSQL検索する」用途では、DuckDBを軽量な検索・分析手段として利用できます。

​

​