Serverspecでサーバー設定の自動テストをさらに拡充した話

こんにちは、AI Labの緒方健太です。

本記事では、Serverchecker2 テスト網羅化プロジェクトについてご紹介します。

以前のプロジェクトでは、Serverchecker2自体の保守性や運用性の改善を中心に取り組みました。ここではRSpec記法の見直しや実行環境・ドキュメントを整備したことにより、継続的に運用しやすい基盤が整いました。

前回プロジェクト:Serverspecベースのサーバー検証基盤「Serverchecker2」を改善した話

今回は、その基盤の上で 「どこまでサーバー設定を自動テストできるか」 をテーマに、新たなテストケースの実装と検証を進めました。

目次

プロジェクトの目的

Serverchecker2には数多くのテスト項目が用意されていますが、これまで未実装となっているものも少なくありませんでした。

そこで今回は、作業確認表に記載されているチェック項目をもとに、

  • 未実装だったServerspecテストの追加
  • テスト内容・実装方針の見直し
  • 実機による成功・失敗パターンの検証

を行い、より網羅的なサーバー検証を目指しました。

単にテストコードを書くのではなく、「この内容は本当にServerspecで検証すべきか」という設計面についても検討しながら進めています。

実装した主なテスト

今回実装したテストは、OS、Webサーバー、PHP、データベース、メール、CMSなど多岐にわたります。

ここでは、特に実装方針の検討に時間をかけたものを3つ紹介します。

※ コードは、実際に利用しているテストコードをベースに、社外公開向けにホスト名・設定ファイル名など一部の情報を抽象化・省略したサンプルです。

OS・ミドルウェア更新後の再起動確認

OSやミドルウェアを更新した後、サーバーが再起動されていることを確認するテストを実装しました。

一見するとuptimeコマンドで判定できそうですが、起動時刻だけでは「更新後に再起動したか」は判断できません。

そこで、

  • RPMパッケージの最終更新時刻
  • サーバーの起動時刻

を取得し、 起動時刻が更新時刻より新しいこと を確認する仕組みとしました。

require 'spec_helper'

describe 'OS・ミドルウェアをアップデート後にサーバーを再起動していること' do
  describe 'RPM更新日時とサーバー起動日時' do
    it '最新RPM更新後にサーバーが再起動されていること' do

      # 最新のRPM更新時刻を取得
      latest_rpm_install_epoch_result = command(
        %q(rpm -qa --qf '%{NAME} %{INSTALLTIME}\n' | sort -k2 -nr | head -1 | awk '{print $2}')
      )

      expect(latest_rpm_install_epoch_result.exit_status).to eq(0)

      latest_rpm_install_epoch = latest_rpm_install_epoch_result.stdout.strip.to_i
      expect(latest_rpm_install_epoch).to be > 0

      # 現在時刻と稼働時間からサーバーの起動時刻を算出
      current_epoch = command('date +%s').stdout.strip.to_i
      uptime_seconds = command(%q(awk '{print int($1)}' /proc/uptime)).stdout.strip.to_i
      boot_epoch = current_epoch - uptime_seconds

      # 起動時刻が最新のRPM更新時刻以降であることを確認
      expect(boot_epoch).to be >= latest_rpm_install_epoch
    end
  end
end

実際にパッケージを更新した状態や、再起動前後の状態で検証を行い、期待通りに成功・失敗を判定できることを確認しました。


外部メールの配送結果をmaillogで確認

Postfixでは、mailコマンドが正常終了しただけでは、メールが外部のメールサーバーまで配送されたとは限りません。

メールがPostfixのキューに登録された後、接続エラーやリレー設定の不備によって配送に失敗する可能性があるためです。

そこで、メール送信前のmaillogの行数を記録し、送信後に追加されたログから実際の配送結果を確認するテストを実装しました。

require 'spec_helper'

describe 'Postfixから外部へメールを送信できること' do
  to_address = 'example@example.com'
  wait_seconds = 10

  it '外部メールの配送が完了すること' do
    before_line_count =
      command('wc -l < /var/log/maillog').stdout.strip.to_i

    send_result = command(
      %(echo "テストです" | mail -s "TEST from $(uname -n)" #{to_address})
    )

    added_maillog = ''

    wait_seconds.times do
      added_maillog = command(
        "tail -n +#{before_line_count + 1} /var/log/maillog"
      ).stdout

      break if added_maillog.include?(to_address) &&
               added_maillog.match?(/status=sent/)

      command('sleep 1')
    end

    expect(send_result.exit_status).to eq(0)
    expect(added_maillog).to include(to_address)
    expect(added_maillog).to match(/status=sent/)
  end
end

このテストでは、送信前から存在するログを誤って判定しないように、メール送信後に追加された行だけを確認しています。

また、メール配送は非同期で行われるため、最大10秒間ログを確認し、status=sentが出力されるまで待機しています。

実際のコードでは、status=deferredやstatus=bounced、接続エラーなども検出し、メール送信テストとmaillogのエラー確認を一度の送信処理で行う構成としています。


アプリ用データベースアカウントの権限確認

MySQL(MariaDB)では、アプリケーション用アカウントが必要以上の権限を持っていないことを確認するテストを実装しました。

主に確認している内容は次の3点です。

  • グローバル権限がUSAGEのみであること
  • 対象データベースへの権限が付与されていること
  • 対象データベース以外への権限を持っていないこと

一方で、ユーザー名やデータベース名は案件ごとに異なります。

そこで、案件ごとに生成する.envへ対象情報を記載し、共通のテストコードから読み込む構成としました。

APP_DB_CONFIGS=app_user:localhost:app_database
MYSQL_ROOT_PASSWORD=your_root_password

実際のテストコードの一部を示します。

require 'spec_helper'

app_db_sets = ENV.fetch('APP_DB_CONFIGS').split(',')

describe 'MySQL上のアプリ用アカウントがアプリ用データベースのみ操作可能であること' do
  app_db_sets.each do |set|
    db_user, db_host, db_name = set.split(':')

    describe "#{db_user}ユーザーの権限が#{db_name}データベースに対してのみ付与されていること" do
      describe command(
        "mysql -u root -p#{ENV.fetch('MYSQL_ROOT_PASSWORD')} -N -B " \
        "-e \"SHOW GRANTS FOR '#{db_user}'@'#{db_host}';\" | grep GRANT"
      ) do
        it 'コマンドが正常に終了すること' do
          expect(subject.exit_status).to eq(0)
        end

        it "#{db_user}ユーザーの権限設定が合計2つであること" do
          expect(subject.stdout.lines.count).to eq(2)
        end

        it '片方の権限がMySQLへのログイン権限であること' do
          expect(subject.stdout).to match(
            /GRANT USAGE ON \*\.\* TO `#{Regexp.escape(db_user)}`@`#{Regexp.escape(db_host)}`/
          )
        end

        it "もう片方の権限が#{db_name}データベースへの権限であること" do
          expect(subject.stdout).to match(
            /GRANT ALL PRIVILEGES ON `#{Regexp.escape(db_name)}`\.\* TO `#{Regexp.escape(db_user)}`@`#{Regexp.escape(db_host)}`/
          )
        end
      end
    end
  end
end

SHOW GRANTSの結果が合計2件であり、その内訳がグローバルのUSAGEと対象データベースへの権限だけであることを確認することで、対象データベース以外への権限が付与されていないことを検証しています。

これにより、テストコードを案件ごとに変更することなく、異なるシステム構成にも対応できるようになりました。

※ .envはspec_helper.rb内でdotenvなどを利用して環境変数へ読み込んでいます。掲載しているユーザー名、データベース名、パスワードはサンプルです。


その他に追加したテスト

このほかにも、次のようなテストを実装しました。

  • PHP-FPMのプロセス設定やログ設定の確認
  • Apache・Nginx・PHP-FPMのlogrotate設定確認
  • Postfixによる外部メール送信とエラーログ確認
  • WordPressの自動更新無効化とwp-cronの自己アクセス確認
  • Movable Typeのcron設定確認
  • FTP設定やMySQLポート公開設定など、各種セキュリティ設定の確認

テストによって確認方法もさまざまで、設定ファイルだけではなく、実際のサービス設定やログ、通信結果も利用しながら、より実運用に近い形で検証できるよう工夫しました。


テスト実装で意識したこと

今回最も時間を掛けたのは 「何を確認すれば本当に設定を保証できるのか」 を考えることでした。

例えば設定ファイルに記述が存在するだけでは、

  • コメントアウトされている
  • 読み込まれていない
  • 実際には別設定が有効になっている

というケースがあります。

そのため、

「設定ファイルを見る」

だけではなく、

「実際にサービスが利用している設定を確認する」

という考え方をできるだけ採用しました。

また、実装したテストについては、成功例だけでなく意図的にサーバーの設定を変更して失敗例も検証し、テストが正しく異常を検知できることを確認しています。


Serverspecだけでは難しいことも見えてきた

今回のプロジェクトでは、多くの項目をServerspecで自動化できました。

一方で、検討を進める中で「Serverspecだけでは適切に検証できない項目」も見えてきました。

例えば、

  • AWSセキュリティグループ
  • IAM設定
  • Elastic IP
  • Route53

など、AWS側の設定についてはSSH経由ではなく、AWS APIから取得して確認する方が適しています。

そのため、このような項目についてはAWSpecとの役割分担が必要であることを改めて認識しました。

また、

  • Webアプリケーションの管理画面
  • WordPress管理画面
  • ブラウザ操作が必要な確認

については、PlaywrightなどUIテストツールの方が適しているケースもあります。

このように、「すべてをServerspecで実装する」のではなく、それぞれのツールの得意分野を活かして役割分担することの重要性を学びました。


生成AIの活用

今回もChatGPTをはじめとした生成AIを活用しながら開発を進めました。

特に役立ったのは、

  • テストコードのたたき台作成
  • 正規表現の作成
  • Linuxコマンドの整理
  • テスト観点の洗い出し
  • 実装方針の比較検討

などです。

一方で、Serverspecでは「テストが書けること」と「正しく検証できること」は別問題です。

生成AIが提案したコードについても、

  • 実際に検証環境で実行する
  • 意図通り失敗するか確認する
  • テスト責務として適切か検討する

という工程を繰り返しながら品質を高めていきました。

AIを活用することで実装スピードは向上しましたが、最終的な設計判断や検証はエンジニア自身が行うことの重要性を改めて感じました。

まとめ

今回のServerchecker2 テスト網羅化プロジェクトでは、未実装だった数多くのServerspecテストを追加し、サーバー設定をより幅広く自動検証できるようになりました。

また、単にテスト数を増やすだけではなく、

  • テストの責務を整理すること
  • 実運用に即した検証方法を考えること
  • 成功・失敗の両パターンでテストを検証すること

を重視して取り組みました。

一方で、プロジェクトを通じてServerspecの適用範囲にも限界があることが分かりました。

今後は、

  • AWSpecとの役割分担
  • Playwrightなど他ツールとの連携
  • テスト項目のさらなる網羅化

を進めることで、サーバーだけでなくクラウドやアプリケーションも含めた、より包括的な自動テスト基盤へ発展させていきたいと考えています。

​

​