AWSのマネジメントコンソール上から操作したものの、うまく反映がされなかったため、コマンドベースで実行してみました。
aws rds modify-db-instance --db-instance-identifier XXXXXXX --engine-version 5.6.34
うまくいくと以下のようなレスポンスが返ってきます。
"PendingModifiedValues": { "EngineVersion": "5.6.34" },
なお、上記のコマンドで実行させた場合には、アクションとして以下のコマンドでは出てこないっぽいです。
aws rds describe-pending-maintenance-actions --db-instance-identifier XXXXXXX