メインコンテンツへスキップ
見出し画像

パラメータが"反映されていない"と気づいた日。犯人は末尾の半角スペース1つだった話。RDS MySQL 8.0→8.4アップグレードの記録

    クラウド・インフラエンジニアの水城アオです。障害対応実録シリーズ、6本目です(自己紹介はプロフィール記事にまとめているので、よければそちらもどうぞ)。
    はじめまして、水城アオです|sss

    今回は障害というより「計画メンテナンス作業中に踏んだ地雷」の話です。幸い利用者影響はありませんでしたが、地味に胃が痛くなった一件でした。

    計画メンテナンスで、RDS MySQLをメジャーバージョンアップグレード

    対象はRDS for MySQLです。MySQL 8.0は2026年7月末で標準サポートが終了するため、その前にと計画メンテナンス枠を確保して、8.0から8.4へのメジャーバージョンアップグレードに着手しました。作業時間内で完結させる前提の、利用者影響のない枠での実施です。

    厄介だったのは、このDBインスタンスがカスタムオプショングループを使っている点でした。オプショングループをカスタマイズしている環境は、Blue/Greenデプロイでそのままメジャーバージョンを一段飛ばしに上げることができません。そのため、まず現行バージョンと同じ8.0でBlue/Green環境を作成し、Green側のエンジンバージョンだけを8.4に引き上げつつ、事前に用意しておいた8.4対応のカスタムパラメータグループ・オプショングループに差し替える、という手順を踏む必要がありました。

    新しいパラメータグループは空の状態から作るわけではなく、既存の8.0用パラメータグループでカスタマイズしていた値を、ひとつひとつ新しい8.4用のグループに移し替えていきます。件数はそう多くありませんでしたが、この「値を手作業で移し替える」工程に、後から効いてくる落とし穴がありました。

    Green環境に切り替えた直後、様子がおかしいことに気づいた

    Green環境のパラメータグループを差し替えて動作確認をしていたところ、想定していない挙動に気づきました。「理屈では動くはずなんですけど……」とつぶやきながら、まず疑ったのは8.0から8.4で変わったデフォルト値の方でした。今回の対象バージョン間では、innodb_change_bufferingのデフォルトがallからnoneに変わっていたり、binlog_formatの実質的なデフォルトがROWに統一されていたり、innodb_purge_threadsがCPUコア数に応じて自動調整されるようになっていたりと、地味にデフォルト挙動が変わっているパラメータがいくつかあります。てっきりそのどれかに引っかかったのだろうと当たりをつけて、ひとつずつ潰していきました。

    ただ、確認を進めても該当しません。「……あれ、思ってたのと違うぞ」。ここでようやく、疑う対象を「新しく増えたデフォルト挙動」から「自分たちが移し替えたカスタム値そのもの」に切り替えました。

    SHOW VARIABLESでは"正しく見える"のに、挙動が変わらない

    疑わしかったのは、アプリケーションの都合で独自にカスタマイズしていたsql_modeでした。SHOW VARIABLES LIKE 'sql_mode';で値を確認する限り、パッと見は移行元と同じ値が入っているように見えます。ところが実際のアプリケーションの挙動は、そのカスタム設定が効いていないときのものに近い状態でした。

    「値は入っているのに、効いていない」というのは地味に厄介なパターンです。エラーで弾かれるならまだログに手がかりが残るのですが、今回は起動時にエラーが表になって出るわけでもなく、一見すると正常に稼働しているように見えていました。ここで一度、パラメータグループの値と実際にインスタンスへ反映されている値を、目視ではなく機械的に突き合わせることにしました。ターミナルの表示だけを眺めていても気づけなかったのですが、値をファイルに書き出してエディタで開き、行末までカーソルを送ってみたところ、カンマ区切りの最後のモード名の後ろに、半角スペースが1つだけ紛れ込んでいるのを見つけました。

    パラメータグループの値を移し替える際、元の値をコピーしてきた先(手元のドキュメント上の記載)に、見た目では分からない末尾の空白が含まれていて、それをそのまま新しいパラメータグループの値として登録してしまっていたようでした。sql_modeのようなカンマ区切りの文字列パラメータは、AWS側では単なる文字列として扱われるため保存時に弾かれることはなく、末尾に余計な空白が付いていても、パラメータグループの登録自体はあっさり通ってしまいます。その状態でインスタンスが起動すると、末尾の空白を含んだ最後のトークンだけが期待通りのモード名として認識されず、そのモードが実質的に無効化された状態で動いてしまっていた、というのが今回の顛末でした。

    修正と、再発防止のためにやったこと

    対処自体は単純で、末尾の空白を取り除いた値をパラメータグループに設定し直すだけです。ただ、それだけでは「また同じことをやる」可能性が残るので、値を移し替える作業のやり方も見直しました。ドキュメントからのコピー&ペーストに頼らず、移行元のパラメータグループからaws rds describe-db-parametersでエクスポートした値をそのまま新しいパラメータグループに投入する形に変更し、人の目と手を経由する工程をできるだけ減らしました。また、パラメータグループを差し替えた後の確認作業に、値の見た目の一致だけでなく、実際にアプリケーション側の挙動(この場合であればsql_modeが効いた状態でのみ発生するはずの制約エラーが正しく起きるかどうか)まで含めたチェックを一手順追加しています。

    幸い今回は計画メンテナンスの作業時間内で気づけたため、利用者への影響が出る前にGreen環境の段階で修正でき、実際の切り替えは何事もなく完了しました。

    この経験から持ち帰ったもの

    今回痛感したのは、「値が正しく入っているように見える」ことと「値が正しく機能している」ことは別問題だという、当たり前と言えば当たり前の教訓でした。デフォルト値の変更のような"派手に告知されている変更点"は事前に調べて身構えていたのですが、自分たちが移し替えた地味なカスタム値の方に、まさか落とし穴があるとは思っていませんでした。

    目に見えない文字は、目視のチェックでは絶対に気づけません。人手を介す工程がある限り、こういう類の紛れ込みはどこかで必ず起きるものだと考えて、コピー&ペーストではなくエクスポート・インポートで完結させるとか、値の一致だけでなく挙動まで確認するとか、仕組みの方で防ぐようにしておくのが結局一番早いのだと、身をもって学んだ出来事でした。


    参考にした情報源:

     
     

    sss

     
     
    ゼロからnote運営を始めました!🦔 本業は主にクラウド環境でインフラ構築・アプリ開発をしています 最近は生成AIツールとの付き合い方を模索中 うまくいったこともいかなかったことも、ここに残していきたいと思っています!

    あなたへのおすすめ