メインコンテンツへスキップ
見出し画像

【実録】Front Doorの証明書が死んだ話とAIで設計した再発防止策

    Smart IT & AI Hub|AIという名の刃を、今日も抜く。


    この記事はSmart IT & AI Hubが公開しているコンテンツです。
    他の記事は目的別インデックスからどうぞ。

    画像

    やってしまいました。

    「使っていなさそうなDNSレコードを整理した」だけなのに、数日後に本番のHTTPS接続が死にました。

    心当たりのある方、いると思います。
    今回は、過去に私が経験したことを他の方は経験しなくて済むように願いを込めて、AIと一緒に設計した再発防止策をここに残しておきます。
    ※ちなみに念のためお伝えしておきますが、事象発生させたのは私ではありませんw ちゃんとフォローしてますよ!

    何が起きたのか

    DNS棚卸しの作業日のことです。

    長年運用しているドメインのDNSレコードを整理していました。
    使途不明なTXTレコードがいくつかあって、「これ何に使ってるんだっけ?」となったんです。
    ドキュメントにも残っていない。調べてもわからない。

    ということで「まあ、古いやつだろう」と判断して削除しました。
    ⇒これ絶対やっちゃいけな・・・い・・・

    数日後、利用者から連絡が入りました。

    「HTTPS接続が証明書エラーになっている」

    Azure Portalを確認すると、カスタムドメインの状態がPending re-validationになっていました。

    原因:
    Front Door のカスタムドメイン証明書が更新タイミングを迎え、
    ドメイン所有権の再検証が必要な状態になっていた。
    
    しかし、DNS棚卸しで
    _dnsauth.<対象ドメイン> のTXTレコードを
    「使っていないもの」と判断して削除していた。
    
    そのため、再検証に必要なTXTレコードが存在せず、
    Front Door のカスタムドメイン状態が
    Pending re-validation のままとなった。
    
    結果として、管理証明書の更新が完了せず、
    古い証明書が期限切れになり、
    HTTPSアクセス時に証明書エラーが発生した。

    やっちゃいましたね。


    画像

    復旧までにやったこと

    焦りながらも、手順を一つずつ確認しました。

    ① Azure PortalでFront Doorの
     カスタムドメイン状態を確認
     → Pending re-validationを確認
    
    ② DNS側で以下を確認
     ・対象FQDNのCNAMEが正しい
      Front Doorエンドポイントを向いているか
     ・_dnsauth.<対象ドメイン>のTXTレコードが
      存在するか(→ 削除されていた)
    
    ③ Azure Portalで検証用TXTレコードの値を確認
     → 再生成して値を取得
    
    ④ DNSにTXTレコードを再追加
    
    ⑤ Front Door側で再検証を実施
    
    ⑥ ブラウザとcurl -v で証明書を確認
     → 新しい証明書が返っていることを確認
    
    ※TXTを再生成した場合、古いTXTレコードのTTLが残っていると
    検証に失敗することがあるため、TTL経過も考慮する

    DNS反映後、Front Doorの再検証が通るまで少し時間がかかりましたが、無事に復旧しました。


    AIに再発防止策を設計させた

    復旧後、同じことを繰り返さないためにChatGPTに投げました。

    以下の障害について、再発防止策を設計してください。
    
    【障害概要】
    ・作業内容:DNSレコードの棚卸し・整理
    ・発生事象:Front DoorカスタムドメインのHTTPS証明書エラー
    ・原因:_dnsauth TXTレコードを不要と判断して削除。
        証明書更新時の所有権再検証に必要なレコードだった。
    ・復旧時間:TXTレコード再追加・再検証で約1時間
    
    以下の観点で整理してください:
    ① 作業前に確認すべきチェックリスト
    ② 作業中の確認ポイント
    ③ 作業後の検証手順
    ④ 次回同じ作業をする人への引き継ぎ事項
    

    画像

    AIが出してきた再発防止策

    ① 作業前チェックリスト

    ・削除対象レコードの用途を必ず確認する
    ・_dnsauth・asuid・afdverifyなどの
     プレフィックスがあるTXTレコードは
     削除前に所有サービスを必ず確認する
    ・Front Door・CDN・WAFを使っている場合は
     DNS棚卸し前にカスタムドメイン設定を確認する
    ・ドキュメントにないレコードは
     「削除保留」として別管理する
    

    ② 作業中の確認ポイント

    ・削除前にnslookup / digで現状を証跡として残す
    ・TXTレコードは特に慎重に扱う
     (用途が見えにくく削除されやすい)
    ・不明なレコードは削除せず
     担当チームに確認してから判断する
    

    ③ 作業後の検証手順

    ・DNS変更後、対象ドメインのHTTPS接続を確認する
    ・Azure PortalでFront Doorの
     カスタムドメイン状態を確認する
    ・証明書の有効期限とCNをブラウザで確認する
    ・1週間後にも再確認する
     (証明書更新は即時ではないため)
    

    ④ 引き継ぎ事項

    ・DNSレコード一覧に「用途」列を必ず持たせる
    ・削除対象外レコードを手順書に明記する
    ・_dnsauth/asuid/afdverify など、
     Azureサービスのドメイン所有権検証に使われる可能性がある
     DNSレコードは、削除前に必ず所有サービスを確認する
    ・DNSレコード一覧には、
     「対象サービス」「用途」「削除可否」「最終確認日」を残す
    ・証明書期限だけでなくFront Doorの
     カスタムドメイン状態も定期確認する
    

    この障害から学んだこと

    DNSレコードの整理は、一見シンプルな作業に見えます。
    でも「何に使っているかわからない」レコードには、必ず理由があるんです。

    特に_dnsauthのようなプレフィックスがついているものは、Azure系サービスの所有権検証に使われていることが多いです。削除前に必ず確認してください。

    AIに再発防止策を整理させると、疲弊している状態でも具体的なアクションに落とし込めます。障害が起きたら、まずChatGPTなどに投げてみてください。


    画像

    Smart IT & AI Hubの全記事はこちらにまとめています。
    カテゴリ別に整理しているので、気になる記事がすぐ見つかります。

    次の実験は、もう決まっている。

    もし刺さったなら、スキだけ押してくれると嬉しい。 飛び上がって、次の実験に全力を注ぐ。

    また会いに来てくれるなら、フォローしておいてくれ。 次も、AIに無茶ぶりしてくる。

    Smart IT & AI Hub|AIという名の刃を、今日も抜く。

    画像

    あなたへのおすすめ