メインコンテンツへスキップ
見出し画像

OFFSETでページを区切ると、なぜ遅くなる?先に絞る方法まで整理|vol.25

    この記事は、OFFSETが遅くなる理由と、先に絞る方法を、
    実務の経験と合わせて、図とSQLで整理した記事です。


    お疲れ様です。花冷です🌸

    昨日の投稿内容にもありますが、
    勉強シリーズは、データベースを最後として考えています。

    ただ書いてしまった記事たちがないと、
    連載が中途半端になってしまうので、放出させてください(笑)


    前回は、インデックスが効かない書き方と、
    複合インデックスの列順を見ました!
    列側に加工がないかは、まず確かめたいポイントでしたね✨

    今回は、ページを分けて取るときの、OFFSETの話です。


    🔍 OFFSETは、読み飛ばした行も計算される

    OFFSETは、先頭から指定した行数を読み飛ばして、その先を返します。

    SELECT 社員ID, 氏名
    FROM 社員
    ORDER BY 社員ID
    OFFSET 20 ROWS FETCH NEXT 10 ROWS ONLY;

    読み飛ばしはするんですが、最後に渡す量を絞っているだけで
    実はコストは絞っても絞らなくてもそこまで変わりません。
    ※もちろん最後のデータ量ってコストは変わる。

    処理の順序は、
    絞り込みと結合のあとにORDER BY、最後にOFFSETです。


    ⚠️ ORDER BYは、一意な順序にする

    並び替えの列に、重複した値があると、
    ページをまたいで、同じ行が出たり、抜けたりします。

    一意で決定的な順序のORDER BYを徹底しましょう!


    📌 毎回、全件を処理すると、劣化する

    画像

    🌸🌸🌸
    先ほど最後に結果を絞るだけ。と説明しました。
    それがわかりやすい例を実務で経験したため、ご紹介✨

    10,000件を処理してから、1,000件ずつ抽出する。
    というループで物理ファイルへデータをセットしていく機能がありました。
    すると毎回10,000件の相手をしてから、1,000件に絞るという
    流れなので、データ量や処理量が大きくなり、
    パフォーマンスが劣化するという問題が発生しちゃいました…

    今回は詳細に対処した方法まで紹介しますね✨

    🔧 先に絞ってから、重い処理をする

    直し方は、先に区切りの件数に絞ってから、重い処理をすることでした。
    キーだけで、区切りの件数に絞り、
    その件数に対して、結合などの処理をします。

    例)
    SELECT e.社員ID, e.氏名
    FROM (
     SELECT 社員ID
     FROM 社員
     ORDER BY 社員ID
     OFFSET :開始位置 ROWS
     FETCH NEXT 1000 ROWS ONLY
    ) k
    JOIN 社員 e
     ON e.社員ID = k.社員ID;

    🌸🌸🌸


    🎉 おわりに

    🔴OFFSET:
     データの件数を指定して抽出できる。
     ※でもヒットした件数分は処理が同じようにされている。
    🔴直し方:
     先にOFFSETの件数に絞れってから重い処理をする。

    「全件処理してから1,000件取る」ではなく
    「先に1,000件に絞る」。

    OFFSETで区切る処理を書くときは、
    毎回、何件分を処理しているかを、確かめてみましょう✨
    もし、それが繰り返される処理だと意外なボトルネックになってるかも?


    さて次回は、DBへの接続について管理する設定項目、
    コネクションプールを覗いていきます!

    今日もお疲れ様でした✨
    また次回の記事でお会いしましょう!


    ⭐次回の記事はこちら!

    まだ投稿されていません!

    ⭐マガジンはこちら!

    🚩モニター募集です!
    初学者やIT未経験だけど挑戦したい方、一緒に伴走させてください!

    📩質問はこちらまでどうぞ!

    @Threadsやってます!

    #SQL #データベース #ITエンジニア #システムエンジニア #勉強記録 #システム開発 #初学者 #基本情報技術者試験 #プログラム #プログラミング #プログラミング初心者 #プログラミング学習

    この記事が参加している募集

     
     

    花冷

     
     
    花冷(はなびえ)といいます。システムエンジニアです。 ”やりたいこと”の過程を赤裸々に記録しています。 ・開発ログ/学習ログ/メンターログ いつでも質問・依頼待ってます📩 ⭐現在、メンター経験を積みたいため、モニター募集中です!

    あなたへのおすすめ