
OFFSETでページを区切ると、なぜ遅くなる?先に絞る方法まで整理|vol.25
この記事は、OFFSETが遅くなる理由と、先に絞る方法を、
実務の経験と合わせて、図とSQLで整理した記事です。
お疲れ様です。花冷です🌸
昨日の投稿内容にもありますが、
勉強シリーズは、データベースを最後として考えています。
ただ書いてしまった記事たちがないと、
連載が中途半端になってしまうので、放出させてください(笑)
前回は、インデックスが効かない書き方と、
複合インデックスの列順を見ました!
列側に加工がないかは、まず確かめたいポイントでしたね✨
今回は、ページを分けて取るときの、OFFSETの話です。
🔍 OFFSETは、読み飛ばした行も計算される
OFFSETは、先頭から指定した行数を読み飛ばして、その先を返します。
SELECT 社員ID, 氏名
FROM 社員
ORDER BY 社員ID
OFFSET 20 ROWS FETCH NEXT 10 ROWS ONLY;読み飛ばしはするんですが、最後に渡す量を絞っているだけで
実はコストは絞っても絞らなくてもそこまで変わりません。
※もちろん最後のデータ量ってコストは変わる。
処理の順序は、
絞り込みと結合のあとにORDER BY、最後にOFFSETです。
⚠️ ORDER BYは、一意な順序にする
並び替えの列に、重複した値があると、
ページをまたいで、同じ行が出たり、抜けたりします。
一意で決定的な順序のORDER BYを徹底しましょう!
📌 毎回、全件を処理すると、劣化する

🌸🌸🌸
先ほど最後に結果を絞るだけ。と説明しました。
それがわかりやすい例を実務で経験したため、ご紹介✨
10,000件を処理してから、1,000件ずつ抽出する。
というループで物理ファイルへデータをセットしていく機能がありました。
すると毎回10,000件の相手をしてから、1,000件に絞るという
流れなので、データ量や処理量が大きくなり、
パフォーマンスが劣化するという問題が発生しちゃいました…
今回は詳細に対処した方法まで紹介しますね✨
🔧 先に絞ってから、重い処理をする
直し方は、先に区切りの件数に絞ってから、重い処理をすることでした。
キーだけで、区切りの件数に絞り、
その件数に対して、結合などの処理をします。
例)
SELECT e.社員ID, e.氏名
FROM (
SELECT 社員ID
FROM 社員
ORDER BY 社員ID
OFFSET :開始位置 ROWS
FETCH NEXT 1000 ROWS ONLY
) k
JOIN 社員 e
ON e.社員ID = k.社員ID;🌸🌸🌸
🎉 おわりに
🔴OFFSET:
データの件数を指定して抽出できる。
※でもヒットした件数分は処理が同じようにされている。
🔴直し方:
先にOFFSETの件数に絞れってから重い処理をする。
「全件処理してから1,000件取る」ではなく
「先に1,000件に絞る」。
OFFSETで区切る処理を書くときは、
毎回、何件分を処理しているかを、確かめてみましょう✨
もし、それが繰り返される処理だと意外なボトルネックになってるかも?
さて次回は、DBへの接続について管理する設定項目、
コネクションプールを覗いていきます!
今日もお疲れ様でした✨
また次回の記事でお会いしましょう!
⭐次回の記事はこちら!
まだ投稿されていません!
⭐マガジンはこちら!
🚩モニター募集です!
初学者やIT未経験だけど挑戦したい方、一緒に伴走させてください!
📩質問はこちらまでどうぞ!
@Threadsやってます!
#SQL #データベース #ITエンジニア #システムエンジニア #勉強記録 #システム開発 #初学者 #基本情報技術者試験 #プログラム #プログラミング #プログラミング初心者 #プログラミング学習