
日付で絞ったら、朝9時前のデータが前日に消えた話
クラウドのサービスに記録がたまっていき、その日の分だけを取り出して処理する自動タスクを回しています。取り出すときは、APIに「今日の日付」を渡して絞り込みます。ある朝、今日の日付で取り出すと「0件」と返ってきましたが、朝早い時間に作った記録は確かにありました。エラーは出ず、タスクは「記録が無ければ、無いと報告して終わる」作りだったので、気づかなければ「今日はありませんでした」と報告していたはずです。
原因は、UTCの日付境界だと考えています。このサービスの日付の絞り込みは、日本時間ではなくUTCの日付で比べていたようです(挙動からの推定で、仕様書では確かめていません)。日本時間はUTCより9時間進んでいるので、日本の朝9時がUTCの0時にあたります。朝9時より前の記録は、UTCではまだ前日で、「今日の日付」で絞ると結果から消えます。
日本時間の朝6時はUTCでは前日の21時、8時59分は前日の23時59分で、9時ちょうどで初めて同じ日付になります。境目が朝9時なので、記録が昼や夜にしかできない日は、何も起きません。
直し方は、サービスには前日から今日までを頼み、返ってきた記録の作成日時を手元で日本時間に直して、今日の分だけを残すことです。サービスの日付で絞った結果を、そのまま今日の分と信じないのがコツです。ただし、この直し方が成り立つのは、記録にタイムゾーン付きの作成日時があることなど、4つの条件がそろっているときです。0件の日は、前日分まで広げて取り直し、日本時間で今日の記録が混ざっていないかを、一度だけ疑います。
ここには要点だけを書きました。Pythonのコードと出力、4つの条件、終わりの日付の扱いは、ブログに載せています。
続きはブログで。