メインコンテンツへスキップ
見出し画像

NDBオープンデータを早く取り込めたのは、検証の型が先にあったから

    要点

    • 前回は、第11回NDBオープンデータを第10回と並べ、AIで差分を読み始める話を書きました。

    • 今回は、その比較ページをどう短時間で作れたのかという、開発と検証の側を書きます。

    • 前回のNDB OpenData Hubを公開する時はデータが正しく入っているかを確認する仕組みに時間がかかりました。

    • 今回はその検証の型があったため、取り込み、突合、公開ページ更新までをかなり速く進められました。

    前回の記事では、第11回NDBオープンデータを第10回と並べ、AIで前回との差分を読み始める話を書きました。

    第11回NDBオープンデータを、AIで前回と並べて見た
    https://note.com/rxtomo/n/n092568a72b24

    今回は、その裏側の話を書きたいと思います。

    今回あらためて感じたのは、検証ゲートは開発を遅くするためのものではなく、2回目以降の開発を速くするためのものでもある、ということです。最初の公開回で苦労して作った確認の型があると、新しいデータが出たときに、AIの速度をそのまま実務の速度へつなげやすくなります。AI開発の前提は、速く作ることから、速く確かめて次の更新へ移れることへ変わると見ています。

    比較ページでは、新しいデータを入れて、前回との差分を出し、いくつかの注目点を整理しています。実際、今回の第11回データの取り込みと比較ページの更新は、かなり短い時間で進みました。

    ただ、その速さは、AIが何もないところから一気に作ったからではありません。むしろ、前回かなり時間をかけて作った土台があったからです。特に大きかったのは、データが正しく取り込まれているかを確認するための検証の型でした。

    最初にNDB OpenData Hubを作ったとき、プロトタイプそのものは数日で形になりました。Excelを読み、データベースに入れ、APIで返し、画面で見られるようにする。そこまでは、AIを使うことでかなり速く進みました。

    しかし、そこからが長かった記憶があります。

    公開統計を扱う場合、画面に数字が出るだけでは十分ではありません。その数字が、元のExcelのどのセルから来ているのか。データベースに正しく入り、APIで同じ値として返り、画面でも同じ意味で表示されているのか。地域、性別、年齢階級、検査項目、値範囲の組み合わせがずれていないか。

    この確認に、かなり時間がかかりました。

    NDBオープンデータは、1つの表を読めば終わるデータではありません。検査値、質問票、都道府県、二次医療圏、性別、年齢階級、値範囲など、複数の軸が重なっています。さらに、Excel上の見た目と、データベースとして扱いやすい構造は同じではありません。

    そのため、最初の開発では、作ることよりも、作ったものをどう信用するかに時間を使うことになりました。

    今回の第11回データは、その経験の上に載せることができました。新しい公開回を、既存の構造に追加する。第10回と第11回を切り替えられるようにする。APIや画面も、公開回を意識して扱えるようにする。こうした前提が、すでにありました。

    もちろん、新しいデータを入れるだけで終わりではありません。

    今回も、取り込み後に突合テストを行いました。元のExcelから抽出した値と、データベース上の値、APIで返る値が一致しているかを、サンプルで確認しています。ローカルの検証では、第11回データについて10,000件の直接セル突合を行い、SQL側、API側ともに不一致なしで通過しました。

    ここで大事なのは、件数そのものを誇ることではありません。検証の問いが明確だったことです。

    「第11回のデータを取り込めたか」ではなく、「元のExcelの値と、DB/APIで返る値が同じか」を確認する。
    「画面が表示されたか」ではなく、「公開回を切り替えたときに、前回と今回を同じ条件で見られるか」を確認する。
    「AIがそれらしい比較文を書けるか」ではなく、「比較に使ってよいデータが、同じ構造で取り出せているか」を確認する。

    この順番があると、AIの使い方も変わります。

    AIに丸ごと任せるというより、検証条件を渡して、差分を見つけ、修正し、再確認する作業を速く回す。エラーが出たときには、どの層でずれているのかを切り分ける。Excelの読み取りなのか、マスターの対応なのか、SQLなのか、APIなのか、画面側の表示なのかを分けて考える。

    私はここに、AI時代の開発速度の本体があるように感じています。

    速いのは、手を抜いたからではありません。むしろ、確認すべきことが以前より具体的になったから、速く直せるようになった。前回つくった検証の型が、今回の公開回で再利用できた。AIは、その型に沿って作業を進めることで力を発揮した。

    今回公開した比較ページはこちらです。

    https://ndbopendata-hub.com/insights/release-10-11-comparison

    このページでは、腎機能、糖代謝、血圧、脂質、肥満などの観点から、第10回と第11回の差分を整理しています。ただし、その前提には、同じ構造でデータを取り込み、同じ条件で比較できる状態にする作業があります。

    見えているのは、比較結果です。
    見えにくいのは、比較してよい状態にするための検証です。

    前回の初期構築では、この見えにくい部分に時間がかかりました。今回は、その見えにくい部分が資産として残っていました。だから、新しい公開回が出たときに、ゼロから作り直すのではなく、既存の構造に追加し、突合し、比較し、公開ページへ反映するところまでを短時間で進められました。

    これは、NDBオープンデータに限らない話だと思います。

    AIで業務システムやデータ基盤を作るとき、最初の画面やプロトタイプは速くできます。しかし、継続して使えるものにするには、毎回の更新で何を確認するか、どこまで通れば公開してよいか、どの不一致を止めるべきかを決めておく必要があります。

    検証の型がないまま速く作ると、あとで数字の意味を疑うことになります。
    検証の型があると、速く作ったあとに、速く確かめることができます。

    今回の第11回NDBオープンデータ対応で感じたのは、AIで開発が速くなるほど、前回の検証を次回に使える形で残すことの価値が上がるということです。

    プロトタイプを作る力だけでは、継続的なデータ活用には届きません。公開回が増え、データが更新され、比較の軸が増えていくなかで、同じ構造に載せ、同じ条件で突合し、人が読める形に整える。その反復を支えるものが、検証ゲートです。

    AIは、そのゲートを不要にするものではありません。むしろ、ゲートがあることで、AIの速度を実務に使える速度へ変えるものだと考えています。

     
     

    tom

     
     
    ウェルネス・コミュニケーションズのCoEに所属しているtomです。 ヘルスケア業界に身を置きながら、生成AIを中心とする技術や開発に関わることを執筆していきます。 当社の業界や記事に関連する業務に興味ある方は、ぜひお問い合わせください。

    あなたへのおすすめ