メインコンテンツへスキップ
見出し画像

83日目:GASで全自動化!トリガー20個制限と「6分間の壁」を突破するバッチ設計術

    Googleドライブに、自主的に仕事をさせたい。 そう思ったことはありませんか?
    Google Apps Script(GAS)を使えば、スプレッドシートやフォームの操作を簡単に自動化できます。

    しかし、いざ本格的なバッチ処理を組もうとすると、トリガー数の上限や『6分間の壁』という厳しい制限が立ちはだかります。

    今回は、私がnoteの記事をNotebookLMへ全自動連携させるために試行錯誤た、GASの制約を乗り越える設計をまとめました。

    この記事の続きのようになっているので、先に読んでおくとより楽しめると思います。


    ※公開前に、名前がGemini nootbookに変更になったみたいですね。
    記事内は古い名前になっているので、脳内で読み替えてください。


    【基礎知識】GASとは?Google Driveを「自主的に」働かせる魔法の杖

    画像

    すごく簡単に言うと、google driveに自主的に仕事をさせる機能です。

    も少ししっかり言うと、google workspace上で、様々な処理を実行できる機能です。

    色んなことか出来るんですか例えば、
    ・スプレッドシートの中身を読み取ったり
    ・別のファイルの中身を読み取ってスプレッドシートに書き込んだり
    ・フォームの回答の内容を別の場所にコピーしたり
    ・ドライブの中身を検索したり加工したり

    Google driveの中のことであれば、まあ大概できると思っとけば大丈夫です。

    これを定期バッチで動かせれば、色々なことを自動化出来る!

    と思ったのですが、色々と課題がありました。

    【概念整理】バッチ処理:複雑な仕事を「ひと塊」で完結させる仕組み

    前に餃子の記事でも説明したんですが、ざっくり言うとひとかたまりの処理です。

    これを実行すれば、こんな仕事をしてくれる、という括りですね。

    例え話、YouTubeで検索した内容を集計してスプレッドシートに表としてまとめる、という仕事があったとしましょう。
    これを手作業でやっていたところに、例えば好きな時にワンクリックで、或いは毎日決まった時間に、処理を実行すれば自動でスプレッドシートができ上がる。

    そんなことを実現する仕組み、或いは組み方をバッチと言います。(正確には語弊あり。)

    【三戦の壁】GASの前に立ちはだかる「実行時間・回数」の厳しい制限

    画像

    早い話、やっている作業をGAS上で実行できるように処理を組んで、任意のタイミングで実行できるようにすれば、バッチの完成です。

    でも、そう簡単には行かないGASの制限があったんです。


    1.トリガー数の上限

    GAS上で、決まった時間に処理を実行する仕組みのことをトリガーと言います。

    なので実行したいバッチ1つに対して、1つのトリガーを設定すれば基本的には解決です。

    が、このトリガーは数に制限があって、20個までしか作ることができません。

    単純に1バッチにつき1トリガーでは、20バッチしか仕掛けることが出来ないことがわかりました。

    しかも後述の都合にて、1バッチに複数のトリガーが必要な可能性が出てきたので、尚更バッチの数が少なくなりそうです。


    2.1日の総実行時間の制限

    GASは一日に実行できる時間の合計が、90分ときまっているそうです。

    有料アカウントは6時間らしいですが、それでも常に動かしっぱなしにはできません。

    処理によっては数時間かかることもあるので、GAS上では処理を最小限にしたり、待機時間を少なく実行できるようにする工夫が必要そうです。

    3.1回の実行時間の制限

    これが1番キツイまである。
    1回の実行は、6分間でタイムアウトになるそうです。

    処理の内容にもよりますが、6分で終わるのは簡単なものだけ。

    一体どのように突破したものかと頭を悩ませました。

    初めに言って起きます。
    課題2の総実行時間90分は、無料版ではどうにもなりませんでした。
    1番安いプランは、執筆時点で680円/月らしいので、必要経費と割り切るのもありかもしれません。

    とはいえほか2つは、どうにかする方法を設計したのでまとめていきます。

    【解決策1】トリガーの集約:1つの窓口ですべてのバッチを管理する設計

    画像

    これは、バッチの実行を管理する処理を1つ用意することで解決しました。

    簡単に言うと、全てのバッチに、次に何時実行するかという計画があるはずです。

    バッチの実行を管理する処理を仮に10分おきに実行し、実行予定時間を過ぎたものがあれば、実行予定時間を次に更新してから実行する。

    これを繰り返せば、同時に実行できないという制限はありつつ、1つのトリガーで全てのバッチを起動することができます。

    懸念事項は、バッチ数が多くなったら、1実行6分の枠を起動確認だけで占めてしまう可能性があることです。
    まあそこまで増えたら大人しく他のサービス使うことのになりますかね。

    【解決策2】ジョブの「4分分解」:タイムアウトを恐れない中断と再開のルール

    画像

    これは、バッチの処理をジョブという単位に分解して設計するという、バッチを作る時のルールで解決することにしました。

    例えば、現実の仕事でも、初めに準備や確認をして、同じ事を何度も繰り返して、最後にまとめたり集計して終わる、なんてことはよくあると思います。
    これを図にしてみるとこんな感じ。

    画像

    この時、バッチをAという処理、Bという処理、Cという処理、に分けて実装して、それぞれをジョブと呼ぶことにします。

    この時の注意は、ジョブは4分に収まるように分解すること、どのジョブで中断しても、その次のジョブから再開出来るようにしておくこと。

    これくらいなら、設計に慣れた人なら問題なく出来るはず。

    あとは、ジョブ単位で処理が終わる事に、実行から4分経ってないかを確認。
    4分経っていたら、今の状況を中断して保存して終了。

    次にトリガーが起動した時に、中断して保存してあるものがあれば、それを実行するようにします。


    文章だけでどこまで伝わるか分かりませんが、これなら1日90分に収まる処理を、全自動で処理してくれるはずです。

    あとの問題は、これを実装して実現できるかw

    【実践結果】成功!私のnoteが毎日自動でNotebookLMへ届くまで

    …無事成功!
    私のnoteの記事が、毎日自動でnotebooklmに連携されるようになりました!

    この時の具体的な処理は、また別の記事で紹介します。

    【結び】SEは「不便の解消」のスペシャリスト。自分のために、誰かのために

    画像

    SEって趣味でもパソコンいじりをしている人が多いかと思いますが、ある種当然なんです。

    恐らく大多数のSEは、退屈しのぎからエロ方面まで、何かしらの生活の不便を解消するために、パソコンを触り始めています。

    そんな人達が、自分の生活の不便を解消する方法が手元にあると気づいたら、作らないわけがないんです。

    私の思うSEは、情報の扱いに関する不便を解消するスペシャリスト。
    まず自分ための小さな不便を解消出来るからこそ、誰かのための大きな不便の解消が出来るようになるのだと、私は考えています。

    おすすめの記事

    この記事の内容のほかに、分析もやって運用しています

    gasのようなツールをレバレッジとして活用することができるのは、人間の特権です

    不便を潰すことを考えると、あえて凝った作りにせず、その分早く対応するのが大切なこともありました


     
     
    鈴木啓介(すずき けいすけ)|フリーランスSE。日本文化・漢字・神話・ITを、エンジニア視点で「なぜそうなったのか」から、「小難しいことを、わかりやすく面白く」解説。 SE歴9年。 ライティング・講演・Python開発・SEメンターのご相談受付中。

    あなたへのおすすめ