メインコンテンツへスキップ
見出し画像

Snowflakeの料金はなぜ高くなる? ウェアハウスの課金の仕組みとコスト試算


    こんにちは!株式会社ノアの広報担当です。

    今回は、ノアのエンジニアメンバー・ I さんに技術記事を執筆していただきました!

    普段はそれぞれの業務に取り組んでいるエンジニアメンバーですが、こうして実務での経験や知識を記事にして共有してもらえるのは、採用担当としても嬉しいことです。

    今回のテーマは「Snowflakeの料金とコスト試算」について。

    実際の業務で気になったことをきっかけに、料金の仕組みから具体的なコストまで、丁寧に整理していただきました。

    それでは、I さんの記事をぜひご覧ください!

    画像
    ~ I さんの紹介~


    Snowflakeの料金はなぜ高くなる? ウェアハウスの課金の仕組みとコスト試算


    私は業務でSnowflakeを扱う機会がたびたびあるのですが、想定以上のランニングコストが問題になることがありました。

    Snowflakeは大量のデータを保管・分析するうえで便利なサービスですが、処理内容や実行頻度によっては、コンピュート料金が想像以上に高額になることがあります。

    特に注意したいのが、SQLクエリを実行するための「ウェアハウス」の料金です。

    ウェアハウスは、サイズによっては短時間の稼働でも相応の料金が発生します。また、SQLクエリの実行時間が短ければ料金も安くなると思いがちですが、実際には必ずしもそうではありません。

    今回はSnowflakeのウェアハウスの課金仕様を整理し、どの程度のコストが発生するのか、具体的な条件を設定して試算してみます。

    1. Snowflakeの料金は何で決まるのか

    Snowflakeは、AWS・Microsoft Azure・Google Cloud上で提供されているクラウドデータプラットフォームです。

    従量課金制を採用しており、利用するクラウドサービスやリージョン、契約するエディションなどによって料金が異なります。

    Snowflakeの料金は、大きく次の二つに分けられます。

    • ストレージ料金:Snowflakeに保存しているデータ量などに応じて発生する料金

    • コンピュート料金:SQLクエリの実行など、計算資源の利用に応じて発生する料金

    ストレージ料金は比較的理解しやすい仕組みです。保存しているデータ量に応じて料金が発生します。

    一方、コンピュート料金は少し複雑です。

    Snowflakeでは、計算資源の使用量を「クレジット」という単位で表します。そして、使用したクレジット数に、1クレジットあたりの単価を掛けることで料金を計算します。

    コンピュート料金には、ウェアハウスの稼働によるもの、Cloud Servicesによるもの、Snowpipeなどのサーバーレス機能によるものがあります。

    今回は、このなかでも特にウェアハウスの稼働に伴う料金に注目します。

    なお、以降の試算では条件を次のように統一します。

    • クラウドサービス:AWS

    • リージョン:AP Northeast 1(東京)

    • 為替レート:1ドル=160円

    • 1か月:30日間

    • 料金体系:オンデマンド料金

    • マルチクラスターは使用せず、1クラスター構成

    実際の請求額は契約条件や為替レートなどによって異なります。また、以下の試算ではウェアハウス以外の料金は含めません。

    2. ウェアハウスを動かすといくらかかるのか

    ウェアハウスとは

    Snowflakeのウェアハウスとは、SQLクエリなどを実行するための計算資源です。

    一般的なデータベースでは、データを保存する領域とSQLクエリを処理する計算資源が一体的に扱われることがありますが、Snowflakeでは両者が分離されています。

    ウェアハウスにはXS・S・M・Lなどのサイズがあり、処理内容や必要な性能に合わせて選択できます。

    サイズが大きくなるほど利用できる計算資源は増えますが、そのぶん料金も高くなります。

    ウェアハウスの料金は、基本的に次の計算式で求められます。

    料金 = 使用クレジット数 × 1クレジットあたりの単価

    そして、使用クレジット数はウェアハウスのサイズと稼働時間などによって決まります。

    ウェアハウスの時間単価

    まず、ウェアハウスのサイズによってどの程度の料金差があるのかを見てみます。

    ここでは「Gen 2 Warehouse」を使用するものとします。

    AWS上のGen 2 Warehouseにおける、サイズ別の1時間あたりのクレジット消費量は以下のとおりです。

    画像

    サイズが1段階大きくなるごとに、クレジット消費量は2倍になります。

    ただし、これは計算資源の規模とクレジット消費量の話であり、SQLクエリの処理性能が必ず2倍になるという意味ではありません。

    次に、東京リージョンの1クレジットあたりの料金を確認してみます。

    画像

    同じウェアハウスを使用していても、エディションによって料金が変わります。

    例えば、STANDARDエディションでXSサイズのGen 2 Warehouseを1時間使用した場合、料金は次のとおりです。

    1.35 × 2.85 × 160 = 615.6円

    XSサイズでも1時間あたり約616円かかります。

    これだけを見ると、そこまで高いようには感じないかもしれません。

    しかし、ウェアハウスを24時間起動し続けた場合はどうでしょうか。

    1か月を30日間とすると、稼働時間は720時間となります。

    615.6 × 720 = 443,232円

    最小サイズであるXSでも、1か月あたり約44万円という計算になります。

    さらに、ENTERPRISEエディションでSサイズを使用した場合、1時間あたりの料金は次のようになります。

    2.70 × 4.30 × 160 = 1,857.6円

    これを720時間起動すると、

    1,857.6 × 720 = 1,337,472円

    月額約134万円です。

    もちろん、Snowflakeのウェアハウスは必要なときだけ起動させる運用が可能であり、常時起動することが一般的な前提ではありません。

    それでも、ウェアハウスのサイズや稼働時間によっては、想像以上のコストが発生することが分かります。

    3. SQLクエリの実行時間が短くても安くなるとは限らない

    では、ウェアハウスの稼働時間を短くすれば、料金を十分に抑えられるのでしょうか。

    Snowflakeのウェアハウスには、起動状態と一時停止状態があります。

    一時停止状態ではウェアハウスの計算資源に対する課金は発生しません。一方、起動状態ではSQLクエリを実行していない時間もクレジットを消費します。

    そこでSnowflakeには、次のような仕組みが用意されています。

    • AUTO_RESUME:SQLクエリの実行が必要になった際、停止中のウェアハウスを自動起動する

    • AUTO_SUSPEND:一定時間処理が行われなければ、ウェアハウスを自動停止する

    これらを設定すれば、必要なときだけウェアハウスを起動させられます。

    ただし、ここには注意点があります。

    ウェアハウスは起動するたびに最低60秒分の課金が発生する

    Snowflakeのウェアハウスは、起動するたびに最低60秒分のクレジットが請求されます。

    例えば、あるSQLクエリの実行が5秒で完了し、その直後にウェアハウスを停止したとします。

    実際の稼働時間が60秒未満だったとしても、課金対象となる時間は60秒です。

    一方、ウェアハウスを61秒間稼働させた場合、課金対象は61秒になります。最初の60秒を超えた分については、1秒単位で課金される仕組みです。

    つまり、次のようになります。

    画像

    ここで重要なのは、SQLクエリを実行するたびに60秒分の料金が追加されるわけではないということです。

    ウェアハウスが起動している間に複数のSQLクエリを実行しても、そのたびに最低60秒分が加算されることはありません。

    最低60秒課金が問題になるのは、ウェアハウスが停止と再起動を繰り返す場合です。

    AUTO_SUSPENDを短く設定すればよいのか

    それでは、AUTO_SUSPENDを1秒に設定すれば、最も安くなるのでしょうか。

    実際には、そう単純ではありません。

    Snowflakeの公式ドキュメントによれば、ウェアハウスを自動停止させるためのバックグラウンド処理は、およそ30秒ごとに実行されます。

    そのため、AUTO_SUSPENDを1秒に設定しても、SQLクエリ終了の1秒後に正確に停止するとは限りません。

    また、前述のとおり、60秒未満で停止できたとしても最低60秒分の課金が発生します。

    さらに、数分おきにSQLクエリを実行するようなシステムでは、AUTO_SUSPENDを短くしすぎることで、起動と停止を繰り返すことになります。

    その結果、起動のたびに最低60秒課金が適用され、期待したほどコストを削減できない場合があります。

    AUTO_SUSPENDは単純に短くすればよいのではなく、SQLクエリの実行間隔や処理時間に応じて設定する必要があります。

    4. 高頻度で処理すると月額料金はどうなるのか

    ここまでで、次の二つが分かりました。

    • ウェアハウスは小さなサイズでも、長時間起動すると相応の料金が発生する。

    • ウェアハウスは起動ごとに最低60秒分の課金が発生する。

    これらを踏まえて、定期的にデータを処理するシステムでは、どの程度の料金になるのか試算してみます。

    例えば、BIツールで参照するデータを最新の状態に近づけるために、Snowflakeで15分ごとにデータ加工処理を行うシステムを考えます。

    XSサイズで、毎回60秒分の料金が発生する場合

    まず、次の条件を設定します。

    • STANDARDエディション

    • Gen 2 WarehouseのXSサイズ

    • 1回の起動あたり60秒分の課金

    • 処理のたびにウェアハウスを起動し、次の処理までに停止する

    • 1か月は30日間

    この場合、1回の起動で発生する料金は次のとおりです。

    1.35 × 2.85 × 160 ÷ 60 = 10.26円

    1回あたり約10円なので、安く感じられるかもしれません。
    しかし、処理間隔を短くすると起動回数が増えます。

    画像

    ※小数点以下を四捨五入。

    5分間隔で処理すると、最小サイズのウェアハウスでも月額約9万円となります。

    しかも、これは毎回60秒分の料金しか発生しないと仮定した試算です。処理や停止までに時間がかかれば、さらに料金が増えます。

    Sサイズで、1回の処理に3分かかる場合

    次は条件を少し変えてみます。

    • ENTERPRISEエディション

    • Gen 2 WarehouseのSサイズ

    • 1回の処理につきウェアハウスを3分間稼働

    • 処理のたびにウェアハウスを起動し、次の処理までに停止する

    • 1か月は30日間

    Sサイズの1時間あたりの料金は1,857.6円なので、3分間では次のようになります。

    1,857.6 × 3 ÷ 60 = 92.88円

    この条件での月額料金は以下のとおりです。

    画像

    ※小数点以下を四捨五入。

    15分間隔でも月額約27万円、5分間隔では月額約80万円になります。

    また、ここで試算しているのは一つのウェアハウスだけです。

    ほかのウェアハウスを使用していたり、複数のクラスターを起動していたりする場合は、その分の料金も考慮する必要があります。

    なお、これらの試算では、毎回ちょうど指定時間だけウェアハウスが稼働すると仮定しています。実際のAUTO_SUSPENDによる停止タイミングや、クエリの実行時間の変動などは考慮していません。

    また、処理間隔が短い場合でも、同じウェアハウスを停止せずに使い続ける方が適切なケースもあります。

    したがって、今回の表は実際の請求額を予測するものというより、ウェアハウスのサイズ・稼働時間・起動回数が料金にどの程度影響するのかを把握するための試算として見てください。

    5. ウェアハウスのコストを抑えるには

    ここまでの試算から、ウェアハウスの料金を抑えるには、単にSQLクエリを高速化するだけでは不十分なことが分かります。

    特に重要なのは、次の三つです。

    ウェアハウスのサイズを適切に設定する

    ウェアハウスのサイズが大きいほど、1時間あたりのクレジット消費量も増えます。

    必要以上に大きなサイズを指定していないか確認することが重要です。

    ただし、サイズを小さくした結果、処理時間が大幅に延びてしまう場合もあります。単価だけでなく、実際の処理時間も考慮する必要があります。

    処理頻度と起動・停止を見直す

    例えば、15分間隔で処理しているシステムについて、本当に15分ごとの更新が必要なのかを確認することも重要です。

    要件上、60分間隔でも問題ないのであれば、それだけで処理回数を減らせます。

    また、複数の処理をまとめて実行することで、ウェアハウスの起動回数を減らせる場合もあります。

    ただし、処理の集約によって実行時間が延びたり、必要なウェアハウスのサイズが変わったりする可能性もあるため、全体のコストで判断することが重要です。

    データ加工をSnowflakeの外部で行う構成も検討する

    Snowflakeはデータの保管や分析に加え、SQLなどによるデータ加工にも対応しています。

    しかし、ETL処理を高頻度で繰り返す場合、その処理をすべてSnowflake内で行う必要があるかは検討の余地があります。

    例えば、AWSの別サービスでデータを取得・加工し、加工済みデータをS3経由でSnowpipeによってSnowflakeへ取り込む構成も考えられます。

    こうすれば、Snowflake側で行うデータ加工処理を減らせる可能性があります。

    ただし、外部サービスにも料金が発生しますし、データの移動や運用の負担も増えます。Snowflake内で処理する方が効率的なケースもあるため、一概に外部化が最適というわけではありません。

    重要なのは、Snowflakeのウェアハウス料金だけを見るのではなく、システム全体で比較することだと考えます。

    まとめ

    今回はSnowflakeのウェアハウスの課金仕様を整理し、実際にどの程度の料金が発生するのかを試算しました。

    Snowflakeのコストを考えるうえで、特に注意したいのは次の二点です。

    • ウェアハウスは小さなサイズでも、長時間稼働させれば高額な料金になる。

    • ウェアハウスは起動ごとに最低60秒分の課金が発生するため、短時間の処理を繰り返しても必ずしも安くならない。

    SQLクエリの実行時間が短いことと、ウェアハウスの料金が安いことは同じではありません。

    Snowflakeのコストを見積もる際は、ウェアハウスのサイズや処理時間だけでなく、処理頻度や起動・停止の仕方まで考慮する必要があります。

    また、場合によってはデータ加工をSnowflakeの外部で行う構成も選択肢となります。

    次回はその観点から、AWS Lambda・AWS Glue・Amazon EC2を使ってETL処理を実装する場合のコストや特徴を比較してみたいと思います。


    画像


    \\ キャンペーンのお知らせ //
    現在、弊社ホームページからの直接応募で入社祝い金50万円のキャンペーンも実施中です。(予告なく終了することがあります)
    👉 キャンペーン詳細はこちら

    \\ 詳しい求人内容はこちら(全6求人募集中)//


    I さんの記事はこちらからもご覧いただけます◎
    Snowflakeを用いた高頻度処理が招く高額請求をいかに回避するか #AWS - Qiitahttps://qiita.com/tomomoss/items/51f55e855034261809b7


    参考資料


    この記事が参加している募集

    あなたへのおすすめ