snowflakeのキャッシング

snowflakeの三つのレイヤーのうち、クラウドサービスとコンピュートのレイヤーでキャッシュが動作する。

これらのキャッシュが連携することでsnowflakeは高速に働く

各レイヤーの情報は上図の通り。

流れとしては

メタデータキャッシュ

クエリ処理中に高速にアクセスするために利用するメタデータ

1.クエリリザルトキャッシュを使用しないように、USE_CACHED_RESULTを無効にします。

ALTER SESSION USE_CACHED_RESULT = FALSE

2.次のクエリを実行すると、キャッシュを使用しているため一瞬で結果が表示されます。

SELECT MIN(l_orderkey), MAX(l_orderkey) , COUNT(*) from lineitem

3.結果ペインにあるクエリIDをクリックすることで、プロファイルを開けます。

4.プロファイルタブを確認すると、結果はメタデータキャッシュに100%由来していることがわかります

同一のクエリが実行された場合かつ、ベースのテーブルが変更されていない場合に、クエリ結果を再利用してくれる。 仮想ウェアハウスのコンピュートを必要とせずに、再利用できるようにキャッシュされた結果をそのまま返す。

他のユーザーがキャッシを利用可能な場合もある
- SHOW : 同じロールの全てのユーザー
- SELECT : クエリ内の全てのテーブルに対するSELEÇT権限を持つ全てのユーザー
これらのユーザーのみがおなじクエリの結果を再利用できる。
結果セットは、24時間キャッシュされ、一致するクエリが再利用されるたびにカウントされる。また、最大で31日間クエリのキャッシュが有効になる。
結果の再利用は、アカウント/ユーザー/セッションレベルで有効無効をコントロールできる。USE_CACHE_RESULTパラメーターで制御可能
結果セットのキャッシュを使用するためには条件がある
- 全く同じクエリ(空白を除く)
- 結果が決定的で、ランダム関数がないこと
- キャッシュ利用権限があること
コンピュートレイヤ、ストレージレイヤを利用していない
WEBUIからのSQLでキャッシュを利用した後は、ProfileにQUERY_RESULT_REUSEのフラグが表示される
from https://dev.classmethod.jp/articles/snowflake-cache-three/
完全に同一のクエリでなくとも、キャッシュを利用してくれることもある

例

select * from A

このクエリを実行した後、where句を利用する場合、例えば

select * from A where id="1234"

を実行するときは、元のクエリが再利用される。

select * from lineitem

select
    *
from (select * from lineitem) A
where
    A.id = '1234'

仮想ウェアハウスのSSD内部に、キャッシュされたデータのこと。

仮想ウェアハウスは、最初にローカルで利用なデータを読み取り、次にリモートクラウドストレージから残りを読み取る

title:snowflakeのキャッシュサービス一覧【snowflake解説】

category_script:page_name.startswith("7")