関連リンク

    IDrive®e2でSnowflakeを使用するには？

    SnowflakeはIDrive®e2 での使用が確認されています。また、IDrive® e2 ホットクラウドオブジェクトストレージの設定に関するSnowflake ドキュメントもご参照ください。

    IDrive®e2でSnowflakeを使用すると、以下のことが可能になります：

    • 外部 Snowflake テーブルを作成して、IDrive®e2 クラウド ストレージからパーティション分割された既存のデータセットをクエリします。
    • データをSnowflakeからIDrive®e2にコピーし、クラウドオブジェクトストレージに対応したアプリケーションやツールで利用できるようにします。
    • Snowflakeからデータを移行し、IDrive®e2の予測可能な価格設定を特にアクセス頻度の低いデータの保存にご活用ください。

    この記事では、以下のタスクの実行方法を説明する：

    1. 1.SnowflakeでSQLワークシートを作成する
    2. 2.外部ステージを作る
    3. 3.外部テーブルの作成
    4. 4.IDrive®e2からSnowflakeテーブルにデータをコピーする。
    5. 5.SnowflakeテーブルからIDrive®e2にデータをコピーする
    6. 6.Snowflake を使用してIDrive®e2 の既存データを照会する

    前提条件

    1. 有効なIDrive®e2アカウント。お持ちでない場合は、こちらからご登録ください。
    2. IDrive®e2 バケットにアップロードされた Snowflake がサポートするデータセット。バケットを作成してオブジェクトを追加する方法を参照してください。
    3. アクティブなSnowflakeアカウント。
    4. データレイク／データウェアハウスの用語とSnowflakeの基本的な使い方を理解していること。

    IDrive®e2 Bucketにデータをアップロードする

    IDrive®e2でSnowflake外部テーブルを使用するには、IDrive®e2から読み取りたいデータセットが必要です。

    以下の例のデータセットdataset_snowflake.csvは、Virginia地域のsnowバケツに存在する。データへのパスは//snowとなります。

    SQLワークシートの作成

    Snowflakeアカウントにログインし を選択する。 SQLワークシート.IDrive のデータに対するクエリを書くことができます。® e2をこのワークシートから実行する。

    雪片データベースの作成

    ワークシートを作成したら、外部テーブルと関連データに関する情報を保持するデータベースを作成する必要があります。データベースe2_sample_databaseを作成します。

    以下の2つのコマンドをコピーし、ワークシートに貼り付ける：

    CREATE DATABASE e2_sample_database；
USE DATABASE e2_sample_database；

    最初のコマンドはデータベースを作成します。2番目のコマンドは、ワークシートでさらにクエリを実行するために使用するデータベースを選択します。コマンドを実行するには、SQLを選択して 右上にある

    雪の結晶ステージオブジェクトの作成

    Snowflake上にステージオブジェクトを作成し、データがどこに保持されているか、またはステージングされているかを示す必要があります。IDrive®e2 バケットへの参照を、リージョンと Access Keys 認証情報と共に作成します。

    この例ではステージオブジェクトs3_e2を作成し、バージニア地域のエンドポイントURL、IDrive®e2のアクセスキーIDとシークレットキーを使用します。

    ステージ s3_e2 を作成または置き換える
url = 's3compat://snow'
エンドポイント = 'k3d1.va21.idrivee2-1.com'
credentials = (AWS_KEY_ID = 'xxx' AWS_SECRET_KEY = 'xxx')；

    IDrive®e2 Bucketのデータをリストアップする

    ステージオブジェクトが作成されると、IDrive®e2 Bucketsnow内のファイルの内容をリストすることができます。

    ステージ名でリストのクエリーを呼び出す。

    リスト @s3_e2；

    Snowflake外部テーブルの作成

    IDrive®e2 Bucketの内容がリストされたら、データのクエリに使用するSnowflake外部テーブルを作成します。データセットとステージに選択した名前に基づいて、ステージ名とファイル形式タイプを更新する必要があります。

    CREATE OR REPLACE EXTERNAL TABLE e2_user_ref
WITH LOCATION = @s3_e2/
file_format = (type = csv skip_header = 1)
PATTERN='dataset_snowflake.csv'；

    IDrive®e2からSnowflakeテーブルにデータをコピーする

    テーブルを作成したら、IDrive®e2 ストレージから Snowflake テーブルにデータをコピーできます。 

    s3_e2_sj/snow-test-sj/user-detailsにコピーする。
from user_details
file_format = csv
header = true；

    SnowflakeテーブルからIDrive®e2へのデータコピー

    SnowflakeテーブルからIDrive®e2ストレージにデータをコピーすることもできます。

    s3.e2からuser_detailsにコピーする。
files = ('dataset_snowflake.csv')
on_error = continue；

    データに対してクエリーを実行する

    テーブルを作成した後、データを検証するためにクエリを実行することもできます。

    IDrive®e2に存在するデータを参照するSnowflake外部テーブルの作成方法を学びました。