関連リンク

    ClickHouse DBMSとIDrive®e2の統合

    ClickHouseは、リアルタイムのオンライン分析処理（OLAP）と大規模分析のために構築された、高性能なオープンソースの列指向データベース管理システムです。膨大なデータセットに対する高速なクエリ実行、分散処理、および効率的なデータ圧縮をサポートします。ClickHouseをIDrive®e2と統合することで、スケーラブルで安全、かつコスト効果の高いクラウドオブジェクトストレージでこれらの機能を強化することができます。

    前提条件

    作業を始める前に、以下のことを確認してください：

    1. 有効なIDrive®e2アカウント。お持ちでない場合は、こちらからご登録ください。
    2. IDrive®e2のバケット。バケツの作成方法を参照してください。
    3. 有効なアクセスキーIDとシークレットアクセスキー。アクセスキーの作成方法をご覧ください。
    4. ClickHouse Server ver.23.0以降がインストールされていること」と「ClickHouse Backupツール（推奨）

    IDrive®e2 で ClickHouse DBMS を構成する

    1. Ubuntu Linux ServerにClickHouseをインストールします。
      2. sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4
      echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list
      sudo apt update
      sudo apt install clickhouse-server clickhouse-client -y
      sudo systemctl start clickhouse-server

    2.IDrive®e2キーを使用してClickHouseでS3ディスクを設定する

      2a.ファイルを作成する

      /etc/clickhouse-server/config.d/backup_disk.xml
      <clickhouse>
      <storage_configuration>
      <disks>
      <s3_backup>
      <type>s3</type>
      <endpoint>https://idrivee2-endpoint/bucket-name/</endpoint> (Idrive e2 Endpoint : https://v1e8.da.idrivee2-17.com & iDrive e2 Bucket)
      <access_key_id>YOUR_ACCESS_KEY</access_key_id>
      <secret_access_key>YOUR_SECRET_KEY</secret_access_key>
      <s3_max_single_part_upload_size>10485760</s3_max_single_part_upload_size>
      <upload_part_size>67108864</upload_part_size>
      <s3_max_put_rps>25</s3_max_put_rps>
      <metadata_path>/var/lib/clickhouse/disks/s3_backup/metadata</metadata_path>
      </s3_backup>
      </disks>
      </storage_configuration>
      </clickhouse>

      2b.クリックハウスを再起動する

       sudo systemctl restart clickhouse-server

      2c.ログを確認する

      /var/log/clickhouse-server/clickhouse-server.logで確認できます。

    3.ClickHouse Backupをインストールする（オプション）

      このツールは、バックアップ/エクスポートとS3へのアップロードを簡素化します：

      wget
      https://github.com/AlexAkulov/clickhouse-backup/releases/download/v2.5.3/clickhouse-backup
      chmod +x clickhouse-backup
      sudo mv clickhouse-backup /usr/local/bin/

    4.ClickHouse Backupツールの設定

      etc/ClickHouse-backup/config.yml を編集する。
      general:
      remote_storage: s3
      disable_progress_bar: true
      s3:
      bucket: clickhouse-backup
      endpoint: v1e8.da.idrivee2-17.com
       access_key：YOUR_ACCESS_KEY
      secret_key：YOUR_SECRET_KEY
      use_path_style: true
      compression_format: tar
      compression_level: 1

    5.バックアップとリストアの実行

      特定のデータベースをバックアップする：

      clickhouse-backup create my_backup
      clickhouse-backup upload my_backup

      特定のデータベースをリストアする：

      clickhouse-backup download my_backup
      clickhouse-backup restore my_backup

      バックアップが完了したら、IDrive®e2コンソールを開いてバケットに移動し、バックアップフォルダ/ファイルが存在することを確認します。

    注：データの復元は、特定のバックアップソリューションプロバイダーによって処理され、お客様の環境に固有の複数の変数の影響を受けます。アプリケーション関連のお問い合わせ/サポートについては、バックアップ・ソリューション・プロバイダのテクニカル・チームに問い合わせることを強くお勧めします。