本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜』の登壇にて、データベース…

深澤 (@qluto) です。 私は現在、バクラクのAI-OCRチームでマネージャーとして開発を進めています。 プロダクトの進化やスケーリングを図るうえで、データ基盤の改善もどんどんと進んでおり、日々その恩恵を授かりながら開発をしています。 最近はBigQueryか…

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 私たちのデータ分析環境では、Google Sheetsを手軽な分析ツールとして活用しています。Google Sheetsでは、マーケットプレースのアドオンを利用して外部データを取得できます。…

dbt-snowflakeを使用してPython ModelのCustom Materializationを実装する方法を解説します。SnowflakeのStored Procedureに焦点を当て、データ変換や複雑な処理をPythonで行う手法を紹介します。

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…

Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…

今回の記事では、Snowpipe StreamingとAmazon Data Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。最初に、Snowpipe StreamingとAmazon Data Firehoseに関して基礎的な説明を行います。その後、Snowpipe StreamingとAmazon…

『Don't Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介します。

2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。

SnowflakeでMicrosoft Entra IDを使ったSingle Sign-On及びSCIMプロビジョニングを有効化する方法を画像付きで詳しく説明します。