LayerX エンジニアブログ

LayerX の エンジニアブログです。

dbt

バクラク事業部のデータ基盤 2025: 今年一年の変化を振り返るの巻

この記事は、LayerX Tech Advent Calendar 2025 の 23 日目の記事です。 tech.layerx.co.jp こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。今年は子どもたちが入手困難なものをサンタさんにお願いしなかったので、心穏やかな気持ち…

LayerXのdbt Pythonモデル活用術 - 外部連携の実装パターン

この記事は、dbt Advent Calendar 2025 の 20日目の記事です。 qiita.com バクラク事業部 BizOps部 データグループへ25年11月に入社した さえない( @saeeeeru )です。LayerX のデータグループは BizOps 部に所属し、「事業成果に直結するデータ基盤」を構…

Taskfile.devでシンプルにタスクを管理する

dbt

本記事では、バクラクのデータ基盤で導入したTaskfile.devというタスクランナーを紹介します。私の経験の中でも、学習コストの低さ・シンプルさの観点で、抜群に導入しやすいタスクランナーだったのでおすすめです。本記事が、タスクランナーで困っている人…

Aurora Cluster Exportで出力したデータをdbtを使ってSnowflakeへImportする

本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜』の登壇にて、データベース…

dbt-snowflakeでPython modelのCustom Materializationを実装する ~Stored Procedure編~

dbt-snowflakeを使用してPython ModelのCustom Materializationを実装する方法を解説します。SnowflakeのStored Procedureに焦点を当て、データ変換や複雑な処理をPythonで行う手法を紹介します。

本番同様のデータを扱えるdbtテスト環境をSnowflakeで構築する方法

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…