こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味（ビジネスメタデータ）、運用状況や品質情報（オペレーショナルメ…

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

はじめに dbt（data build tool） Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱…

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、Google CloudのBigQuery上にデータ基盤を構築しています。BigQuery上に構築したデータ基盤は、dbt (Data Build Tool) を用いてELTします。ELTとは、Extract（抽出）…

はじめに こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。O…