LayerX エンジニアブログ

LayerX の エンジニアブログです。

バクラク事業部のデータ基盤 2025: 今年一年の変化を振り返るの巻

この記事は、LayerX Tech Advent Calendar 2025 の 23 日目の記事です。 tech.layerx.co.jp こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。今年は子どもたちが入手困難なものをサンタさんにお願いしなかったので、心穏やかな気持ち…

AWS→SnowflakeのWorkload Identity FederationをBashで実装して低レベルな処理を理解するの巻

この記事は、LayerX Tech Advent Calendar 2025 の 5日目の記事です。 tech.layerx.co.jp こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。 先日、SnowflakeでWorkload Identity Federation機能がリリースされました。Workload Identi…

『AI Agentのビジネス価値を計るバックテスト基盤の構築』を支えるSnowflake上での任意時点のスナップショット取得を実現するデータパイプライン

こちらはLayerX AI Agentブログリレー37日目の記事です。前回の記事は@po3rinによる『AI Agentのビジネス価値を計るバックテスト基盤の構築』でした。 こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。前回の『AI Agentのビジネス価値…

SnowflakeでAI Observabilityを実現する

こちらはこの記事はLayerX AI Agentブログリレーの6日目の記事です。前回は@yuya_takeyamaによるclaude-code-base-action で設定ファイル自動生成のための Agentic Workflow を作るでした。 こんにちは。バクラク事業部 BizOps部 データグループの@civitaspo…

SnowflakeにおけるWEEK_STARTは意志を持って決めよう

今回の記事は小ネタです。Snowflakeの WEEK_START というパラメータについて書きます。このパラメータは、Snowflakeにおける曜日番号(たとえば、DAYOFWEEK 関数の返却値)を決めるパラメータです。ドキュメントには、以下のようにデフォルト値を 0 から 1 …

今年も現地参加して良かった!Snowflake Summit 2025!

こんにちは。バクラク事業部 Platform Engineering部 データグループの@civitaspoです。2025年6月2日から5日にかけてサンフランシスコで開催されたSnowflake Summit 2025に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。

Taskfile.devでシンプルにタスクを管理する

dbt

本記事では、バクラクのデータ基盤で導入したTaskfile.devというタスクランナーを紹介します。私の経験の中でも、学習コストの低さ・シンプルさの観点で、抜群に導入しやすいタスクランナーだったのでおすすめです。本記事が、タスクランナーで困っている人…

Aurora Cluster Exportで出力したデータをdbtを使ってSnowflakeへImportする

本記事では、Amazon AuroraのCluster Export機能を用いてAmazon S3へ出力したデータを、dbtを使用してSnowflakeへimportする方法を書きます。以前、『BigQueryからSnowflakeへ移管して作る最強のデータ基盤 〜Data Ingestion編〜』の登壇にて、データベース…

dbt-snowflakeでPython modelのCustom Materializationを実装する ~Stored Procedure編~

dbt-snowflakeを使用してPython ModelのCustom Materializationを実装する方法を解説します。SnowflakeのStored Procedureに焦点を当て、データ変換や複雑な処理をPythonで行う手法を紹介します。

dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題を解決する #ベッテク月間

今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…

Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間

今回の記事では、Snowpipe StreamingとAmazon Data Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。最初に、Snowpipe StreamingとAmazon Data Firehoseに関して基礎的な説明を行います。その後、Snowpipe StreamingとAmazon…

Don’t Use Passwords in Your Snowflake Account

『Don't Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介します。

現地参加して良かった!Snowflake Data Cloud Summit 2024!

2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。

SnowflakeでMicrosoft Entra IDによるSingle Sign-On及びSCIMプロビジョニングを有効化する

SnowflakeでMicrosoft Entra IDを使ったSingle Sign-On及びSCIMプロビジョニングを有効化する方法を画像付きで詳しく説明します。

バクラクの爆速開発を支えるDevOpsチームの「のびしろ」! #のびしろウィーク

こんにちは!バクラク事業部DevOpsチームです。 この記事は LayerXテックアドカレ2023 の37日目の記事です、前回はid:kikuchyさんが『歳末!バクラク申請・経費精算モバイルアプリ のびしろ大放出祭 』という記事を書いてくれました。また、38日目はid:sugur…

DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ

2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは「直近35日以内における特定期間の変更をChange Data Capture(CDC)としてS3にExportできる」という機能です。この機能を利用して、高頻度で継続的にIncremental …

何問わかるかな?AWS FireLens(Fluent Bit利用版)クイズ!!!

AWS

こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。 7月はLayerXエンジニアブログを活発にしよう月間 ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。 みなさんはAWS FireLensを使っていま…

GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する

この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか?便利ですよね。この記事では、あの便利…