LayerX エンジニアブログ

LayerX の エンジニアブログです。

データ基盤

データ検索基盤チームの立ち上げ

LayerX Ai Workforce事業部で新たに立ち上げた「データ検索基盤チーム」について紹介します。 生成AI時代において、差別化を生むのはデータです。LLM/VLMの登場により、これまでシステムで扱うことが難しかった非構造化データやマルチモーダルデータ(スライ…

バクラク事業部のデータ基盤 2025: 今年一年の変化を振り返るの巻

この記事は、LayerX Tech Advent Calendar 2025 の 23 日目の記事です。 tech.layerx.co.jp こんにちは。バクラク事業部 BizOps部 データグループの@civitaspoです。今年は子どもたちが入手困難なものをサンタさんにお願いしなかったので、心穏やかな気持ち…

LayerXのdbt Pythonモデル活用術 - 外部連携の実装パターン

この記事は、dbt Advent Calendar 2025 の 20日目の記事です。 qiita.com バクラク事業部 BizOps部 データグループへ25年11月に入社した さえない( @saeeeeru )です。LayerX のデータグループは BizOps 部に所属し、「事業成果に直結するデータ基盤」を構…

LayerXのデータ基盤の未来を語るために、最初の1ヶ月でやった3つのこと

この記事は、LayerX Tech Advent Calendar 2025 の 19日目の記事です。 tech.layerx.co.jp おはようございます、こんにちは。そして、こんばんは。バクラク事業部 BizOps部 データグループへ25年11月に入社した さえない( @saeeeeru )です。 命名理由が気…

Datadog Logs の検索体験を Snowflake に持ち込む Chrome 拡張

初めまして、今年 9 月にバクラク事業部に入社した rerorero です。 この記事は LayerX Tech Advent Calendar 2025 7 日目の記事です。 もう今年も残り一月弱ですね。 自分にとっては今年も本当にあっという間でした。 年末になるといつも「ジャネの法則」を…

Temporal Knowledge Graphで作る!時間変化するナレッジを扱うAI Agentの世界

こちらはLayerX AI Agentブログリレー1日目の記事です。 こんにちは、Hiromu Nakamura (pon) です。 LayerXでAI/MLOpsをやってます! 最近はAI Agentの開発の中で、個人的にTemporal Knowledge Graphに注目しています。今回は関連論文や技術を紹介しつつ、私…

LangfuseのTrace書き込み失敗から学ぶLLMOpsを支える技術

Trace書き込み失敗調査を行い、Langfuseの安定性を向上させました。その際に調べたLangfuseを支える裏側の技術について解説し、実際にどのような対策をしたのかお話しします。

データ基盤なAWS SecurityLakeに対するSIEMクエリエンジンをDuckDBにするとサクサクで楽しい話

ドーモ、読者のミナ=サン、LayerX Fintech事業部(三井物産デジタル・アセットマネジメント(MDM)に出向)で、@ken5scalです。 久しぶりのAmazon SecurityLakeとログ系のブログです。セキュリティにおいても、紀元前よりサーバー、ネットワーク機器、アプリ…

Amazon SecurityLakeからみるApache Iceberg - アーキテクチャ章Metadata Layer編

LayerX Fintech事業部(三井物産デジタル・アセットマネジメント(MDM)に出向)で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプライアンスエンジニアリングなどを担当している @ken5scal です。 当社はSIEMソリューション(DataDog …

Amazon SecurityLakeからみるApache Iceberg - アーキテクチャ章Catalog編

LayerX Fintech事業部(三井物産デジタル・アセットマネジメント(MDM)に出向)で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプライアンスエンジニアリングなどを担当している @ken5scal です。 当社はSIEMソリューション(DataDog …

Google SheetsからSnowflakeのデータを取得するアドオンの開発について

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 私たちのデータ分析環境では、Google Sheetsを手軽な分析ツールとして活用しています。Google Sheetsでは、マーケットプレースのアドオンを利用して外部データを取得できます。…

Amazon Security Lakeのお金でチョット困った話

LayerX Fintech事業部(三井物産デジタル・アセットマネジメント(MDM)に出向)で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプライアンスエンジニアリングなどを担当している @ken5scal です。 本件はLayerXが主催するコーポレート…

LayerXにおけるOpenMetadataのインフラ構成とコスト削減について

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味(ビジネスメタデータ)、運用状況や品質情報(オペレーショナルメ…

本番同様のデータを扱えるdbtテスト環境をSnowflakeで構築する方法

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

SnowflakeにCOPY INTOでバルクロードする際のポイント #ベッテク月間

Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…

LLM時代のデータ基盤 : 非構造化データを扱うETLプロセスの重要性 #ベッテク月間

こんにちは!LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会…

SIEMからデータ基盤へ - Amazon Security Lakeを試してる話

LayerX Fintech事業部*1ので、ガバナンス・コンプラエンジニアリングをしている @ken5scal です。 はじめに 本ブログは、以前執筆した「SIEMの限界」から「データ基盤への道」への具体的な取り組み、いわば試行錯誤の途中経過をお伝えするものです。今後も継…

Google ドライブにある Excel ファイルをシュッと BigQuery にロードしたときの備忘録

こんにちは。機械学習・データ部の @irotoris です。 どこからかダウンロードしてきた Excel ファイルのデータを BigQuery に入れてほしいという話があり、Python と pandas で Excel を読み込んでシュッと BigQuery にロードしたときの作業備忘録です。 TL;…

データ領域におけるイネーブリング活動を10か月やってみた報告と今後の課題 #LayerXテックアドカレ #のびしろウィーク

今年の2月にデータイネーブリングはじめますという宣言をしました。 note.com また、こちらの記事にもチーム設立の背景や課題についてまとめています。 tech.layerx.co.jp 10か月活動してみて、いろいろと解像度が上がってきたので、一度まとめておこうと思…

バクラク事業部による AWS コスト管理の課題に対して行った3つの取り組み

こんにちは!バクラク事業部 Platform Engineering 部 DevOps チームの多田(@tada_infra)です。7月はLayerX エンジニアブログを活発にする期間でして、ぜひ左記のリンクを辿って気になる記事を見ていただけるとありがたいです!先週の金曜日は Natsuo さんの…

バクラク事業におけるデータ組織とデータ基盤 2023

お世話になっております。LayerXの高際 @shun_tak と申します。現在は、データ分析組織の立ち上げに注力しています。 本記事では、バクラク事業におけるデータ組織とデータ基盤をテーマに取り扱います。データ分析における認知負荷や属人性を解消するための…