LayerX エンジニアブログ

LayerX の エンジニアブログです。

機械学習モデルとの付き合い方 ー LayerXサマーインターンシップ受け入れを通じて感じたこと

はじめに 深澤 (@qluto) です。 LayerXの機械学習グループでは、今年8月から9月にかけて、初のサマーインターンシップを開催しました。参加者のスケジュールに合わせた柔軟なプログラムで、3週間という短期間ながら、機械学習技術を核とした機能開発に取り組…

【Data-centric AI】Confident Learningによるデータセットの品質改善【固有表現抽出編】

はじめに こんにちは。機械学習エンジニアの上川です。LayerXでは、バクラクのAI-OCR機能の精度改善に取り組んでいます。本記事では、Data-centric AIにまつわる技術を用いて、AI-OCRデータセットの品質改善を行うための技術検証を行なったのでその紹介をし…

【YAPC::Hakodate 2024 参加レポート】LayerXにおけるLLMのプロダクト活用 #yapcjapan

こんにちは、LayerX Fintech事業部エンジニアの伊藤( @etaroid )です。 この記事は、2024年10月4日(金) ~ 2024年10月6日(日)に北海道函館市で開催されたYAPC::Hakodate 2024への参加レポートです。 今回LayerXは、プラチナスポンサー&学生支援スポンサーと…

LayerXはYAPC::Hakodate 2024にプラチナスポンサー&学生支援スポンサーとして協賛します

Engineering Officeの@serimaです。 LayerX は、YAPC::Hakodate 2024にプラチナスポンサー&学生支援スポンサーとして協賛します。 2024年2月に広島で行われたYAPC::Hiroshimaでも同様に協賛していたので、2回連続での協賛となります。 tech.layerx.co.jp YA…

LayerXにおけるOpenMetadataのインフラ構成とコスト削減について

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味(ビジネスメタデータ)、運用状況や品質情報(オペレーショナルメ…

本番同様のデータを扱えるdbtテスト環境をSnowflakeで構築する方法

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

意思決定に基づくはずのオペレーションを追跡し、監査を効率化する話

LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ SIEMからデータ基盤へ …

dbt Python model × Snowparkで外部APIのデータを取得する

はじめに dbt(data build tool) Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱…

フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します & 2名登壇します! #frontendo

LayerX は、フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します。 また、LayerX のソフトウェアエンジニアが2名が登壇を予定しています。 フロントエンドカンファレンス北海道2024 とは 2024年8月24日(土)に北海道札幌市で開催…

バクラクのデータセットを用いた項目領域推定とレイアウト情報の重要性

こんにちは。機械学習エンジニアの上川です。本記事では、バクラクのデータを用いて書類上の項目領域を推定する物体検出モデルを構築し、項目領域の推定におけるレイアウト情報の重要性について考察を行ったので、その紹介をします。 AI-OCRにおけるレイアウ…