はじめに dbt（data build tool） Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱…

LayerX は、フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します。 また、LayerX のソフトウェアエンジニアが2名が登壇を予定しています。 フロントエンドカンファレンス北海道2024 とは 2024年8月24日（土）に北海道札幌市で開催…

こんにちは。機械学習エンジニアの上川です。本記事では、バクラクのデータを用いて書類上の項目領域を推定する物体検出モデルを構築し、項目領域の推定におけるレイアウト情報の重要性について考察を行ったので、その紹介をします。 AI-OCRにおけるレイアウ…

機械学習エンジニアの吉田です。今回は、LLM (Large Language Models) を活用して、機械学習モデルに必要なデータのアノテーション作業を効率化する取り組みについて紹介します。 なお、アノテーションにおけるLLMの利用に関しては、クラウドベンダー各社及…

自己紹介 LayerX Fintech事業部のきむ(@jkcomment)です。 現在はFintech事業部にて、デジタル証券で資産運用ができる個人向け投資サービス「ALTERNA（オルタナ）」を開発しています。 最近ランニングを始めました。 10月に大会出る予定ですが、暑すぎてお家…

LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 今日はFintech事業部らしく、金融庁が意見募集をしていた「金融分野におけるサイバーセキュリティに関す…

こんにちは！バクラク事業部Platform Engineering部DevOpsグループの id:sadayoshi_tada です。 LayerXは2024/08/03(土)から開催されるSRE NEXT 2024にSILVERスポンサーとして協賛します。また、メンバー1 名がパネルディスカッションに登壇します。 sre-nex…

こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越（@nt_4o54）です。 7月はLayerXのエンジニアブログがたくさん出る#ベッテク月間です。LayerXの行動指針の一つである「Bet Technology」を略して…

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、Google CloudのBigQuery上にデータ基盤を構築しています。BigQuery上に構築したデータ基盤は、dbt (Data Build Tool) を用いてELTします。ELTとは、Extract（抽出）…

今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…