LayerX エンジニアブログ

LayerX の エンジニアブログです。

AWS Security Lakeのお金でチョット困った話

LayerX Fintech事業部(三井物産デジタル・アセットマネジメント(MDM)に出向)で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプライアンスエンジニアリングなどを担当している @ken5scal です。 本件はLayerXが主催するコーポレート…

インターンでDevSecOpsな脆弱性管理システムの開発に取り組みました!

※本ブログに取り組んだ本人は既に卒業済みのため、メンターである@ken5scal(鈴木研吾)が本人からいただいたドラフトを一部編集した上で公開しています。 ※ドラフト自体は7月にいただいていたのですが、手違いにより公開が遅れてしまいました。 こんにちは…

機械学習モデルとの付き合い方 ー LayerXサマーインターンシップ受け入れを通じて感じたこと

はじめに 深澤 (@qluto) です。 LayerXの機械学習グループでは、今年8月から9月にかけて、初のサマーインターンシップを開催しました。参加者のスケジュールに合わせた柔軟なプログラムで、3週間という短期間ながら、機械学習技術を核とした機能開発に取り組…

【Data-centric AI】Confident Learningによるデータセットの品質改善【固有表現抽出編】

はじめに こんにちは。機械学習エンジニアの上川です。LayerXでは、バクラクのAI-OCR機能の精度改善に取り組んでいます。本記事では、Data-centric AIにまつわる技術を用いて、AI-OCRデータセットの品質改善を行うための技術検証を行なったのでその紹介をし…

【YAPC::Hakodate 2024 参加レポート】LayerXにおけるLLMのプロダクト活用 #yapcjapan

こんにちは、LayerX Fintech事業部エンジニアの伊藤( @etaroid )です。 この記事は、2024年10月4日(金) ~ 2024年10月6日(日)に北海道函館市で開催されたYAPC::Hakodate 2024への参加レポートです。 今回LayerXは、プラチナスポンサー&学生支援スポンサーと…

LayerXはYAPC::Hakodate 2024にプラチナスポンサー&学生支援スポンサーとして協賛します

Engineering Officeの@serimaです。 LayerX は、YAPC::Hakodate 2024にプラチナスポンサー&学生支援スポンサーとして協賛します。 2024年2月に広島で行われたYAPC::Hiroshimaでも同様に協賛していたので、2回連続での協賛となります。 tech.layerx.co.jp YA…

LayerXにおけるOpenMetadataのインフラ構成とコスト削減について

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味(ビジネスメタデータ)、運用状況や品質情報(オペレーショナルメ…

本番同様のデータを扱えるdbtテスト環境をSnowflakeで構築する方法

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…

意思決定に基づくはずのオペレーションを追跡し、監査を効率化する話

LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ SIEMからデータ基盤へ …

dbt Python model × Snowparkで外部APIのデータを取得する

はじめに dbt(data build tool) Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱…

フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します & 2名登壇します! #frontendo

LayerX は、フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します。 また、LayerX のソフトウェアエンジニアが2名が登壇を予定しています。 フロントエンドカンファレンス北海道2024 とは 2024年8月24日(土)に北海道札幌市で開催…

バクラクのデータセットを用いた項目領域推定とレイアウト情報の重要性

こんにちは。機械学習エンジニアの上川です。本記事では、バクラクのデータを用いて書類上の項目領域を推定する物体検出モデルを構築し、項目領域の推定におけるレイアウト情報の重要性について考察を行ったので、その紹介をします。 AI-OCRにおけるレイアウ…

LLMを活用した機械学習モデルのアノテーション効率化

機械学習エンジニアの吉田です。今回は、LLM (Large Language Models) を活用して、機械学習モデルに必要なデータのアノテーション作業を効率化する取り組みについて紹介します。 なお、アノテーションにおけるLLMの利用に関しては、クラウドベンダー各社及…

数字を意識せよ! 数字を見る as 品質を実現している話

自己紹介 LayerX Fintech事業部のきむ(@jkcomment)です。 現在はFintech事業部にて、デジタル証券で資産運用ができる個人向け投資サービス「ALTERNA(オルタナ)」を開発しています。 最近ランニングを始めました。 10月に大会出る予定ですが、暑すぎてお家…

金融庁のサイバーセキュリティに関するガイドラインを読んだ話

LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 今日はFintech事業部らしく、金融庁が意見募集をしていた「金融分野におけるサイバーセキュリティに関す…

SRE NEXT 2024のSILVERスポンサーとして協賛 & 1名登壇します #srenext

こんにちは!バクラク事業部Platform Engineering部DevOpsグループの id:sadayoshi_tada です。 LayerXは2024/08/03(土)から開催されるSRE NEXT 2024にSILVERスポンサーとして協賛します。また、メンバー1 名がパネルディスカッションに登壇します。 sre-nex…

経費科目推薦機能の機械学習アークテクチャ #ベッテク月間

こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越(@nt_4o54)です。 7月はLayerXのエンジニアブログがたくさん出る#ベッテク月間です。LayerXの行動指針の一つである「Bet Technology」を略して…

本番同様のデータを扱えるdbtテスト環境をBigQueryで構築する方法 #ベッテク月間

こんにちは!バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、Google CloudのBigQuery上にデータ基盤を構築しています。BigQuery上に構築したデータ基盤は、dbt (Data Build Tool) を用いてELTします。ELTとは、Extract(抽出)…

dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題を解決する #ベッテク月間

今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…

【開発生産性Conference 2024】バクラクビジネスカード開発チームのコードレビューガイドラインを公開します #ベッテク月間

こんにちは。 LayerX バクラク事業部 バクラクビジネスカード開発チームEMの 高江(@shnjtk)です。 今回の記事では、先日開催された開発生産性Conference 2024にて私の登壇の中でご紹介したコードレビューガイドラインについて、登壇の中ではご紹介しきれな…

LayerX Fintech事業部エンジニアの「領域横断な働き方」

自己紹介 LayerXの Etaro ( @etaroid )です。 現在はFintech事業部にて、デジタル証券で資産運用ができる個人向け投資サービス「ALTERNA(オルタナ)」を開発しています。 好きなONE PIECEのキャラは、ハグワール・D・サウロです。 Fintech事業部とALTERNAと…

SnowflakeにCOPY INTOでバルクロードする際のポイント #ベッテク月間

Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…

Snowpipe StreamingとAmazon Data Firehoseを使用してSnowflakeにストリームデータをロードする #ベッテク月間

今回の記事では、Snowpipe StreamingとAmazon Data Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。最初に、Snowpipe StreamingとAmazon Data Firehoseに関して基礎的な説明を行います。その後、Snowpipe StreamingとAmazon…

TSKaigi 2024で型とパフォーマンスについて発表しました (アーカイブ動画・VSCode拡張あり) #ベッテク月間

こんにちは、すべての型をバクソクにしたいypresto (プレスト) です。 バクラク請求書受取の開発チームのエンジニアをしています。LayerXには1月に入社しまして、初のブログです。 ベッテク月間の7月11日32時の投稿となります。 5月11日の話になりますが、TS…

Google Workspace でも Microsoft Entra ID の PIM で Just-in-Time Access (Terraform 設定つき) #ベッテク月間

すべての経済活動を、デジタル化するために、すべての業務活動を、デジタル化したいコーポレートエンジニアリング室の @yuya-takeyama です。 週末は Festival Fruezinho という音楽フェスに参加し、アルゼンチンの音響派フォークシンガー・Juana Molina を…

バクラク事業部の入社時研修でプロダクト組織理解というコンテンツを実施しました #ベッテク月間

こんにちは、すべての経済活動をデジタル化し、圧倒的に使いやすいプロダクトを届け、働くをラクにしたいmakogaです。 今回は私が所属しているバクラク事業部の入社時研修でプロダクト組織理解というコンテンツを実施した話です。LayerXの行動指針にはBet Te…

MDM のコーポレートシステム部門で働いてスキルセットが変わってきた話

LayerX Fintech事業部 (※) の piroshi です。※ 三井物産デジタル・アセットマネジメント (MDM) に出向しています。 入社から 9ヶ月が経ちました。現職では業務領域がだいぶ広がったな〜と感じたので、その点についてササッと振り返ってみたいと思います。 業務…

Be Animalに金融サービスを1年で作る ~僕たちのサービス立ち上げ1年戦争~ #ベッテク月間

こんにちは!Fintech事業部でVPoEをしています @takochuu です。 仕事の傍ら、インターネットウォッチをして保護猫を3匹育てています。(保護猫はいいぞ) 先日社内でインタビューしてもらったのでよろしければ読んでみてください。 note.layerx.co.jp 今回は…

Don’t Use Passwords in Your Snowflake Account

『Don't Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介します。

開発者が安心して実行可能なSQL実行基盤の導入と運用 #ベッテク月間

こんにちは!バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。 7月はエンジニアブログがたくさん出る #ベッテク月間です。今後も記事が出ますので、どんな記事がでるのかこちらのカレンダーからよければチェックしてみてく…