2024-01-01から1年間の記事一覧
はじめに 深澤 (@qluto) です。 LayerXの機械学習グループでは、今年8月から9月にかけて、初のサマーインターンシップを開催しました。参加者のスケジュールに合わせた柔軟なプログラムで、3週間という短期間ながら、機械学習技術を核とした機能開発に取り組…
はじめに こんにちは。機械学習エンジニアの上川です。LayerXでは、バクラクのAI-OCR機能の精度改善に取り組んでいます。本記事では、Data-centric AIにまつわる技術を用いて、AI-OCRデータセットの品質改善を行うための技術検証を行なったのでその紹介をし…
こんにちは、LayerX Fintech事業部エンジニアの伊藤( @etaroid )です。 この記事は、2024年10月4日(金) ~ 2024年10月6日(日)に北海道函館市で開催されたYAPC::Hakodate 2024への参加レポートです。 今回LayerXは、プラチナスポンサー＆学生支援スポンサーと…
Engineering Officeの@serimaです。 LayerX は、YAPC::Hakodate 2024にプラチナスポンサー＆学生支援スポンサーとして協賛します。 2024年2月に広島で行われたYAPC::Hiroshimaでも同様に協賛していたので、2回連続での協賛となります。 tech.layerx.co.jp YA…
こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 我々のデータ基盤では、データカタログソリューションとしてOpenMetadataを導入し、データのビジネス的な意味（ビジネスメタデータ）、運用状況や品質情報（オペレーショナルメ…
こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用…
LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 ログ一元管理の本質とSIEMの限界 - データ基盤への道 - LayerX エンジニアブログ SIEMからデータ基盤へ …
はじめに dbt（data build tool） Python modelとSnowflakeのSnowparkを活用することで、データ取得と変換の開発体験の向上を実現できます。SQLは宣言的な言語であり、複雑な手続き的な処理を書くには限界があります。しかし、dbt Python modelはそのSQLの弱…
LayerX は、フロントエンドカンファレンス北海道2024にゴールドスポンサーとして協賛します。 また、LayerX のソフトウェアエンジニアが2名が登壇を予定しています。 フロントエンドカンファレンス北海道2024 とは 2024年8月24日（土）に北海道札幌市で開催…
こんにちは。機械学習エンジニアの上川です。本記事では、バクラクのデータを用いて書類上の項目領域を推定する物体検出モデルを構築し、項目領域の推定におけるレイアウト情報の重要性について考察を行ったので、その紹介をします。 AI-OCRにおけるレイアウ…
機械学習エンジニアの吉田です。今回は、LLM (Large Language Models) を活用して、機械学習モデルに必要なデータのアノテーション作業を効率化する取り組みについて紹介します。 なお、アノテーションにおけるLLMの利用に関しては、クラウドベンダー各社及…
自己紹介 LayerX Fintech事業部のきむ(@jkcomment)です。 現在はFintech事業部にて、デジタル証券で資産運用ができる個人向け投資サービス「ALTERNA（オルタナ）」を開発しています。 最近ランニングを始めました。 10月に大会出る予定ですが、暑すぎてお家…
LayerX Fintech事業部*1で、セキュリティ、インフラ、情シス、ヘルプデスク、ガバナンス・コンプラエンジニアリングなど色々やってる @ken5scal です。 今日はFintech事業部らしく、金融庁が意見募集をしていた「金融分野におけるサイバーセキュリティに関す…
こんにちは！バクラク事業部Platform Engineering部DevOpsグループの id:sadayoshi_tada です。 LayerXは2024/08/03(土)から開催されるSRE NEXT 2024にSILVERスポンサーとして協賛します。また、メンバー1 名がパネルディスカッションに登壇します。 sre-nex…
こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越（@nt_4o54）です。 7月はLayerXのエンジニアブログがたくさん出る#ベッテク月間です。LayerXの行動指針の一つである「Bet Technology」を略して…
こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社では、Google CloudのBigQuery上にデータ基盤を構築しています。BigQuery上に構築したデータ基盤は、dbt (Data Build Tool) を用いてELTします。ELTとは、Extract（抽出）…
今回の記事は、dbt-snowflakeでSingle Sign-Onを使用する際にウェブブラウザのタブが大量に開かれる問題と解決策を提示します。最初に、前提知識となる、dbt-snowflakeとdbt-snowflakeで使用するSingle Sign-Onについて説明します。その後、課題と解決策につ…
こんにちは。 LayerX バクラク事業部 バクラクビジネスカード開発チームEMの 高江（@shnjtk）です。 今回の記事では、先日開催された開発生産性Conference 2024にて私の登壇の中でご紹介したコードレビューガイドラインについて、登壇の中ではご紹介しきれな…
自己紹介 LayerXの Etaro ( @etaroid )です。 現在はFintech事業部にて、デジタル証券で資産運用ができる個人向け投資サービス「ALTERNA（オルタナ）」を開発しています。 好きなONE PIECEのキャラは、ハグワール・D・サウロです。 Fintech事業部とALTERNAと…
Amazon S3 / Google Cloud Storage にある大量・巨大なファイルを COPY INTO で Snowflake へデータロードする際に押さえておくべきポイントを備忘録的に記しておきます。 前提となるデータロード 以下のようなユースケースにおけるCOPY INTO の利用を想定し…
今回の記事では、Snowpipe StreamingとAmazon Data Firehoseを使用して、Snowflakeへストリームデータをロードする方法を紹介します。最初に、Snowpipe StreamingとAmazon Data Firehoseに関して基礎的な説明を行います。その後、Snowpipe StreamingとAmazon…
こんにちは、すべての型をバクソクにしたいypresto (プレスト) です。 バクラク請求書受取の開発チームのエンジニアをしています。LayerXには1月に入社しまして、初のブログです。 ベッテク月間の7月11日32時の投稿となります。 5月11日の話になりますが、TS…
すべての経済活動を、デジタル化するために、すべての業務活動を、デジタル化したいコーポレートエンジニアリング室の @yuya-takeyama です。 週末は Festival Fruezinho という音楽フェスに参加し、アルゼンチンの音響派フォークシンガー・Juana Molina を…
こんにちは、すべての経済活動をデジタル化し、圧倒的に使いやすいプロダクトを届け、働くをラクにしたいmakogaです。 今回は私が所属しているバクラク事業部の入社時研修でプロダクト組織理解というコンテンツを実施した話です。LayerXの行動指針にはBet Te…
LayerX Fintech事業部 (※) の piroshi です。※ 三井物産デジタル・アセットマネジメント (MDM) に出向しています。 入社から 9ヶ月が経ちました。現職では業務領域がだいぶ広がったな〜と感じたので、その点についてｻｻッと振り返ってみたいと思います。 業務…
こんにちは！Fintech事業部でVPoEをしています @takochuu です。 仕事の傍ら、インターネットウォッチをして保護猫を3匹育てています。(保護猫はいいぞ) 先日社内でインタビューしてもらったのでよろしければ読んでみてください。 note.layerx.co.jp 今回は…
『Don't Use Passwords in Your Snowflake Account』というタイトルで、Snowflakeのアカウントレベルでパスワード認証を禁止する方法を紹介します。
こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。 7月はエンジニアブログがたくさん出る #ベッテク月間です。今後も記事が出ますので、どんな記事がでるのかこちらのカレンダーからよければチェックしてみてく…
こんにちは！LayerXのバクラク事業で機械学習・データ周りを担当しております、たかぎわ (@shun_tak) と申します。 みなさま、ChatGPTの登場に衝撃を受け、これを日々の生活やビジネスに活用されていることかと思います。わたしも社内でChatGPT活用の勉強会…
すべての経済活動を、デジタル化するために、すべての業務活動を、デジタル化したいコーポレートエンジニアリング室の @yuya-takeyama です。 7月はBet Technology Monthということでブログがたくさん出てくる月です。 そして7月といえば、第二四半期の始ま…
