機械学習エンジニアの吉田です。 この記事は2023年6月6日(火) ~ 6月9日(金)に熊本で開催されたJSAI2023 (第37回 人工知能学会全国大会) の参加レポートとなります。
LayerXとして今年はDEIM、NLPに続く3回目の学会参加となりました。 今回JSAIに初めてプラチナスポンサーとして協賛させていただき、企業ブースの展示とインダストリアルセッションにて技術報告をいたしました。 tech.layerx.co.jp
今年は現地とオンラインでのハイブリットでの開催となり、現地会場は空港からバスで約50分ほどの場所にある熊本城ホールで行われましたが、周辺にはホテルや飲食店も多くとても便利な場所でした。
現地の参加者も大変多く、セッションによっては立ち見も発生するなど大盛況でした。
インダストリアルセッション
インダストリアルセッションではLayerXにおける機械学習を活用したOCR機能の改善に関する取り組みについて発表いたしました。
当社で提供しているバクラクでは帳票をアップロードするだけで支払金額や支払期日などを自動で読み取ってくれるOCR機能があります。 このOCR機能はリリースからしばらくはルールベースで実装されていましたが、保守性や精度の向上に限界があったことから機械学習ベースの実装へ移行を行っております。
本セッションではルールベースから機械学習への移行に際してデータセットの作成やモデルの開発・評価をどのように進めていったか具体例を交えてご紹介させていただきました。
企業ブース
企業ブースでは学生や企業の方など多くの方にお立ち寄りいただきインダストリアルセッションではお伝えしきれなかった内容やバクラクの機能についてデモを交えてご紹介させていただきました。
学生や大学の先生方からはインターンや新卒採用についてのご質問も多くいただき、普段なかなか接点をもつことができない方々ともお話しすることができるのは学会ならではの魅力だと感じました。 LayerXのインターンや新卒採用にご興味のある方は本記事の最後にリンクを貼っておりますのでぜひお気軽にご応募ください！
セッション聴講
以下に私が聴講したセッションの中から印象に残ったものをいくつかご紹介いたします。
[2H5-OS-8a-02] 自己回帰型言語モデルによる個人の移動軌跡の生成
スマートフォンの移動ログを含む位置情報データを用いて、個人の移動軌跡を生成する手法についての発表でした。
移動場所と移動間隔をトークン列に置き換え、自宅や天気、性別といった個人や環境属性も同様にトークン化することでGPT-2を学習させることができるようになり、従来の手法と比べて精度の高い移動軌跡のデータを生成することができるようになったと示されていました。
他にもいろいろ応用ができそうな非常に面白い研究でした。
[1O5-GS-7-05] マルチアスペクト比Vision Transformerを用いたディスプレイ広告効果の予測
ViTでは固定サイズの画像しか扱えないため、アスペクト比が異なる画像の場合リサイズやクロップなどの前処理が必要となることが多いが、広告効果を予測する上で画像のアスペクト比は人が見たときの印象を変えてしまうため重要な情報であるという背景があります。
本研究では前処理と相対位置バイアスを工夫することで異なるアスペクト比の画像をアスペクト比の情報を保持したまま扱うことが可能な Multi Aspect Ratio Vision Transformer(MarViT) というモデルを提案されていました。
極力パディング領域の面積を小さく抑え、アスペクト比の情報を保持することで、前処理で画像をリサイズした場合と比べて精度が向上することを示されていました。
[3B5-TS-5] 基盤モデルの技術と展望
チュートリアルセッションでは東京大学松尾研究室の岩澤さんによる基盤モデルの技術と展望についての発表がありました。
LLMをはじめとした基盤モデルの技術動向ついて膨大な文献をもとに分かりやすく整理されていて非常に勉強になりました。
[2D3-LS-4-01] 最先端のML開発チームが利用するwandbを使ったLLMチューニング
Weights & Biases Japanのランチョンセッションに参加しました。
wandbの基本的な使い方から、LLMトレーニングにおけるLangChainとのインテグレーションなどデモを交えてご紹介いただきました。弊社でも機械学習の実験管理にwandbを利用しているので今後の機能追加にも期待しています！ (ちなみにwandbはワンディービーではなくワンドビーと読むのが正しいようです)
ポスターセッションも大盛況でした。
さいごに
企業ブースや交流会では多くの方とお話しすることができ、非常に有意義な学会参加となりました。 今回の学会での発表やブース運営に携わってくださった方々に感謝いたします。
最後に、LayerXではインターンシップや新卒採用を募集しております。JSAIでお話した方もそうでない方も興味のある方はぜひ以下のリンクからご応募ください！
