データ検索基盤チームの立ち上げ
LayerX Ai Workforce事業部でデータ検索基盤チームのマネージャーを務めている澁井（しぶい）です。先日、R&Dチームを立ち上げた際のエピソードを執筆しましたが、今回はそれに続く第2弾として、新たに「データ検索基盤チーム」を立ち上げた経緯についてお話しします。 tech.layerx.co.jp
生成AIはデータの時代
生成AI時代に差別化を生むのはデータです。
もちろん技術やビジネスモデル、営業力等々、多様な要素も重要ですし、生成AIがなくてもデータは重要です。生成AIが登場し広まったからこそ、なぜデータがクリティカルに重要となるのか、そして生成AIによってデータエンジニアリングがどう変わるのかを説明します。
数多あるLLM/VLMの革新的な能力の一つに、LLM/VLMが多様なモダリティのデータを理解できること、そして推論を構造化して出力できることが挙げられると思います。OpenAI GPTやGoogle Geminiだと、前者がLLMそのものに加えてFile APIやImage API、後者がStructured Output（構造化出力）となります。これらを革新的と考える理由は、これまでソフトウェアが高い品質で扱うことが難しかった非構造化データやマルチモーダルデータを、LLM/VLMを通して簡単に情報抽出、変換できるようになったことです。そしてその出力形式にStructured Outputを使うことで、非構造化データを構造的に再定義することができます。その延長線上には、ビジネスドキュメントやグラフ、絵や動画といった複雑性の高いコンテンツをデータシステムに取り込んで利活用する世界があります。これまで存在していたけど、システムとして高精度に扱うことができなかった情報がデータ化されるのです。深ぼってみたくなりませんか？
生成AIと情報抽出
例えば、イベント登壇や営業提案、社内説明等々でMicrosoft PowerPointやGoogle Presentationでスライドを作ることは多々あります。こうしたスライド資料は多種多様な用途で使われ、人間に理解しやすい便利なツールとなっている一方で、LLM/VLM以前にデジタルにスライドをデータとして扱うことは難しかったと思います。スライドにはテキストのみならず、ダイアグラムやグラフ、画像等の情報が詰め込まれており、その内容を情報抽出するためにはOCRや画像認識、ディープラーニング等を組み合わせる必要があったでしょう。そしてその抽出処理の難易度や精度はすぐ手が出せる状態ではありませんでした。
しかしここ数年で一気に発展したLLM/VLMでは、GPTやGeminiのAPIコール1回でスライドの情報を高い精度で抽出して解釈することが可能となっています。以下はその一例です。テキストやグラフを含んだ左図のスライド画像をChatGPTのGPT-5にアップロードし、「JSON形式でデータを抽出してください」と指示するだけで、右図のようなデータを抽出することができます。これのすごいところは、グラフの数値や傾向まで含めて正確に認識して出力している点です。LLM/VLM以前であれば画像化されたグラフをデータとして扱うためには物体認識やセグメンテーション等の技術を組み合わせて学習して・・・ということが必要でしたが、画像言語の基盤モデルによって、それが1回のAPIコールで実現できるようになっています。
もちろん画像以外にも、LLMを用いて複雑なテキストドキュメント（契約書や法律文書、見積書等々）を含めて高いレベルで情報抽出し、整理することが可能です。
こうした能力を起点にして考えられる世界は、これまで構造化してデータ検索システムに取り込むことが難しかったドキュメントのような非構造化データやマルチモーダルデータを、構造的に整理してデータ検索システムを再定義することができるということです。しかも、そのデータ定義や取り込みはとても容易に（プロンプト定義とAPIコール、またはLLMのワークフロー※）で実現できます。
そしてこうした非構造化マルチモーダルドキュメントのためのエンタープライズ向けデータ検索システムは前例のない取り組みとなるでしょう。これまで扱うことが難しかったドキュメントをデータ化できる、そこに手が届く技術革新があったからこそ、エンタープライズ向けデータ検索システムを実践することを検討できるのです。
※ドキュメント処理のためのLLMのワークフローやAIエージェントは自動的に作ることができます。 LLMで業務ワークフローを自動生成・最適化する! 〜ワークフロー自動生成・最適化の取り組みについて〜
データを使う、データを価値に変える、そして価値をデータにする
ドキュメントからデータを構造的に抽出しただけではビジネス価値にはなりません。データを検索してアプリケーションやエージェントで有用に使えるようにするエンジニアリングが必要です。ここに私がLayerXのAi Workforce事業部でデータ検索基盤チームを立ち上げた意志があります。
Ai Workforceではエンタープライズ向けに多様な業務を自動化するAIエージェントのプラットフォームを開発し、お客様に提供させていただいております。Ai Workforceは特定の業務やドキュメントに限定せず、汎用的なAIエージェントプラットフォームを目指しています。
実際、特定の業務や業界に特化したほうがビジネスや開発はやりやすいのではないか、ということはよく言われます。短期的に見ればそのとおりだと思います。他方で、Ai Workforceがコミットしているエンタープライズは、1つの業務や1つの部署だけで成り立っているわけではありません。基本的に専門性を持った各部署がそれぞれの業務を連携して執行することで、企業が成り立ちます。そしてそれぞれの部署や業務にそれぞれのドキュメントや情報があります。言い換えると、情報やデータは部署や業務で散らばって存在しているが、実際の業務では連携してコミュニケーションしていることになります。
一般的な業務特化のシステムであれば特定利用域のデータが蓄積されるでしょう。しかしそれでは企業の持つデータ全体を把握することはできません。クラウドサービスのように汎用的な基盤にデータを集約することはできるでしょう。しかしそこにはデータを利用する業務的な仕組みがありません。汎用的な業務に対してAIエージェントで多様なドキュメントを処理するAi Workforceだからこそ把握できるデータの総合体があります。
他方で、異なる方式や目的のデータを統合するのは簡単ではありません。特にLLM/VLMでマルチモーダルドキュメントから抽出できるようになったデータのスキーマを統一的に定義することは不可能と言えます。契約書には契約書、見積書には見積書、スライドにはスライドそれぞれに適したスキーマがあるでしょう。もちろんドキュメント間に共通の外部キーのようなものがあるわけではないので、テーブルデータをJOINするような方式で統合することもできません。
そこで我々が注目して研究しているのが意味でデータ間を繋げる技術です。LLM/VLMはテキストやEmbeddingを通してドキュメントの意味を構造化することができます。たとえばナレッジグラフのように、LLM/VLMの情報抽出技術をベースにして、異なる背景と文脈で作られた多様な方式と情報を持つデータ間に意味のある関係性を見出して繋げます。ここ1、2年でGraphRAGやマルチモーダルGraphRAGが登場しており、LLM/VLMで複雑性を持った情報をグラフ構造として再整理し、RAGとして情報活用する技術が注目されてきています。
検索して利活用可能になるデータは、もちろん量が多くて多様性に富んでいるほうが望ましいでしょう。一部のデータであれば人間が把握できるかもしれませんが、企業全体の業務にまたがったドキュメントとデータとなると、人間が全体像を整理して理解することは不可能に近いと言えます。そうしたデータの世界を作ることは、業界業務に縛られない汎用的なAIエージェントで多様なドキュメントとデータを扱うAi Workforceだからこそできることです。
生成AIはデータの時代です。しかも、これまで扱えなかったデータを高いレベルでデジタルに処理することができる時代です。生成AIやAIエージェントを起点にして新しいデータ検索エンジニアリングの挑戦をするため、私はAi Workforce事業部でデータ検索基盤チームを起ち上げました。
最後に、データ検索基盤チームで検索テックリードとして働いている鷹取さんから、データ検索基盤チームでの挑戦について寄稿いただいております。
検索（ @Satoshi Takatori ）
LayerX Ai Workforce事業部で検索エンジニアをしている、鷹取（@takatori）です。
Ai Workforce事業部では2024年10月にデータ検索基盤チームが立ち上がりました。今回は、チーム発足から3ヶ月が経過した今の状況や、取り組んでいる課題について紹介します。
Ai Workforce事業部における検索の役割
Ai Workforce事業部では、生成AIプラットフォームを開発・提供しています。エンタープライズのお客様が持つPDFやOfficeドキュメント（Word/Excel/PowerPoint）、画像といった多様な資料のドキュメントワークをAIを活用することで自動化することを目指しています。
このプロセスにおいて、検索精度はプロダクトの価値に直結する要素です。
多様なユースケースへの対応
エンタープライズの業務は多種多様です。ユースケースごとに個別実装をしていたらスピードが追いつきません。そのため、基盤として共通化できる部分は共通化し、顧客ごとに個別のカスタマイズが柔軟に行えるような構成にすることで、顧客の要望に迅速に応える必要があります。
また、通常のユーザーによる検索だけでなく、AI Agent（RAG）が参照するための検索も不可欠な要素となっています。
ゼロからの構築：今向き合っている課題
Ai Workforce自体がリリースからそれほどたっておらず、検索基盤チームに至っては発足して3ヶ月という段階です。現在は、基盤と呼べるものをゼロから構築している真っ最中です。
Ai Workforceはプラットフォームであり、その上でお客様の多様なビジネスロジックが動きます。検索基盤にできることが限られてしまうと、プロダクト全体の競争力が削がれてしまいます。そのため、以下のような幅広い機能を揃えていく必要があります。
- 検索手法: 全文検索、ベクトル検索、それらを組み合わせたハイブリッド検索
- 精度向上: Rerankerの導入や、RAGの精度を高めるためのKnowledge Graph（グラフ検索）の活用
- エンタープライズ要件: 複雑な権限管理を維持しつつ、柔軟に検索できる仕組み
- 評価基盤: 検索精度やエージェントの回答精度を定量的に測定する仕組み
これらを次々とリリースしていくためのパイプライン作りも必要です。やりたいことは山ほどありますが、まだ手が回りきっていないのが実情です。 チームでは毎週勉強会を実施し、最新の論文や技術についてキャッチアップしながら、これらを実現するための設計を進めています。
検索エンジニアとしての面白さ
特定のサービスにおける検索であれば、そのドメインの検索精度を突き詰めることに集中できます。しかし、Ai Workforceは、さまざまなユースケースを相手にするプラットフォームです。
書籍『検索システム ― 実務者のための開発改善ガイドブック』では、「検索機能は総合格闘技」と表現されています。データモデリング、インデクシング、UI/UX、プロジェクトマネジメントなど、複数の領域を統合して考える必要があるからです。
Ai Workforceでの開発は、この総合格闘技を「複数の団体や異なるルール」で同時に戦うような難しさがあります。一つの精度向上だけでも一筋縄ではいかないなかで、いかに汎用的かつ高精度な基盤を作るか。日々頭を悩ませていますが、エンジニアとして非常にチャレンジングな環境です。
まとめ
ここまで書いてきた通り、Ai Workforce事業部のデータ検索基盤チームでは従来の検索やデータエンジニアリングとは多少異なる検索やデータのエンジニアリングを目指しています。この領域は新しい領域と言えます。チャレンジしかありません。
もし検索エンジニア、データエンジニアとしてLLM/VLMやAIエージェントの世界で新しい一歩を踏み出したいと思った方は、ぜひ以下OpenDoorからカジュアル面談でお話しましょう！
