先日福島から大規模言語モデルに触れた記事が出ました。
この記事の前後から様々な取り組みを続けてきたのですが、この度より会社として本気で大規模言語モデルに取り組もうということでLayerX LLM Labsの立ち上げを決定しました。私も最近多くの時間をLLMに充てています。小規模なチームになりますが、一緒に挑戦いただけるエンジニアやPMの方も募集中です。
本記事ではそのLLM Labsの立ち上げ背景について触れていきたいと考えています。
大規模言語モデルという新しいインターフェイス
ChatGPTブーム以降急激に認知が広がった大規模言語モデルですが、直近ではこの機械学習モデルを取り込んだサービスも増えつつあります。膨大なテキストデータを学習することで、与えられた文に続く自然な文を予測するというシンプルな仕組みですが、そこからは考えられない幅広い能力を見せるようになりました。
例えば、最近ではGPT-4は計算機そのものの性質をもつ、という論文が発表されています。
様々な応用を見せる大規模言語モデルですが、私はこのモデルの重要な側面として人類史上初めて「人類が言葉で機械に意図を伝えられるようになる」という新しいインターフェイスを生み出したことが挙げられると思っています。
これまでのプロダクト開発では、特定のタスクを解くために、プロダクトマネージャがお客様の意図を把握し、それをデザイナーがあるべきUX設計を考え、UIに落とし込み、ソフトウェアエンジニアがコードを書くことで機械に伝えていました。
一方で、大規模言語モデルでは自然言語を通じて、意図をそのまま機械に理解させある程度の曖昧さを持ったまま解決させるということを実現しています。もちろん、実際のところはまだまだ意図を明確に伝えるための工夫、いわゆるPrompt Engineeringが必要です。とはいえ、機能を実現するまでの距離は大きく短縮されたように思います。
ユーザーが直接ChatGPTのように意図を伝えることもあれば、プロダクト提供者がある程度そのプロセスの複雑な部分を表に出さない形でサービスをつくり、意図を伝えるサポートをすることで大規模言語モデルの威力を利用するといったことも増えていくでしょう。
新たなインターフェイスが誕生する、というのは強烈なインパクトだと考えています。コンピューター、インターネットとブラウザ、スマートフォンといった新たなインターフェイスの登場はその都度大きな産業変化を生み出してきました。大規模言語モデルも、もしかするとこの類の大きなインターフェイスの変化なのかもしれません。
SaaSの世界も変わるかもしれない
私達LayerXが作っているバクラクシリーズは、情報を必要な形に加工するという作業を機械学習とそれを前提としたUX設計で円滑にすることに価値があると考えています。例えばバクラク請求書ではPDF等の請求書を、OCRやその出力結果に対する意味付けの機械学習モデルを通じて人の手を介さず自動的に機械が扱いやすいフォーマットに落とし込んでいます。この機械が扱えるデータフォーマットを元に、作業をアシストし、様々なSaaSをつなぎ、新たな業務プロセスを提案することで、お客様に今までに無いと言っていただけるような使いやすさを提供できるよう意識してきました。
大規模言語モデルは、これまで機械が扱えなかった様々なデータ（PDFデータや文章等）に対して、自然言語とそのモデルが持つ応用力を利用して構造化データに落とし込むことを可能にしています。データ化が可能になるということは、ソフトウェアに任せる領域が増え自動化ができるということです。ということはつまり、これまで考えていた以上にお客様の体験を「バクラク」にする可能性が生まれたと考えています。バクラクに限らず、様々な領域でこうした取り組みが増えていくのかもしれません。
LayerXでの大規模言語モデルの今
具体的に今LayerXでも大規模言語モデルを使った様々な取り組みが始まっています。例えばNotion AIやChatGPTを業務利用するためのChatGPT Botの整備、ルールの整備などを通じてLayerXの業務にいち早く導入してきました。様々な議事録の要約やメッセージがNotion AIで生まれていますし、Notion AIやChatGPTが我々の思考のサポートにつながっています。
また開発においては、Visual Studio Codeのプラグインなども様々なチームで試しつつ、開発生産性の向上に大きく寄与することを感じています。特にテストケースの実装やコード差分の解説など、実際の業務でプラスにつながっているユースケースが多く見つかっています。将来は社内の開発ツールに大規模言語モデル連携を組み込みコーディング自体を減らしていけるのでは、などEnabling担当のsuguruさんやメンバーと会話していました。こちらは実際有効なのかまだ半信半疑なところですが、面白い概念だと思っています。
さらに、直近では営業プロセスの効率化ツールが登場しました。商談の動画や音声を元に商談内容を文書化・整理するなど営業活動における商談以外の業務を減らせる可能性が見えつつあります。お客様の業務をどのように効率化できるかといったコミュニケーションやサポートにエネルギーを使うためにも、それ以外の業務を減らしていくことはBizOpsの文脈で重視しているものとなります。
バクラクや三井物産デジタル・アセットマネジメントにおいてプロダクト開発に取り込もうという動きもすでに多方面で始まっています。毎週どこかしらのチームがハッカソンを行っており、出てくるデモはどれも刺激的なものばかりです。内容のサジェストや文面の作成、情報抽出など様々なユースケースにおいて、今までは専用に機械学習モデルを組み、それが動くシステムを組む必要がありました。しかし最近では、LLMを活用することによって、機械学習に取り組んだことの無いエンジニアが一日で同等の機能を作っています。驚異的という他ありません。
これだけのインパクトが様々な場所で見えてきており、よりこの動きを本格化させるべきという実感が高まっています。
LayerX LLM Labsの立ち上げ
そうした実証を通じて大規模言語モデルには専門でこの技術を理解し先端を走る組織を持つべきという結論に至りました。LayerX LLM Labsはそのための専任チームとなります。
大規模言語モデルという技術分野に特化し、このユースケースの調査や探求、時には学術的な取り組みも含めて、既存のプロダクトに縛られず広く向き合っていこうと考えています。Labsとしての取り組みを通じて大規模言語モデルの利用に習熟し、既存の事業チームへ知見を還元、EnablingしていくことがLabsのミッションとなります。
今後、技術検証やプロトタイプの開発、さらには新たな事業の立ち上げも選択肢に含めていこうと考えています。もちろんまずは既存の事業でこの技術を活かしていくことでLayerXをより成長させていくわけですが、可能性を考えると取り組み方に限定を与えるべきではないと考えています。だからこそのLabsとしての設立を意思決定しました。
これは全くの夢物語かもしれませんが、日本から新たな事前学習モデルを示していくことも将来的に取り組みたいとも考えています。試算しただけでも数十億、GPT-4クラスとなれば想像もつかないコストが要求され、またそれを正しく使えるだけの技術力と組織が必要になります。とはいえ、取り組むこと自体を可能性から排除する必要もないと考えています。直近、LLaMAベースの様々なFine-tuningされたモデルが登場していますがこれらの取り組みも参考にしつつ、自前のモデルの意義や取り組み方も考え続けていきたいです。
最後に
大規模言語モデルは現時点でも驚くべき力を秘めていますが実際のところ、どこまでこの技術が進化していくのか皆目検討がつきません。もしかすると今考えていることと全く違う形で大規模言語モデルが使われたり、思ったよりインパクトが小さかったなんてことも0ではないと思いますが、今時点では向き合うべき巨大な変化だと思っています。
この技術が、すべての経済活動をデジタル化することに資する重要なピースの一つだとも考えています。だからこそ今後何が起きるのか、その不確実な未来に対して正面から向き合うべきだと考えています。LayerX LLM Labsチームを中心にこの技術とどのように向き合いどのように活用していくか走りながら考えていきます。
大事なことは、とにかくコードを書き、Promptを書き、試していくことだと思います。ぜひ、コードを書きながら示して行きたく、自分と一緒に検証とプロダクト開発をすることに興味のあるエンジニアやプロダクトマネージャの方、お話しましょう。学生の方、社会人の方問いません。小規模なチームになりますがぜひ一緒に挑戦していきたく、よろしくおねがいします。
