こんにちは、LayerX AI・LLM事業部でプロダクトマネージャー（PdM）をやっている稲生です。普段は生成AIを企業に導入するためのAi WorkforceというSaaSプロダクトの開発に携わっています。
サマリ
今回は、不具合のハンドリングをする中で活用できそうなAIエージェントを作ってみた、というご紹介です。運用者側の体験や実用性もよく、お客様に価値を届けるスピードも爆速になるのではと感じています。
外部の方にお使いいただくプロダクションレベルではなく、プロトタイプレベルになりますが、社内利用レベルなら少し手直しすれば導入できそうと考えています。
（まだ実践投入しているわけではないので、話半分で読んでいただけると幸いです）
作ったもの
Slack上での不具合報告をサポートしてくれるAIエージェントを構築しました。
ここで扱うのは、我々のサービスのお客様や社内関係者が検知した不具合を社内で共有するための不具合報告です。
社内関係者がSlack上で不具合をエージェントに伝えると、エージェントが不足している情報をヒアリングしながら、最終的に不具合チケットを起票してくれます。
（以下の例では一回で全ての情報に回答していますが、段階的に回答しても追加情報として確認してくれます）
Slack
Notion
裏側ではn8nを利用しており、OpenAI API、Slack、Notionと接続しています。
AIエージェントには、事前に役割・ゴール・サービスの環境などの情報をプロンプトとして組み込んでいます。
また、報告者とエージェントがやり取りをしながら情報をまとめるため、Slackのスレッド上のやりとりを記憶するようにしています。
不具合対応フローの前後比較
導入前はSlack・Notionを利用して人と人が往復をしていましたが、AIエージェントが間に入ることで効率的に不具合情報を集め、その後の優先度検討や対応がスムーズに進められるようになります。
参考：n8nとは
n8nはワークフローオートメーションツールで、異なるサービス間の連携を視覚的に構築できるオープンソースプラットフォームです。コードをほとんど書くことなく、さまざまなサービスを連携させることができます。AIサービスとの統合も充実しており、OpenAIなど各社のLLMを使ったワークフロー、エージェントを簡単に構築することができます。
不具合報告の重要性
不具合は、サービスの品質・信頼性を大きく左右する重要な要素です。とくにSaaSにおいては、バグが発生するとお客様の利用環境に直接影響が及び、サービス全体の評価やビジネスに悪影響を与える恐れがあります。
不具合の発生をゼロにすることは難しくても、早期発見・素早い共有・適切な対応を行うことで、被害を最小限に抑えたり、ユーザーからの信頼を維持・向上させたりできます。そのため、社内外を問わず不具合を検知した場合に、迷わず・正確に報告できる体制を整えておくことは、サービスを運用する上で欠かせません。
トリアージの必要性
とはいえ、検知されたすべての不具合を即座に修正することは、リソース面でも現実的ではありません。不具合の内容や影響範囲、緊急度を見極めて、優先度をつけて対応する必要があります。この優先度付けのプロセスを「トリアージ」と呼びます。
Ai Workforceでも、不具合はまずSlack上で報告してもらい、緊急度が高いものは即時対応、そうでないものはNotionへの起票を経てPdMチームが優先度を検討し、開発チームへ段階的に対応依頼を出すという運用をしています。開発チームのリソースには当然限りがあるため、PdM側で効果的にトリアージを行うことが、不具合解消を円滑に進めるうえでも非常に重要です。
不具合報告の課題
しかし、不具合報告を実際に運用していると、以下のような問題に直面することがあります。
- 報告内容の不足
- 報告の際に必要な情報が漏れていると、報告者・PdM・開発者が追加でやり取りしなければならず、お互いの時間を消費してしまいます。
- 報告に不備があるまま優先度を決めてしまうと、開発チームに不要なタスクをアサインする、もしくは対応が後手に回るなどのリスクが生じます。
- 認識の齟齬
- 例えば不具合報告の中の「社内で未確認」という表現が、「再現確認を試したが再現できなかった」のか「そもそも再現確認をしていない」のか曖昧なケースがあります。こうした微妙な表現の違いが、優先度判断に大きく影響することもあります。
- コミュニケーションの難しさ
- お客様への影響範囲やシステムの状況を齟齬なく伝えるためには、ある程度のプロダクト理解やエンジニアリング知識も必要です。
- 不具合の状況によって「再現性」「対象の識別子」など開発者が欲しい情報はさまざまですが、報告者がどこまで理解しているかによって得られる情報量に差が出てしまいます。
- スピードとの両立
- 重大な不具合が疑われる場合、情報が不十分でもまずは関係者に共有しておきたいというニーズがあります。スピードを重視するあまり情報の質が落ちたり、逆に情報を揃えるために時間をかけすぎて報告が遅れたりと、両立が難しい面があります。
このように、不具合報告では「必要な情報を正確に素早く集める」という難易度の高いタスクが求められます。社内の関係者がお互いの役割や状況をしっかり理解していないと、何度も往復してしまい、結果として対応の遅延や誤った優先度判断に繋がってしまいます。
解決のためのアイデア
上記の通り、不具合報告は情報の質と速度が求められ、誰でも簡単にできるものではなさそうです。しかし、プロダクトの品質を維持・向上させるためには関係者が迷いなく不具合報告を行えることが望ましいです。
そこで、報告者と他の関係者との間にAIエージェントを置き、足りない情報の確認や、認識齟齬が起こりそうな表現の検知、必要に応じた深掘りをAIエージェントが肩代わりしてくれると、情報の質を効率的に高めることができそうです。
これらを踏まえて、今回ご紹介したAIエージェントの構築を行ってみました。
今後のトライ
今回の内容はプロトタイプ的に構築したことと、社内のシステムにはまだ繋いでいないため、今後は実践投入もしていきたいですし、もう少し手を加えればさらに改善することができそうです。
- 不具合の内容に応じた深掘り
-
- AIエージェントからはまだ簡単な確認をしているレベルなので、内容に応じた深掘りを行う役割を持たせれば、さらに精度の高い不具合報告をまとめることができそうです。
- サービス仕様の把握
-
- AIエージェントからサービスの仕様書やマニュアルにアクセスできるようにすると、報告者の説明を確認・補完できるようになり、不具合報告の効率と正確さをさらに高めることができそうです。
- エスカレーション
-
- AIエージェントに緊急度が高い不具合の基準を教えれば、必要な関係者へエスカレーション（メンション）し、適切な情報共有を速やかに行うことができそうです。
- 不具合報告の重複防止
- 起票済みの未対応のチケットをAIエージェントが確認するようにすれば、不具合の重複を弾き、人による不要な確認を減らすことができそうです。
Devinじゃダメなの？
ちなみに、弊社では最近ちょっとした改修や不具合の修正にDevinを利用しています。SlackでDevinにお願いすると、不具合修正などを進めてくれ、内容次第ですが開発者の手間をかなり減らすことができます。
不具合を報告するのではなく不具合を報告する人が直接Devinにお願いする形も可能性の1つですが、最終的には人の目で動作やコードの確認が必要となり、開発者がボトルネックとなってしまいます。そのため、今回はDevinの使い所とは分け、その手前の効率化を検討してみました。
もしかすると、将来的には今回作ったAIエージェントが優先度も判断してDevinにお願いするようになるかもしれません。
社内でのDevinの活用事例として、以下の記事もぜひご参照ください。
感想その１（AIエージェントを構築してみて）
今回構築したものは社内関係者にとって良い体験となりそうです。
- AIエージェントが不具合報告者と自然な会話をしながら必要な情報をしっかり聞き出してくれる。（箇条書きで返しても、文章で返しても簡潔に整理してくれる）
- 不具合報告の起票の手間を減らし、起票された内容も簡潔でわかりやすいものにしている。
- AIエージェントとのやりとりはSlack上で行われるので、他の関係者もリアルタイムに状況を知ることができる。
これによって不具合報告〜不具合対応をスムーズに行うことができ、お客様からの信頼にも繋げられそうです。
また、あまり手間をかけずに一連の体験を構築できた点も素晴らしいと感じました。
感想その２（n8nについて）
今回n8nを採用した理由に近いですが、以下のような部分が素晴らしいと感じました。
（書ききれないので、代表的なものを抜粋）
- シンプルなAIエージェントであれば構築が簡単
-
- 今回の構築では、コードはほとんど必要なく、ノードの接続、外部サービスの認証設定、プロンプトを書くだけでした。
- ある程度技術に慣れていれば、n8n自体に慣れていなくても2-3時間程度で構築できます。
- シンプルなエージェント構成のため、おそらく精度面はあまり高くないはずですが、今回のようなユースケースにおいてはある程度実用性がありそうです。
- 連携するサービスが豊富
-
- 弊社ではSlackやNotionを利用しており、どちらも対応しているところはありがたいです。
- その他様々なサービスとも接続することができます。
- テンプレートが豊富
- テンプレート集があり、今回の構築においても参考にさせていただきました。
さいごに
世の中的に今ホットなAIやAIエージェントは、お客様の業務だけでなく、我々の業務も変えてくれる強力なツールです。今年はAIエージェント元年と言われていますが、シンプルなAIエージェントであれば、今回のように簡単に構築することができる時代にもなっていることを実感しています。
弊社では行動指針の1つとしてBet Technologyを掲げており、日々技術をキャッチアップしながらプロダクトの提供や関連する業務に活かしています。LayerXのAI・LLM事業部では一緒にBet Technologyに取り組むソフトウェアエンジニア、PdM、デザイナーを募集しています。
ご興味ある方はカジュアル面談からでもぜひご連絡ください。
Xの@LayerX_techアカウントではLayerXの様々な取り組みを発信していますので、是非こちらもフォローしてください。
