こんにちは、LayerX AI・LLM事業部の篠塚(@shinofumijp)です。エンジニアリングマネージャーとして生成AIプラットフォーム「Ai Workforce」の開発に携わっております。
Ai Workforceはすでにお客様にもご導入いただき、実際の業務にてご利用いただいています。
現在Ai Workforceの開発はスケール期を迎え、プロダクト開発のスピードと安定性を両立させ、プロダクトの品質を向上させることが重要なフェーズになってきました。そのため、このミッションを牽引するQAエンジニアの募集を始めました。
生成AIを活用したSaaSプロダクトであるAi Workforceに関わるQAエンジニアは非常にエキサイティングなロールと個人的には考えています。本記事では、Ai WorkforceのQAエンジニアに期待する役割と、生成AIプロダクトの品質保証ならではの検討事項とおもしろさについて主観的に述べていきます。
QAエンジニアに期待する主要業務
1. テスト戦略の策定
- 既存の品質要件を洗い出しながら、プロダクト特性・ユーザー利用状況・開発プロセスの成熟度に合わせたテスト戦略をまとめることが第一歩です。
- 機能の重要度やリスクを分析し、テスト対象の範囲を段階的に明確化することで、短期〜長期で達成すべき指標を設定します。
- リリーススケジュールや開発チームの構成を踏まえ、いつ・どの段階でどの種類のテストを実施するのかをテストプロセスとして可視化し、チームと合意形成を図ることが求められます。
2. E2E（End to End）テストの整備
- SaaSが提供するコア機能の中でも、ビジネス上不可欠なフローのテストを優先的に自動化します。
- さらに、PlaywrightなどのE2EテストツールとCI/CDパイプラインを連携させ、効率的かつ継続的に検証できる仕組みを整えます。
- 開発プロセスにDevinのような生成AIプロダクトの導入も進めており、テストプロセスにもさまざまな生成AIプロダクトの導入は積極的に行っていきたいです。
- 新機能追加やUI変更が頻繁に発生するSaaS開発の現場では、テストスクリプトの保守性と自動テスト実行の安定性を確保するための運用設計も必要になります。
3. 開発プロセス全体の品質担保施策
- バグ管理フローの最適化、リスクの見える化、仕様策定段階からのQA関与など、チーム全体として品質に向き合う文化を醸成します。
- ステークホルダーを集めて探索的テストを行う「ET会」なども取り入れています。
- ストーリーレビューへのQAとしての視点提供も必要です。可能であれば仕様書や要求定義をレビューし、要件漏れ・曖昧な箇所を早期に指摘することで手戻りを防止します。
- リリース後の運用体制（不具合検知～トリアージ～修正～再リリース）の迅速化や、各種品質指標の定量的なモニタリングも不可欠です。
以上は、主に生成AIの有無にかかわらずQAとして期待する業務です。では、ここに生成AIという要素が加わった場合に、具体的にどのような追加的な検討事項や可能性が生じるのでしょうか。
生成AIが組み込まれたSaaSならではの検討ポイント
1. AI特有の評価指標とテスト戦略
- 生成AIを使った機能（例：要約、文章生成、推論など）は、従来のソフトウェアのように入出力が常に1対1で対応するわけではありません。そのため、出力の品質を判断するための指標（BLEU, ROUGE など）や検証手順をテスト戦略内に盛り込む必要があります。
- ユーザーが期待する内容と実際の生成結果がどの程度一致しているか、あるいは事実関係に誤りはないかを定期的に監視・評価する仕組みが求められます。
2. E2Eテストの拡張: AIの出力検証
- ユーザーフローの一部にAIエージェントとの対話や文章生成が含まれる場合、単純なDOM操作だけでは品質保証が難しくなります。
- たとえば、AIが出力した文章をLLM as a Judgeなど別のAIでスコアリングするアプローチや、人間によるヒューマンレビューを含めたハイブリッドテストを導入することで、AI出力の妥当性・一貫性を自動かつ効率的にチェックします。
- また、AIの更新や推論ロジックの変更によって出力が大きく変わり得るため、E2Eテストも頻繁なアップデートが必要となる点に留意する必要があります。
3. プロンプト設計およびモデル運用プロセスへのQA介入
- 生成AIの出力は、モデルの「プロンプト設計」によっても大きく変化します。
- 本番稼働中のモデルを切り替える際や、プロンプトを大幅に変更する際には、影響範囲を分析し、回帰テストを実施できる体制を確立することが重要です。
- QAの視点から、運用フローの中でどうテストを組み込み、どのタイミングで最終的なリリース承認を行うかを定義することで、モデル周りの変更がスムーズかつ安全に実施されるようになります。
4. フィードバックループの設計
- 生成AIシステムではユーザーからのフィードバックが非常に重要です。誤回答や期待外れの生成結果に対する修正が遅れると、プロダクト価値の毀損につながるおそれがあります。
- QAが主体となり、ユーザー報告や運用ログを分析してモデルの改善タスクを立案するなど、品質向上のサイクルを回す推進役を担うことが大きなやりがいといえます。
- 特に、学習データのアップデートが必要な際の要否判断や、AIモデルのバージョン管理などはチーム内でルール化し、検証プロセスを確立しておくことが望ましいです。
まとめ
ここまで述べた通りQAエンジニアとして期待する役割は従来のSaaSプロダクトのQAと大きく変わらないかもしれません。
- テスト戦略の策定
- E2Eテストの整備と自動化
- 開発プロセス全体の品質担保施策の推進
しかし、生成AIが組み込まれている場合には、それらに加えてAIに固有の評価指標やプロンプト設計, モデル更新のルール化など、より高度かつ新規性のあるタスクに挑む機会が生まれます。AIによる応答の品質は、従来のテスト手法だけでは十分に測れないため、ヒューマンレビューや追加のスコアリングシステムなどを活用した独自の検証手順が求められます。
すでにAI技術がプロダクトの中核を担い始めている現場では、QAの役割がますます重要かつ多岐にわたっているのが現状です。従来の品質保証という枠を超え、ビジネス価値を最大化するための全体設計にコミットできる点は、非常に大きなやりがいといえます。
一緒に生成AIプロダクトの品質保証の形を築きましょう！
私たちが開発している 「Ai Workforce」 は、生成AIを活用したワークフローの自動化およびAIエージェント機能を提供するSaaSプロダクトです。正式リリース後、さらなるスケールを目指す現在のフェーズでは、1人目QAとしてご活躍いただける方を探しています。
従来のSaaS QAの専門知識や経験を存分に発揮していただくだけでなく、AI機能を含む品質評価や、運用モデルの継続的な改善にまで踏み込んでいただくことで、プロダクトの進化により貢献をすることができます。
品質保証の視点で、新しい技術領域にチャレンジしたいと考えている方、あるいは生成AIならではの課題を解決することでSaaSの価値をさらに高めたい方は、ぜひカジュアル面談で詳しいお話を聞いてみませんか。ご連絡をお待ちしております。
また4/18にQAエンジニア向けのイベントもLayerXオフィスにて開催するので、QAの役割についてディスカッションをしたい方はぜひご参加ください。
Xの @LayerX_techアカウントではLayerXの様々な取り組みを発信していますので、是非こちらもフォローしてください。
