お客様事例

AI時代、QAの役割はどこまで広がるのか。ベリサーブが進める品質保証と人材育成

対談に臨むベリサーブの松木晋祐さんとジェネラティブエージェンツの西見公宏

株式会社ベリサーブは、ソフトウェアテスト・品質関連事業を展開するQA(品質保証)専門企業です。AIによってソフトウェア開発が高速化する中、「AI × QA」を軸に新たな品質保証のあり方や人材育成を推進しています。同社はなぜ、ジェネラティブエージェンツの「AIエージェント開発者養成講座」と「AIコーディング実践講座・アドバンス」を受講したのでしょうか。研究開発・技術戦略を担う執行役員の松木晋祐さんに、その背景や受講後の変化、今後の展望を伺いました。聞き手は、ジェネラティブエージェンツ代表取締役CEOの西見公宏です。

松木晋祐さん

株式会社ベリサーブ
執行役員
松木晋祐さん

QA専門企業ベリサーブが進めるAI活用

西見:本日は、松木さんに「AIコーディング実践講座・アドバンス」を受講したご感想を伺います。まずはベリサーブ様の事業概要について伺えますでしょうか。

松木晋祐さん(以下、松木):株式会社ベリサーブは、ソフトウェアテスト・品質関連事業を中心にサイバーセキュリティ、コンサルティング、ソフトウェア開発などを展開しています。1983年にソフトウェア検証サービスを開始して以来、40年以上にわたってスマートフォンや自動車、航空機、エンタープライズシステムなど幅広い領域で製品やシステムの品質向上を支援してきました。現在(2026年8月)、従来のソフトウェアQAに加えて「AI × QA」を軸とした技術開発やプロセス開発にも取り組んでいます。

西見:QA専門企業としての特徴は何でしょうか。

松木:大きく2つあります。1つ目は、ベリサーブには約2,000人のQAエンジニアがいて、自動車、組み込み、SaaS、FinTech、医療、航空・宇宙、エンターテインメントなど、さまざまな産業や領域の品質保証に携わっていることです。業界によって求められる品質や開発プロセス、文化は異なりますが、幅広い領域に対応できるQA人材を擁しています。2つ目は、生成AIという言葉が普及する前から現場のエンジニアが「どのシステムに、どのテストが必要か」というテスト観点を社内でデータベース化してきたことです。現在では数万件規模にまで蓄積されて会社の知財になっています。現場で得た知見を個人の経験にとどめず、組織の資産として残してきたことがベリサーブの強みです。

西見:松木さんの現在の役割やご経歴を教えてください。

松木:現在、ベリサーブの執行役員として研究開発・技術戦略に加え、全社のAI活用を推進しています。事業部向けには、AIとQAを組み合わせてお客様にどのような価値を提供するかを検討し、その実現に必要な技術・プロセスの開発に取り組んでいます。社内向けには、業務のエージェント化や人材育成、AI活用に関するルールの策定、ガバナンス体制の整備などを担っています。

もともとは組み込み領域のQA・テストエンジニアで、キャリアの初期にはiモードのウェブブラウザの組み込みに携わっていました。後期モデルではテストリードを務め、その後はQAマネージャーとして約20年経験を積むなど、QAには約25年間携わっています。事業会社でQAを経験した後、QAを専門とするベリサーブへ移りました。ベリサーブでは、テスト管理ツールのクラウド構築や情報システム部門を経験したほか、ソフトウェア開発部門や研究開発部門の立ち上げ、ソフトウェアQAに関するSaaSのローンチにも携わってきました。

西見:ベリサーブ様では、AIをどのような領域で活用していますか。

松木:社内業務からQA実務、営業支援まで複数の領域でAIの活用を進めています。社内業務では、社員にコーディングエージェントを提供し、Excelの編集やPowerPointからの情報抽出、PDFの情報整理といったローカル環境での業務効率化に生かしています。また、請求書作成の効率化や、社員データベース・タレントマネジメントシステムを利用して顧客の課題に適したプロジェクトメンバーを探す仕組みづくりも進めています。

QA実務では、これまで社内に蓄積してきた数万件のテスト観点をAIエージェントに参照させ、テストの分析・設計に反映しています。そして、営業支援でも顧客の公開情報や社内情報、ベリサーブの強みを組み合わせ、顧客に合った提案内容を検討するAIエージェントの活用を試しています。現在はまだトライアル段階で、企画者自身がAIエージェントを手元で動かし、成果に繋がるかを検証しています。今後の展開に向けてAIエージェントを動かすプラットフォームの整備と並行し、AIガバナンスやセキュリティ、社内ガイド、人材定義などの基盤づくりも進めています。

対談で品質保証について語る松木晋祐さん

AI時代、QAの仕事はどう変わるのか

西見:QAの仕事の特徴を教えてください。

松木:私はQAを「チームが速く走るために線を引く仕事」だと捉えています。まず、横線として1スプリントなど一定の期間でプロダクトがどの品質まで到達すべきか目標を定めます。次に、ソフトウェアテストやプロダクトメトリクスを使い、その線まで到達できたかを確認します。ただ、ゴールだけを決めてもそこへ至る過程に無駄やムラがあればチームは効率良く進めません。そこで、縦線としてどのようなプロセスでゴールへ向かうかも考慮しています。このプロセスを設計するためにはソフトウェアエンジニアリング全体への理解も欠かせません。QAは、完成したものをテストして品質を確認するだけではありません。目指す品質とそこへ到達するための進み方の両方に線を引き、チームがより速くゴールへ向かえるよう支える、コーチのような役割も担っていると考えています。

西見:QAの業務はこれからどうなっていくとお考えですか。

松木:大きく4つの切り口があると考えています。1つ目は、AIによってソフトウェア開発が高速化することです。AIエージェントを活用すれば、これまでより短い時間、低いコストでソフトウェアを作れるようになります。ところが、作る速度が上がるほど「できあがったものが本当に実運用に耐えられるか」「必要な機能がきちんと動くか」を判断する部分がボトルネックになってきます。そのため、PoCと実運用できるプロダクトの品質の差を見極めるQAの重要性は高まる可能性があります。同時に、開発に加えてQA自体もAIを活用して高速化していくことが求められます。

2つ目は、AIエージェントに対するQAです。AIエージェントでは、最終的に仕事を完了できたかというE2Eの評価だけでは足りません。目的を達成しても、その過程に異常なループや無駄な処理が潜んでいることがあるからです。私は以前、予約キャンセルを行うAIエージェントを作り、その実行過程を記録してワークフローグラフとして可視化・分析したことがあります。最終的にはキャンセルできていたものの、予約一覧を確認する途中で同じやり取りを何度も繰り返していたことが分かりました。最終結果だけを合否の基準にすればテストは通りますが、実行過程を見ることで不要な処理や余分なコストを把握できます。

予約一覧取得で高頻度の自己ループが見つかったワークフローグラフ
予約一覧取得の繰り返しを可視化したワークフローグラフ(出典:松木晋祐「『AgentEval』対話型LLMエージェントのブラックボックステストのためのワークフローグラフのマイニング」、note)

この経験から、AIエージェントのQAでは最終結果だけでなく、そこへ至る実行過程(トラジェクトリー)やコスト、何を操作し、どこへ情報を出そうとしたかまで評価対象を広げることが重要です。さらに、AIエージェントはリリース時点で一度評価すれば終わりではありません。オフラインで高い評価を得ても、本番環境では想定していなかった入力が入ってきます。

ただし、運用中も評価を続けるからといって、リリース時点で求める品質水準を下げて良いわけではありません。その水準は事業によって異なりますが、最初のお客様が利用する時点から、期待される役割を果たせる状態で提供することが前提です。提供した後もその水準を維持できているか継続的にモニタリングし、性能が低下した場合には設計や運用へフィードバックして改善することが不可欠です。QAとモニタリング、運用がより一体化していくと考えています。

3つ目は、フィジカルAIです。例えば、配膳ロボットであれば、料理を運べることだけでなく、到着を利用者へどう知らせるか、配膳や下膳をどのように行うか、その結果として店内のサービスがどう変わるかまでが品質保証の対象になります。個々の機能だけでなく、それらを組み合わせて利用者へ届けるサービス全体の品質を捉える「サービスエクセレンス」の観点も欠かせません。

また、物理的に動くAIでは、従来の組み込みテストに加えてセンシングやアクチュエーション、Edge AI、機能安全、法令や業界標準など、さまざまな品質要素を考えなければなりません。将来的には、スマートシティの中で複数のフィジカルAIが協調して動く世界も品質保証の対象になっていくでしょう。技術や安全性、サービス、社会との関係まで多様な要素を扱うため、私はフィジカルAIの品質保証を「総合芸術」のようなものだと捉えています。

4つ目は、AI駆動開発に対するQAです。AIエージェントに仕事を任せる場合、何をもって完成とするかというゴールや、そこへどう進むかというプロセスを明確にしなければ、不要な作業や自己ループが発生してトークンコストも膨らみます。小さな単位でも完成条件を定め、最短経路で無駄やムラなく進めたか、そもそも完成したと言えるかを評価しなければなりません。

このようにAIによってQAがなくなるというよりも、従来のソフトウェアからAIエージェントの振る舞い、運用中の品質、フィジカルAI、AI駆動開発のプロセスやコストへと、品質を見る対象が広がっていくと予想しています。

西見:このような見立てにあたり、貴社が試していることは何でしょうか。

松木:ベリサーブではAI時代のQAを「QA for AI」「AI for QA」「QA for AIDD」の3つの技術分野に整理しています。QA for AIはAIソフトウェアやAIエージェントを品質保証する領域、AI for QAはQAエンジニアがAIを使って業務の効率や精度を高める領域、QA for AIDDはAI駆動開発に対するQAです。この3分野を社内で実践できるように「何をするか」「何をゴールとするか」「どの道具を使い、どのような手順で進めるか」を示したガイドを作成し、社員が参照できるようにしています。標準化といっても上からやり方を制限したいわけではなく、最低限の基準をつくってその土台の上で発展的な議論ができる状態を重視しています。

なぜ、ジェネラティブエージェンツだったのか

西見:私たちは以前からずっと接点がありましたね。

松木:はい。西見さんとは2010年頃からTwitterで相互フォローしていて、お互いにフォロワーが100人程度の頃から交流がありました。その後も繋がりが続き、西見さんがジェネラティブエージェンツを設立する前の2023年頃には、私も「AIエージェントをどうやってテストしていこうか」と悩んで西見さんと情報交換をしていました。

西見:当時はAIエージェント関連の書籍を執筆していて、「生成AIを活用したアプリケーションのテストはどうすれば良いだろうか」と2人でディスカッションをしていましたね。貴社では、当時もAIに関する研究開発を進めていたと伺っています。

松木:はい。ベリサーブもAIの変革期の入り口に立っていたため、社内のR&DでもAIを学んでいましたが、私たちが持っている情報や知識、スキルだけではどうしても視野が狭くなると感じていました。自社で進めている技術や取り組みが、市場から見ても妥当かを第三者の専門家に確認していただきたかったんです。AIに詳しい方やコンサルタントは数多くいらっしゃいますが、その中でも信頼できて、AIエージェントについて専門的に議論できる相手を探していました。この条件を満たすのがジェネラティブエージェンツでした。

西見:その後、私たちとは顧問契約という形でご一緒するようになりましたよね。

松木:はい。顧問契約では、AIエージェントに関する最新情報を定期的に共有していただくほか、私たちが社内で作った成果物にもレビューをお願いしています。また、技術面に限らず、社内のAI活用を支えるスキルアップの方針や人材定義についても一緒に議論していただいています。一方、社内への展開には別の課題がありました。私たちの部署だけであれば、ジェネラティブエージェンツに教えていただきながら自習できますが、ベリサーブには約2,000人のQAエンジニアがいます。AIエージェントの知識をこれだけの人数へ広げるには体系的なカリキュラムが必須であり、自社だけで作るのは難しいと感じていました。

さらに、QAエンジニアが品質保証の対象を理解する必要もありました。QAが開発現場に加わる際には、その製品がどのようなサービスを提供し、どのような仕組みで動き、どのようなプロセスで作られているかを理解しなければなりません。今後、AIエージェントの品質保証に関わる機会が増えるのであれば、社員にもAIエージェントがどのように作られ、動き、振る舞うかを、これからのQAに求められる素養として学んでもらいたいと考えました。ちょうどそのタイミングでジェネラティブエージェンツから「AIエージェント開発者養成講座」をご案内いただき、まさに渡りに船でした。もちろん、さっそく申し込みました。

「AIコーディング実践講座・アドバンス」で学んだこと

西見:貴社では、松木さんをはじめ、2講座で延べ約30人の方々に受講していただきました。「AIエージェント開発者養成講座」の後、「AIコーディング実践講座・アドバンス」にも進んでいただきましたが、なぜ、貴社にとってハーネスエンジニアリングが重要だと考えられたのでしょうか。

用語解説

ハーネスエンジニアリング

AIモデルを取り巻く情報・ツール・実行環境などを設計し、AIエージェントの振る舞いを観察しながら改善する取り組みです。開発方針や品質基準を伝え、作業ログや成果物から意図どおりに動いたかを確認します。その結果をもとに、エージェントへ渡す情報や作業手順を調整していきます。

詳しくは、インサイト記事「なぜあなたのAI駆動開発はうまくいかないのか?──今押さえるべきハーネスエンジニアリングとは何か」をご覧ください。

松木:AIエージェントの品質保証では、今後モニタリングが主要な活動になっていくだろうと予想しています。エージェントに何らかの変更を加えた時、その後の振る舞いがどう変わったかを観測し、結果を確認しながら改善していく一連の仕組みを体験して理解しておきたかったからです。将来、お客様先でAIエージェントのQAやモニタリングに関わる際、社員がハーネスエンジニアリングや計測を一度でも実践していれば「ジェネラティブエージェンツの講座でやった、あれだ!」と実務に結びつけて考えられるようになります。

西見:ハーネスエンジニアリングを効率的に学習するために、当社が開発した実習環境「ハーネスラボ」をチームごとに使ってエージェントを動かしていただきました。

用語解説

ハーネスラボ

AIエージェントに伝える開発方針や品質基準を編集し、アプリの開発から実行結果の確認までをブラウザ上で行える実習環境です。同じアプリと検証結果を見ながら、チームで改善点を話し合います。

ハーネスラボのダッシュボード
ハーネスラボのダッシュボード

松木:そうですね。講座では、ハーネスエンジニアリングを実践するためのシステムが一式用意されていました。フォームから自然言語で指示を入力するとAIエージェントが動き、そのログも自然言語で確認できます。そこでエージェントの振る舞いを見ながら、意図した動きに近づけるために指示を調整し、もう一度動かすという流れを繰り返しました。ハーネスエンジニアリングの考え方を座学で学び、エージェントを動かしてその結果を観測しながら改善までの一連のサイクルを回せることが特徴だと思います。

西見:講座では、3〜4人のチームに分かれて実習を進めていただきました。実習で印象に残ったことはありますか。

松木:印象に残ったのは、チームで議論しながら取り組む実習形式です。同じエージェントの実行結果を見ながら「何が足りないか」「次にどう修正するか」を話し合うことで、ハーネスエンジニアリングに対する理解のズレもその場で確認できました。何よりも、その実習のためにジェネラティブエージェンツが専用システムを作り込んでいたことに驚きました。ここまで用意している研修企業をまだ見たことがありません。AIエージェント専門の会社ならではの仕組みだと感じました。

画面を見ながら話す松木晋祐さんと西見公宏

受講後の変化と、今後の展望

西見:松木さん個人としては受講後、ハーネスへの理解や実務にどのような変化がありましたか。

松木:講座を通じて、ハーネスにはどのような役割があり、何を用意する必要があるかまで具体的に理解できるようになりました。その結果、社内のエージェント開発やお客様へのAIエージェントのQA提案でも、以前より説得力を持って進められるようになったと実感しています。

西見:チームや組織には、どのような変化がありましたか。

松木:大きかったのは、社内に共通言語が生まれたことです。講座で同じ体験をしながら習得したことで、ハーネスやハーネスエンジニアリングに対する認識のズレを修正できました。今回は役員や上級管理職、技術スペシャリストなど異なる立場のメンバーたちが受講し、手を動かしながら議論できるレベルで共通の言葉や知見を持ったことで、社内の会話も以前より速く進むようになりました。組織の縦横に線が通ったような感覚があります。

西見:ベリサーブ様の今後の展望をお聞かせください。

松木:今後は「AI × QA」に関する技術やプロセスを整備するとともに、社内標準、AI人材の育成、ガバナンスまで含めて全社へ展開していきたいと考えています。AIは変化が非常に速いため、一度決めた仕組みを固定するのではなく、変化に合わせて更新し続けられる土台をつくることも重要です。その一例が、AI人材の定義です。現時点の定義を完成形とは考えておらず、3ヶ月後には変わっていても良いと捉えています。ただ、最初の定義がなければ何を変えるかも決められないため、まずは現在の基準をつくり、技術や仕事の変化に合わせて見直していきます。

現在は、経営レベルで改善のループを回すための仕掛けにも着手していて、技術や人材育成だけでなく、変化に対応できる文化や組織、仕組みづくりといった組織変革も進めているところです。そこで得た知見をお客様や社会にも届けていきます。

西見:最後に、ジェネラティブエージェンツの講座をどのような企業やビジネスパーソンに勧めたいですか。

松木:経営者には間違いなくお勧めしたいです。組織でAIを活用するには、役員や決裁者自身が理解して動かなければ進みません。AIエージェントでは、説明を聞くだけでなく、自分で依頼して動かしてみて初めて分かることがあります。経営層が体験することで現場が何に困っているか、自社のAI活用がなぜ進まないかも見えやすくなると考えています。また、情報システム、内部監査、ガバナンスなど、AIの導入や管理に関わる部門にもぜひお勧めしたいです。講座ではプログラムを書かず、自然言語でAIエージェントに指示できるため、エンジニア以外の方でも挑戦しやすいのではないでしょうか。

対談後の松木晋祐さんと西見公宏

(取材・執筆・編集:佐野 桃木)

Share

この事例で紹介したサービス

AIコーディング実践講座・アドバンス

教育・研修

AIコーディング実践講座・アドバンス

開発マネージャー・開発リーダー向けの1日研修です。ハーネスエンジニアリングの考え方を学び、チームの開発方針や品質基準をAIの作業に反映する方法を実習します。