AIを入れても、なぜ業務量は思ったほど減らないのか：Human-in-the-loopの限界とAI-Readyな業務設計

AIを導入して楽になったはずなのに、なぜか業務量は思ったほど減っていない——。
本セッションでは、Yahoo!オークション・Yahoo!フリマの商品パトロールを題材に、分類モデルとLLMを組み合わせたAIワークフローの取り組みと、その中で見えてきたHuman-in-the-loopの限界について紹介します。

分類モデルで対象を絞り込み、LLMで判断理由を提示することで、AIによる審査支援は精度や説明性の面で前進しました。一方で、人の確認を前提にした業務構造のままでは、品質向上と業務効率化の間にギャップが残ることも見えてきました。

そこで私たちは、既存業務をそのままAI化するのではなく、AIを前提に業務・ルール・運用を見直すことに取り組んできました。AIが判断しやすく、現場でも運用しやすいルール設計、分類モデルとLLMの役割分担、現場で試しながら改善するワークフローづくりについて、泥臭い試行錯誤を交えて共有します。

AIを使った業務改善をPoCで終わらせず、実際の業務に根付かせるには何が必要なのか。エンジニアだけでなく、実際に業務を運用する方、PM・企画・CS・業務改善に関わる方にも、現場でAIを活かすための考え方を持ち帰っていただける内容です。