AI를 도입해도, 왜 업무량은 기대만큼 줄지 않을까 : Human-in-the-loop의 한계와 AI-Ready한 업무 설계

AI를 도입하면 업무가 한결 수월해질 것이라고 생각했지만, 실제 업무량은 기대만큼 줄어들지 않았습니다.

이 세션에서는 Yahoo! JAPAN Auction과 Yahoo! JAPAN Flea Market의 상품 패트롤 업무를 사례로, 분류 모델과 LLM을 조합한 AI 워크플로우 구축 경험과 그 과정에서 드러난 Human-in-the-loop의 한계에 대해 소개합니다.

분류 모델로 검토 대상을 좁히고, LLM으로 판단 근거를 제시함으로써 AI 기반 심사 지원은 정확도와 설명 가능성 측면에서 진전이 있었습니다. 한편, 사람의 확인을 전제로 한 업무 구조가 그대로 남아 있는 한, 품질 향상과 업무 효율화 사이에는 여전히 간극이 남는다는 점도 확인했습니다.

그래서 우리는 기존 업무를 그대로 AI화하는 것이 아니라, AI를 전제로 업무, 규칙, 운영 방식을 다시 바라보는 데 집중해 왔습니다. AI가 판단하기 쉽고 현장에서도 운영하기 쉬운 규칙 설계, 분류 모델과 LLM의 역할 분담, 현장에서 직접 시도하고 개선해 나가는 워크플로우 구축에 대해, 현장에서 부딪히며 쌓아 온 시행착오를 함께 공유합니다.

AI를 활용한 업무 개선을 PoC에서 끝내지 않고 실제 업무에 정착시키기 위해서는 무엇이 필요할까요? 이 세션은 엔지니어뿐만 아니라 실제 업무를 운영하는 분들, PM, 기획, CS, 업무 개선에 관여하는 분들에게도 현장에서 AI를 활용하기 위한 관점을 제공할 수 있는 내용입니다.