사내 정보 어시스턴트로 활용을 시작한 RAG Application 는 등록된 애플리케이션의 수가 증가함에 따라 애플리케이션 자체를 찾는 것이 점점 부담이 되고 있었습니다.
이 문제를 해결하기 위해 우리는 추론 능력, 응답 정확도, 비용 등 다양한 특성을 고려하여 상황에 맞는 최적의 대형 언어 모델(LLM)을 어떻게 선택할 것인지 고민하고, 이에 따라 개발을 진행해 나갔습니다.