AI Elastic QA

배경

도메인 질의응답에 쓸 한국어 모델을 비싼 클라우드 API 없이, 소비자용 GPU에서도 파인튜닝하고 싶다는 요구에서 출발했습니다.

핵심 기능

• KoGPT2·Polyglot·KULLM 등 1.3B~5.8B 모델 파인튜닝 지원
• LoRA 경량 학습으로 적은 VRAM에서도 미세조정
• Elasticsearch에서 학습 데이터 추출·구성
• 한국어 자소(JASO) 토크나이저로 형태소 처리 개선
• TF-IDF+RF, BERT, KoGPT 등 다중 모델 비교
• 추론 결과 + 근거 Elastic 문서를 함께 반환

동작 방식

Elasticsearch에서 학습 데이터를 뽑아 HuggingFace transformers(LoRA 옵션)로 모델을 파인튜닝합니다. 추론 API가 답 카테고리를 예측하고 근거 문서를 Elastic에서 조회해 JSON으로 함께 돌려줍니다.

사용 방법

1. Elasticsearch를 띄우고 학습 데이터를 추출한다
2. 모델 등급(1.3B/5.8B+LoRA 등)을 골라 학습 스크립트를 실행한다
3. 학습된 모델로 추론 API를 띄운다
4. 질문을 보내 답변과 근거 문서를 확인한다