로컬에서 도는 AI 도구를 만든다 — RAG·번역·메모리

우리가 만든 AI 도구에는 공통점이 하나 있습니다. 가능하면 로컬에서 돌린다는 것. 다루는 데이터가 민감하고, 호출량이 늘면 API 비용도 무시 못 하기 때문입니다.

Advanced RAG — 문서를 의미로 검색하기

“그 내용 어느 파일에 있었지?”를 없애려고 만든 데스크톱 앱입니다. 문서를 문단 단위로 잘라 Sentence-Transformers로 임베딩하고 FAISS에 넣은 뒤, 자연어로 질문하면 근거 문단과 함께 답을 돌려줍니다. 전부 로컬에서 돌아 파일이 PC 밖으로 나가지 않습니다. 의외로 모델보다 문단을 어떻게 자르느냐가 정확도에 더 크게 영향을 줬습니다.

Translator AI — 인터넷 없이 도는 번역기

Argos Translate와 MarianMT를 상황에 따라 갈아 끼워 쓰는 오프라인 번역 엔진입니다. 상용 API만큼 매끄럽진 않지만, 대량 문서의 1차 번역에는 충분했고 무엇보다 비용이 0이고 데이터가 안 나갑니다. 품질이 중요한 최종본만 사람이 다듬는 식으로 쓰니 실용적이었습니다.

AI Memory System — LLM에게 장기기억을

대화와 문서를 요약·색인해 LLM이 예전 맥락을 기억하게 하는 메모리 백엔드입니다. MongoDB에 원본을, Elasticsearch에 색인을 두고 KoT5로 요약했습니다. “필요할 때 관련 기억만 꺼내오는” 구조가 핵심이었습니다.

모든 걸 클라우드로 보내는 게 정답은 아닙니다. 데이터 민감도와 비용을 따지면 로컬이 더 맞는 경우가 분명히 있습니다.

작게 만들어 직접 써보며 고치는 게 가장 빨랐습니다. 세 도구 모두 “내가 매일 쓰고 싶은가”를 기준으로 다듬었습니다.