Mongo→ES Indexer

배경

MongoDB나 RDB의 데이터를 수작업 ETL 없이 Elasticsearch로 대량 동기화해 빠른 전문 검색을 만들어야 합니다.

핵심 기능

• MongoDB → Elasticsearch 벌크 색인(배치 크기 설정)
• MSSQL·Oracle·PostgreSQL(SQLAlchemy) 소스 지원
• CSV/JSON 내보내기 폴백
• 설정 파일 기반 구성(자격증명 하드코딩 제거)
• 분석기 템플릿 자동 인덱스 생성
• 회전 파일 핸들러 로깅

동작 방식

MongoDB 컬렉션 또는 SQL 결과를 읽어 문서를 배치로 묶고 Elasticsearch 벌크 API로 스트리밍 색인하며 진행 상황을 보고합니다.

사용 방법

1. 설정 파일에 소스·ES 엔드포인트를 적는다
2. 벌크 인덱서 스크립트를 실행한다
3. 로그에서 진행 상황을 모니터링한다