Screen Locator

배경

UI 자동화에서 해상도·시각 변화에 따라 작은 요소(아이콘·버튼)를 찾기 어렵습니다. 이를 좌표로 안정적으로 찾아냅니다.

핵심 기능

• 템플릿 합성 + 바운딩 박스 자동 생성으로 학습셋 구축
• 합성·실제 스크린샷으로 YOLOv8 파인튜닝
• 좌표(좌상단+크기) 예측
• 회전·밝기·스케일 데이터 증강
• Airtest 연동으로 자동화에 좌표 공급

동작 방식

대상 요소 템플릿과 스크린샷을 모아 증강·합성해 YOLO 학습셋을 만들고 탐지기를 학습합니다. 추론은 픽셀 좌표를 반환해 자동화 스크립트에 바로 연결됩니다.

사용 방법

1. 템플릿·스크린샷을 폴더에 넣는다
2. 데이터셋 생성 스크립트를 실행한다
3. 모델을 학습한다
4. 추론으로 요소 좌표(박스)를 받는다