반복을 기록해 재생한다 — 자동화 도구들

같은 화면에서 같은 순서로 반복하는 일은 기계에게 맡기는 게 맞습니다. 그 생각으로 만든 자동화 도구들을 정리했습니다.

기록하고 재생한다

Windows Automation Recorder는 윈도우 UI 조작을 녹화해 시나리오로 재생하는 RPA 레코더입니다(Electron 프런트 + PyQt5 엔진). 좌표만으론 화면이 조금 바뀌어도 깨져서, 이미지로 요소를 찾아 누르는 방식과 실패 시 재시도·로그를 붙여 안정성을 올렸습니다.

자연어를 자동화 코드로

Action AI는 한국어 명령을 Airtest/Poco 스크립트로 바꿔줍니다. “이 버튼 누르고 다음 화면에서 확인”을 말로 하면 실행 가능한 자동화 코드가 나옵니다. PyQt5 GUI에 FastAPI를 붙이고 PyInstaller로 배포까지 했습니다.

브라우저로 폰을 미러링·제어

Android/iOS Mirror Stream은 Go로 만든 미러링 서버입니다. 안드로이드는 ADB + H.264 트랜스코딩으로, iOS는 WebDriverAgent 폴링으로 화면을 브라우저에 실시간으로 띄우고 터치까지 제어합니다. 트레이 앱 + 설치본으로 “받아서 바로 쓰는” 형태로 만들었습니다.

여러 대를 한 화면에서 — Device Farm

Appium + PySide6로 여러 실기기를 한 화면에서 미러링·제어·테스트하는 매니저도 만들었습니다. RPA Electron(Playwright 기반 워크벤치)까지 더하면, 데스크톱·웹·모바일 자동화를 한 흐름으로 엮을 수 있었습니다.

자동화는 “믿고 맡기되 검증은 남겨두는” 균형이 중요합니다. 완전 무인까지 아니어도, 반복의 8할을 덜어내는 것만으로 충분히 값을 했습니다.