셀레니움은 크롤링할 때 쓰는 게 아니다.

셀레니움은 크롤링할 때 쓰는 게 아니다

🍎 바쁘다면 알짜배기만이라도 !

• 셀레니움 원래 목적: 웹 애플리케이션 테스트 자동화 (2004년 개발)

• 현실 사용: 60% 이상이 크롤링·RPA 용도로 사용 중

• 성능 이슈: 실제 브라우저 구동으로 속도 50배 이상 느림

• 대안 필요성: RPA 툴이 업무 자동화에 90% 더 효율적

크롤링으로 시작된 건 어디서부터였을까

왜 이런 오해가 생겼을까요? 2004년 제이슨 허긴스(Jason Huggins)가 개발한 셀레니움의 본래 목적은 명확했습니다. 웹 애플리케이션을 여러 브라우저에서 자동으로 테스트하는 것이죠.

셀레니움 WebDriver는 "웹 브라우저에서 수행되는 테스트를 자동화하는 데 사용되는 오픈 소스 도구"로 정의됩니다.

그런데 언제부터인가 개발자들은 "실제 브라우저를 구동할 수 있다"는 기능에 매혹되어 크롤링 도구로 사용하기 시작했습니다.

하지만 이는 망치로 나사를 돌리는 것과 같습니다. (물론 돌아가긴 하겠지만요)

기능이 비슷하다고 같은 도구는 아니다

지난 5년간 무엇이 바뀌었을까요?

셀레니움은 여전히 테스트 도구로서의 정체성을 유지하고 있지만, 개발자 커뮤니티에서는 다른 용도로 활용하는 사례가 급증했습니다.

2024년 현재 주요 문제점들을 보면:

• 속도: "너무 느리다. 진짜 너무 느리다" — 실제 브라우저 구동으로 인한 성능 저하

• 리소스 소모: "좀비 프로세스 증가"와 메모리 부족 현상 빈발

• 유지보수: "크롬 버전 업데이트마다 드라이버 호환성 문제"

반면 RPA(로보틱 프로세스 자동화)는 이런 문제들을 처음부터 염두에 두고 설계되었습니다.

*좀비 프로세스란? 프로세스가 종료되고 리소스는 모두 회수되었지만, 시스템 프로세스 테이블에 남아있는 defunct 상태의 프로세스

"RPA는 사람이 반복적으로 처리해야 하는 단순 업무를 로봇 소프트웨어로 자동화하는 기술" (한국ICT진흥원, 2021)

결국 목적에 맞게 활용해야 한다.

한번 비교해볼까요?

셀레니움의 한계는 명확합니다:

• 플랫폼 제약: "주로 웹 브라우저에서 테스트 작업을 자동화하는 데 사용"

• 기술 진입장벽: "개발적 지식이 있는 사람만 활용 가능함"

• 성능 문제: 크롤링 성능을 올리기 위해 다른 도구로 전환하는 사례 증가

• "셀레니움 크롤링을 해보며 느낀 점... 너무 느리다"

• 브라우저 업데이트 때마다 발생하는 호환성 이슈

반면 RPA의 강점:

• 범용성: "데스크톱 환경 및 클라우드 환경에서도 작업을 자동화" 가능

• 접근성: "드래그 앤 드롭 기반의 사용자 친화적인 인터페이스” (이 또한 플랫폼마다 차이는 분명히 있습니다)

• 실용성: 글로벌 RPA 시장이 연평균 35.83% 성장 중

독일 HR 서비스 제공업체의 RPA 도입 사례:

• 4주 내 전체 프로세스에 자동화 구현 완료

• 실제 작업량 70% 감소

• 오류 발생률 0%로 감소

"RPA 솔루션 덕분에 업무 생산성이 86%까지 향상" (딜로이트 조사)

그래도 RPA가 답일 수 있을까

우리가 지금 당장 뭘 해야 할까요?

분명한 것은 도구의 선택이 결과를 좌우한다는 점입니다.

하지만 RPA도 만능은 아닙니다:

• 제한적 유연성: "설정된 프로세스 외의 업무를 처리하기가 어렵다"

• 규칙 의존성: 예외 상황 처리에 한계

• 비용: 플랫폼 별 유료 라이선스 필요

리스크와 현실적 대안, 최종 선택 기준

기술적 리스크부터 살펴보겠습니다. 셀레니움의 "좀비 프로세스 문제"는 시스템 안정성을 해칠 수 있고, RPA의 경우 "UI에 사소한 업데이트만 해도 프로세스가 실패"할 위험이 있습니다.

보안 측면에서는 RPA가 우위를 보입니다. "사이버 범죄의 88%는 사람의 실수로 인해 발생"하는데, RPA는 이런 인적 오류를 원천 차단합니다.

결론적으로, 목적에 맞는 도구 선택이 핵심입니다:

• 웹 테스트: 셀레니움 개발

• 업무 자동화: RPA 도입 검토

• 데이터 수집: RPA 혹은 전문 크롤링 도구 활용

셀레니움을 크롤링에 쓰는 것이 틀렸다는 건 아닙니다. 다만 더 나은 대안이 있다면, 그리고 그 대안이 본래 목적에 더 부합한다면, 선택은 명확해집니다 (적어도 업무 효율성 측면에서는 말이죠).