Architecture Decision Record
← 의사결정 기록 예시

아키텍처 의사결정 기록: E2E 테스트를 위한 브라우저 자동화 프레임워크(Playwright 대 Selenium)

1. 맥락

우리는 엔드투엔드(E2E) 테스트 파이프라인을 위한 브라우저 자동화 프레임워크를 선택하는 과정에 있습니다. 이 프레임워크는 우리 CI/CD 프로세스에 필수적이며, 우리 플랫폼에서 실제 사용자 상호작용을 시뮬레이션하는 테스트를 실행합니다. 구체적으로 테스트는 사용자 가입/로그인, 파일 업로드, 대시보드 상호작용, 보고서 다운로드 같은 시나리오를 다룹니다.

스타트업으로서 우리의 초점은 애자일 개발에 있으며, 빠르게 반복하고 진화해야 합니다. 우리 팀은 주로 TypeScript와 Python으로 작업하며, 이 언어들로 테스트를 작성할 수 있는 것이 필수적입니다. 또한 플랫폼에는 인터랙티브 차트와 대시보드가 있어, 자동화 도구가 풍부하고 동적인 UI를 잘 지원하는 것이 매우 중요합니다.

이 과제의 두 후보는 Playwright와 Selenium이며, 각각 강점과 트레이드오프가 있습니다. 아래에 설명한 기능과 요구사항을 기준으로 이 프레임워크들을 평가해야 합니다.

2. 검토한 선택지

  • Playwright (Microsoft)
  • Selenium (Selenium Project)

3. 결정 동인

결정에 영향을 미치는 요인은 다음과 같습니다:

  1. 애자일 개발: 선택한 도구는 빠르고 유연한 개발 주기를 가능하게 해야 합니다.
  2. 언어 지원: 우리 팀은 TypeScript와 Python을 모두 지원해야 합니다.
  3. 인터랙티브 UI 테스트: 인터랙티브 차트, 대시보드, 동적 요소를 안정적으로 테스트하는 능력이 필수적입니다.
  4. 런타임 속도: 주된 관심사는 아니지만 CI/CD 파이프라인의 성능은 고려 사항입니다.
  5. 확장성: 가까운 미래에 대규모 확장을 계획하고 있지는 않지만, 솔루션이 향후 성장을 감당할 수 있도록 하고자 합니다.
  6. 하위 호환성: 레거시 시스템과 구형 브라우저와의 호환성은 현재 우리 프로젝트에 중요하지 않습니다.
  7. 모바일 테스트: 당장의 초점은 아니지만 프레임워크는 모바일 반응형 기능을 테스트할 수 있거나 그러한 사용 사례로 확장 가능해야 합니다.
  8. 멀티 스크린 테스트: 멀티 스크린 설정에 대한 지원은 부차적인 요구사항이며, 특히 나중에 더 복잡한 사용자 워크플로를 테스트하도록 확장할 경우에 해당합니다.
  9. 파일 업로드 테스트: 프레임워크는 우리 테스트 요구의 핵심인 파일 업로드를 효과적으로 처리해야 합니다.

4. 평가 기준

  • 사용 편의성: 테스트를 작성하고 유지보수하기가 얼마나 쉬운가?
  • 언어 지원: 프레임워크가 우리 팀이 가장 자주 사용하는 두 언어인 TypeScript와 Python을 지원하는가?
  • 인터랙티브 UI 테스트: 프레임워크가 차트, 파일 업로드, 동적 데이터 같은 복잡하고 인터랙티브한 사용자 인터페이스를 얼마나 잘 처리하는가?
  • CI/CD 통합: 프레임워크가 일반적인 CI/CD 도구와 서비스에 얼마나 잘 통합되는가?
  • 멀티 브라우저 지원: 어떤 브라우저가 지원되며 얼마나 잘 동작하는가?
  • 성능과 속도: 특히 CI/CD 파이프라인에서 테스트가 얼마나 빨리 실행되는가?
  • 확장성: 더 많은 테스트나 더 복잡한 시나리오가 추가될 때 프레임워크가 얼마나 잘 확장되는가?
  • 커뮤니티와 생태계: 프레임워크의 커뮤니티는 얼마나 활발한가? 통합과 플러그인이 풍부한가?

5. 검토 사항

5.1 Playwright

장점:
  1. 로컬 파일 업로드를 위한 더 똑똑한 API: 로컬 파일과 상호작용하고 파일 업로드를 수행하기 위한 Playwright의 API는 더 단순하고 직관적입니다. 이는 파일 업로드 테스트를 구현하고 유지보수하기 더 쉽게 만듭니다.
  2. 문법과 코드 생성: Playwright는 더 짧고 간결한 문법을 가지고 있습니다. 이는 상용구 코드를 줄여 유지보수성과 개발자 효율을 개선합니다. 또한 더 짧은 문법은 OpenAI 코드 생성의 품질을 높여 테스트 스크립트를 자동으로 생성하기 더 쉽게 합니다.
  3. 인터랙티브 UI 테스트: Playwright는 풍부한 차트, 복잡한 사용자 상호작용, 실시간 업데이트가 있는 것 같은 동적이고 인터랙티브한 웹 애플리케이션을 테스트하는 데 뛰어납니다. WebSocket, WebRTC, 섀도 DOM 및 기타 현대 웹 기술을 매우 효과적으로 처리합니다.
  4. 멀티 브라우저 지원: Playwright는 Chromium, WebKit, Firefox를 지원합니다. 이 브라우저들 전반에서 일관된 성능을 보이며, 우리 테스트 요구의 대부분을 충족할 것입니다.
  5. CI/CD 통합: Playwright는 현대적인 CI/CD 플랫폼(GitHub Actions, Jenkins 등)과 매끄럽게 통합됩니다. 여러 브라우저에서 테스트를 병렬로 실행하여 테스트 실행 시간을 최적화할 수 있으므로 빠른 개발에 적합합니다.
  6. 빠르고 안정적: Playwright는 특히 헤드리스 모드에서 일반적으로 Selenium보다 빠르고 비동기 웹 요소에 대해 더 탄력적입니다.
단점:
  1. 제한적인 모바일 테스트: Playwright는 브라우저의 모바일 에뮬레이션을 지원하지만, 진정한 모바일 테스트를 위한 Selenium의 Appium 통합 같은 내장 모바일 테스트 기능이 없습니다.
  2. 더 작은 생태계: Playwright는 아직 Selenium보다 새롭고 덜 자리 잡았습니다. 빠르게 성장하는 커뮤니티와 좋은 문서를 가지고 있지만, Selenium이 제공하는 방대한 플러그인과 통합 생태계는 아직 갖추지 못했을 수 있습니다.
  3. 제한적인 브라우저 지원: Playwright는 주요 현대 브라우저(Chrome, Safari, Firefox)를 다루지만 구형 브라우저(예: Internet Explorer)에 대한 지원은 Selenium만큼 견고하지 않습니다.

5.2 Selenium

장점:
  1. 더 긴 역사와 성숙도: Selenium은 오랫동안 존재해 왔으며 검증된 실적이 있습니다. 많은 팀과 업계에서 널리 사용되어 플러그인, 통합, 자원의 큰 생태계로 이어졌습니다.
  2. 멀티 브라우저와 플랫폼 지원: Selenium은 Internet Explorer를 포함한 광범위한 브라우저와 버전을 지원하며, Docker, Selenium Grid, 클라우드 서비스 같은 다양한 도구와 통합하여 분산 테스트도 할 수 있습니다.
  3. 모바일 테스트: Selenium은 Appium과의 통합을 통해 Android와 iOS 애플리케이션 모두를 포함한 모바일 테스트에 훨씬 더 견고합니다. 이는 모바일 우선이거나 모바일 비중이 큰 프로젝트에 더 나은 선택이 됩니다.
  4. 멀티 스크린 테스트: Selenium은 멀티 스크린 시나리오나 복잡한 멀티 윈도우 상호작용을 더 잘 지원합니다.
단점:
  1. 복잡성: Selenium의 API는 더 장황하고 명시적입니다. 어떤 경우에는 장점일 수 있지만 작성하고 유지보수할 코드가 더 많아져 개발자의 민첩성이 떨어질 수 있으며, 이는 스타트업 환경에서 특히 중요합니다.
  2. 성능: Selenium은 특히 헤드리스 모드에서 일반적으로 Playwright보다 느리게 실행됩니다. 이는 테스트 수가 늘어날수록 CI/CD 파이프라인에 영향을 줄 수 있습니다.
  3. 인터랙티브 UI 테스트: Selenium은 특히 차트와 실시간 데이터 업데이트가 있는 현대적이고 인터랙티브한 웹 UI를 테스트하는 데 Playwright만큼 매끄럽지 않습니다. 동적 콘텐츠와 안정적으로 상호작용하려면 더 많은 설정과 처리가 필요합니다.

6. 비교 요약

기능 Playwright Selenium
사용 편의성 더 짧은 문법, 현대적 UI에 더 직관적 더 명시적, 더 많은 상용구 필요
언어 지원 TypeScript, Python, JavaScript TypeScript, Python, Java, Ruby, C#
인터랙티브 UI 테스트 동적 실시간 UI에 탁월 기본 UI는 처리하지만 풍부한 상호작용에는 더 장황하고 복잡
파일 업로드 테스트 파일 업로드를 위한 더 똑똑한 API 더 장황하고 덜 직관적인 API
CI/CD 통합 GitHub Actions, Jenkins와 쉬운 통합 많은 CI 도구와의 강력한 통합
모바일 테스트 제한적, 에뮬레이션만 Appium을 통한 완전한 지원
멀티 브라우저 지원 Chromium, WebKit, Firefox 주요 및 구형 브라우저 전반의 완전한 지원
성능 빠름, 헤드리스 테스트에 최적화 더 느림, 특히 헤드리스 모드
멀티 스크린 테스트 제한적 멀티 스크린 설정에 대한 좋은 지원
커뮤니티와 생태계 성장 중, 좋은 문서 크고, 성숙하고, 광범위한 생태계

7. 결정

요구사항과 트레이드오프를 검토한 결과, 우리의 현재 요구에는 Playwright가 더 나은 선택입니다. 로컬 파일 업로드 테스트를 위한 더 똑똑한 API, 간결한 문법, 인터랙티브 UI 테스트에 대한 강력한 지원은 우리의 애자일 개발 주기에 이상적으로 맞습니다. TypeScript와 Python을 모두 지원한다는 점은 우리 팀에 매우 중요하며, 프레임워크의 현대적인 테스트 접근 방식 덕분에 깔끔하고 유지보수하기 쉬운 코드를 작성할 수 있습니다.

Selenium은 특히 모바일 테스트, 구형 브라우저 지원, 멀티 스크린 설정에서 여전히 훌륭한 도구이지만, 우리의 현재 요구에는 덜 적합합니다. 장황함, 더 느린 성능, 차트 같은 동적 UI의 더 복잡한 처리는 우리 사용 사례에 덜 최적입니다.

8. 결과

  • 즉각적인 조치: 우리는 E2E 테스트에 Playwright를 도입하며, 가입, 로그인, 파일 업로드, 대시보드, 보고서 다운로드를 포함한 사용자 흐름 테스트에 집중합니다.
  • 장기적 고려 사항: Playwright의 진화하는 생태계를 지켜볼 것입니다. 특히 모바일 테스트나 구형 브라우저 지원과 관련하여 요구가 바뀌면 Selenium을 재검토할 수 있습니다.
  • 교육과 문서화: 개발 팀은 특히 동적 UI와 파일 업로드를 처리하기 위해 Playwright의 API에 익숙해져야 합니다.
  • 마이그레이션: 기존 Selenium 테스트(있다면)는 점진적으로 Playwright로 마이그레이션합니다.

9. 향후 고려 사항