스크래핑 툴 개발 질문

지난번에 질문에서 알려주신 덕분에 도움을 많이 얻었습니다.

알아보다보니 스크래핑도 방식이 꽤 다양하더군요

 * 크로미움 같은 브라우저 엔진을 사용하는 방법(CEF, CefSharp)

   C++로 나온 CEF 를 C#으로 편하게 사용하도록 구현되었습니다.

   헤드리스 브라우저 구현이나 다운로드 관련 코딩 등의 구현이 복잡함. (연구중)

   가볍지만 구현이 복잡, 검색해보니 아래 방법에 비하면 안되는 기능들도 있다고 함.

* 크롬, 엣지 등 같은 설치되어 있는 브라우저 전용 브라우저 드라이버를 사용하는 방법(Selenium)

   사용자 컴에 설치된 브라우저에 맞는 브라우저 드라이버를 사용합니다.

   브라우저에 명령어를 입력하거나 원격 디버깅 가능하도록 브라우저 드라이버라는 것이 있더군요.

   크롬은 크롬 드라이버, 엣지는 엣지 웹 드라이버 이렇게 있네요.

   대표적으로 Selenium 이 이 방법을 이용하는 것 같습니다.

   헤드리스 브라우저 구현시 --headless 명령어입력, 다운로드 관련 설정도 명령어 입력으로 해결가능.

   구현이 위 방법보다는 그나마 간단함 , 하지만 클라이언트에 설치된 브라우저가 필요함(사용자컴에 크롬 없으면 브라우저 사용 불가능)

   추가 연구 필요(C# 같은 개발환경에서 브라우저 드라이버 사용방법을 연구해야함)

   생각보다 무거워서 프로그램이 느려짐 등 문제가 발생

개발자 분들은 후에 상업용으로 스크래핑 툴을 개발하신다면 어떤 방법을 사용하실건가요?