취미코딩. python selenium 웹자동 에서 뻘짓 한참 했네요. ㅠ.
가랑비

Lv.1 가랑비 (58.♡.137.93)

2025년 4월 26일 PM 09:58 · 수정됨(04. 27. 22:42)

조회 1,325 공감 0

python selenium 이용하면, chrome 을 열고 html 파싱하면서 여러가지 자동화를 할 수 있습니다. 특정 <div ~> 나 id 찾아서 클릭하고, 텍스트 입력하는 등 좋은 기능이 많습니다. 


기존에 비슷한 상황에서 잘 동학하던 코드가 오늘 갑자기 안 도네요. '아무것도 바뀐게 없는데' 라고 주장하지만, 무언가 바뀐게 있겠죠. 나름 chatgpt와 claude 와 google 의 도움을 열심히 받았으나, 계속 에러나네요. 그러면서 오전을 날렸습니다. 


아... 
이전 웹페이지에서 버튼을 누르면서 '새 탭'에 웹페이지가 열렸지~!!!


새로운 탭에 웹페이지가 열렸는데, 이전 페이지로 연결된 포인터로 html 파싱을 시도하였더니 계속 이상한 내용을 읽는 것이었네요.  chatGPT 에 '새 탭'에서 열렸다고 알려주었더니, 새로운 탭으로 포인터 옮기는 방법을 알려주네요. 그렇게 하였더니, 휘리릭. ㅠ. 


나의 오전이여... ㅠㅠㅠ.

댓글 (21)

  • 에놀미타

    에놀미타 Lv.1

    25.04.26 · 125.♡.108.126

    fiddler로 분석하고 requests+beautifulsoup 이용해서 해보세요
    https://contents.premium.naver.com/codetree/funcoding/contents/240107161500856oo
  • 가랑비

    가랑비 Lv.1 → 에놀미타 작성자

    25.04.27 · 58.♡.137.93

    좋은 방법 소개 감사합니다. 조금 더 다량의 데이터를 처리해야 할 일이 생기면 사용해 보겠습니다.
    아직은 소량의 데이터를 가공하는 정도여서, 아직은 chrome 을 직접 제어하면서 데이터 수집하는 selenium 이 심적으로 편하네요.
  • 에놀미타

    에놀미타 Lv.1 → 가랑비

    25.04.27 · 125.♡.108.126

    셀레니움 같은 웹드라이버 이용한 방법이 편하긴 한데 http 크롤링에 비하면 상당히 느립니다.
    브라우저 업데이트 되면 웹드라이버도 업데이트 해야 되는 불편함도 있었던 것 같아요
  • 가랑비

    가랑비 Lv.1 → 에놀미타 작성자

    25.04.27 · 58.♡.137.93

    수집할 데이터 양이 적고, 정리한 데이터를 웹페이지에 다시 올리는 것이어서 아직은 GUI 보이면서 돌아가는 것을 보여주는게 편하네요. ㅎ.
    지금은 돌아간다는 것 자체에 만족하지만, 조만간 속도 불만족이 생길 것 같은데, 그때는 말씀하신 방법도 찾아보겠습니다~. 감사합니다.
  • 고바우

    고바우 Lv.1 → 에놀미타

    25.04.27 · 61.♡.144.255

    좋은 정보 감사합니다. 회사에서 파이썬으로 업무자동화 깔짝대는중입니다.
  • 에놀미타

    에놀미타 Lv.1 → 고바우

    25.04.27 · 125.♡.108.126

    pyautoit, uiautomation, pywinauto 등등 유용한 자동화 패키지 많네요
  • 디클

    디클 Lv.1 → 에놀미타

    25.04.27 · 124.♡.100.15

    동적 컨텐츠를 로딩하는 페이지는 requests 대응하지 못합니다.
    그래서 selenium 이나 playwright 같은 도구를 사용하는 겁니다.
  • 에놀미타

    에놀미타 Lv.1 → 디클

    25.04.27 · 125.♡.108.126

    동적 로딩도 어차피 http request/response 입니다.
    경우에 따라 http 헤더의 referer, user-agent 설정하거나 js로 생성된 인증키 넘겨주면 됩니다.
  • 디클

    디클 Lv.1 → 에놀미타

    25.04.27 · 124.♡.100.15

    Ajax로 데이터를 가져오는 페이지인데, Javascript 엔진을 거쳐지 않고 어떻게 동적 컨텐츠를 가지고 올까요?

    https://oo.ai/s/XL5lQPwalCcSV1udw4Rl
  • 에놀미타

    에놀미타 Lv.1 → 디클

    25.04.27 · 125.♡.108.126

    AI 맹신하면 안 됩니다.
    https://daeguowl.tistory.com/89

댓글을 작성하려면 이 필요합니다.