가랑비 (58.♡.137.93)
2025년 4월 26일 PM 09:58 · 수정됨(04. 27. 22:42)
python selenium 이용하면, chrome 을 열고 html 파싱하면서 여러가지 자동화를 할 수 있습니다. 특정 <div ~> 나 id 찾아서 클릭하고, 텍스트 입력하는 등 좋은 기능이 많습니다.
기존에 비슷한 상황에서 잘 동학하던 코드가 오늘 갑자기 안 도네요. '아무것도 바뀐게 없는데' 라고 주장하지만, 무언가 바뀐게 있겠죠. 나름 chatgpt와 claude 와 google 의 도움을 열심히 받았으나, 계속 에러나네요. 그러면서 오전을 날렸습니다.
아...
이전 웹페이지에서 버튼을 누르면서 '새 탭'에 웹페이지가 열렸지~!!!
새로운 탭에 웹페이지가 열렸는데, 이전 페이지로 연결된 포인터로 html 파싱을 시도하였더니 계속 이상한 내용을 읽는 것이었네요. chatGPT 에 '새 탭'에서 열렸다고 알려주었더니, 새로운 탭으로 포인터 옮기는 방법을 알려주네요. 그렇게 하였더니, 휘리릭. ㅠ.
나의 오전이여... ㅠㅠㅠ.
댓글 (21)
-
에에놀미타
25.04.26 · 125.♡.108.126
-
가가랑비
→ 에놀미타 작성자
25.04.27 · 58.♡.137.93
좋은 방법 소개 감사합니다. 조금 더 다량의 데이터를 처리해야 할 일이 생기면 사용해 보겠습니다.
아직은 소량의 데이터를 가공하는 정도여서, 아직은 chrome 을 직접 제어하면서 데이터 수집하는 selenium 이 심적으로 편하네요. -
에에놀미타
→ 가랑비
25.04.27 · 125.♡.108.126
셀레니움 같은 웹드라이버 이용한 방법이 편하긴 한데 http 크롤링에 비하면 상당히 느립니다.
브라우저 업데이트 되면 웹드라이버도 업데이트 해야 되는 불편함도 있었던 것 같아요 -
가가랑비
→ 에놀미타 작성자
25.04.27 · 58.♡.137.93
수집할 데이터 양이 적고, 정리한 데이터를 웹페이지에 다시 올리는 것이어서 아직은 GUI 보이면서 돌아가는 것을 보여주는게 편하네요. ㅎ.
지금은 돌아간다는 것 자체에 만족하지만, 조만간 속도 불만족이 생길 것 같은데, 그때는 말씀하신 방법도 찾아보겠습니다~. 감사합니다. -
고고바우
→ 에놀미타
25.04.27 · 61.♡.144.255
좋은 정보 감사합니다. 회사에서 파이썬으로 업무자동화 깔짝대는중입니다. -
에에놀미타
→ 고바우
25.04.27 · 125.♡.108.126
pyautoit, uiautomation, pywinauto 등등 유용한 자동화 패키지 많네요 -
디디클
→ 에놀미타
25.04.27 · 124.♡.100.15
동적 컨텐츠를 로딩하는 페이지는 requests 대응하지 못합니다.
그래서 selenium 이나 playwright 같은 도구를 사용하는 겁니다. -
에에놀미타
→ 디클
25.04.27 · 125.♡.108.126
동적 로딩도 어차피 http request/response 입니다.
경우에 따라 http 헤더의 referer, user-agent 설정하거나 js로 생성된 인증키 넘겨주면 됩니다. -
디디클
→ 에놀미타
25.04.27 · 124.♡.100.15
Ajax로 데이터를 가져오는 페이지인데, Javascript 엔진을 거쳐지 않고 어떻게 동적 컨텐츠를 가지고 올까요?
https://oo.ai/s/XL5lQPwalCcSV1udw4Rl -
에에놀미타
→ 디클
25.04.27 · 125.♡.108.126
AI 맹신하면 안 됩니다.
https://daeguowl.tistory.com/89
댓글을 작성하려면 이 필요합니다.
https://contents.premium.naver.com/codetree/funcoding/contents/240107161500856oo