728x90
웹사이트 크롤링시 꼭 확인하기
크롤링시 beautifulsoup 나 selenium 으로 하면 되는데
속도면에서 beautifulsoup 훨 빠르다
해당 url에 curl 을 날려서 응답을 체크하자
반응이 안온다면 user-agent 를 넣여서 체크
user-agent 확인법은 아래 링크로~~
https://blog.naver.com/ree31206/221982557013
728x90
'프로그래밍 > 파이썬' 카테고리의 다른 글
| 파이썬 크롤링 오류 stale element reference: element is not attached to the page document (0) | 2022.12.04 |
|---|---|
| find_element_by_class_name 띄어쓰기 값일때 (0) | 2022.12.04 |
| 우분투 서버에 selenium 설치 하기 (0) | 2022.04.21 |
| 퀘사이존 타세요(임시) 게시글 크롤링 텔레그램 발송 봇 (2) | 2022.04.20 |
| 파이썬 csv 파일 읽기/불러오기 (0) | 2021.12.01 |
댓글