프로그래밍/파이썬
웹사이트 크롤링시 꼭 확인하기
젤리씨
2022. 4. 21. 16:42
728x90
웹사이트 크롤링시 꼭 확인하기
크롤링시 beautifulsoup 나 selenium 으로 하면 되는데
속도면에서 beautifulsoup 훨 빠르다
해당 url에 curl 을 날려서 응답을 체크하자
반응이 안온다면 user-agent 를 넣여서 체크
user-agent 확인법은 아래 링크로~~
https://blog.naver.com/ree31206/221982557013
728x90