728x90 프로그래밍/파이썬28 웹사이트 크롤링시 꼭 확인하기 웹사이트 크롤링시 꼭 확인하기 크롤링시 beautifulsoup 나 selenium 으로 하면 되는데 속도면에서 beautifulsoup 훨 빠르다 해당 url에 curl 을 날려서 응답을 체크하자 반응이 안온다면 user-agent 를 넣여서 체크 user-agent 확인법은 아래 링크로~~ https://blog.naver.com/ree31206/221982557013 2022. 4. 21. 우분투 서버에 selenium 설치 하기 우분투 서버에 selenium 설치 하기 입니다 저는 오라클프리티어가 있어서 거기에 설치할 것입니다 curl -sS -o - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google-chrome.list apt-get update apt-get -y install google-chrome-stable google-chrome --version # Google Chrome 100.0.4896.127 # 버전을 확인하시고 wget -N https://c.. 2022. 4. 21. 퀘사이존 타세요(임시) 게시글 크롤링 텔레그램 발송 봇 퀘사이존 타세요(임시) 게시글 크롤링 텔레그램 발송 봇을 만들어 봤습니다 요새 하루가 다르게 그래픽카드 가격이 내려가네여.ㅎ import requests from bs4 import BeautifulSoup import os import telegram bot = telegram.Bot(token='텔레그램 토큰') #chat_id = bot.getUpdates()[-1].message.chat.id BASE_DIR = os.path.dirname(os.path.abspath(__file__)) #req = requests.get('https://www.ddengle.com/buyinfo') req = requests.get('https://quasarzone.com/bbs/qb_tsy') req.enc.. 2022. 4. 20. 파이썬 csv 파일 읽기/불러오기 파이썬 csv 파일 읽기/불러오기 with open('assets/item_names.csv') as data: lines = data.readlines(); # converter item name to botty format # ex) Tal Rasha's Guardianship -> tal_rasha_guardianship for line in lines: temp = line.rstrip().split(','); if len(temp) < 2: continue; #temp[ 0 ] = temp[ 0 ].lower(); #temp[ 0 ] = temp[ 0 ].replace( "'s", "" ); #temp[ 0 ] = temp[ 0 ].replace( " ", "_"); print( [ temp[0.. 2021. 12. 1. 이전 1 2 3 4 5 6 7 다음 728x90
