반응형 크롤링2 네이버 이미지 웹크롤링 import urllib.request from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.keys import Keys import time binary = 'chromedriver.exe' options = webdriver.ChromeOptions() options.add_experimental_option('excludeSwitches', ['enable-logging']) browser = webdriver.Chrome(options=options) browser.implicitly_wait(10) browser.get("https://search.naver.com/search.nav.. 2020. 12. 17. [웹크롤링] 랜덤 uger-agent, 랜덤 Proxy IP 우회 class from http_request_randomizer.requests.proxy.requestProxy import RequestProxy from fake_headers import Headers import requests class RANDOM_PROXY: def __init__(self): self.proxy = self.proxy_crate() self.crawling() def proxy_create(self): """ 무작위로 프록시를 생성해서 가져오는 코드 """ self.req_proxy = RequestProxy() proxy = self.test_proxy() # 잘 작동되는 프록시 선별 return proxy def test_proxy(self): """ 가져온 프록시중에서 실제로 작.. 2020. 11. 12. 이전 1 다음 반응형
