Beautiful Soup과 Selenium을 실습하기 위하여 네이버 실시간 급상승 검색어 가져오기를 해보겠다. span태그 class는 "keyword"로 되어있어 이 정보를 바탕으로 soup으로 가져오면 될것 같았다. import requests from bs4 import BeautifulSoup url = "https://www.naver.com" res = requests.get(url) soup = BeautifulSoup(res.text, "lxml") list =[] naver_lists = soup.find_all("span", attrs={"class" : "keyword"}) for naver_text in naver_lists: list.append(naver_text.get_tex..

Selenium을 이용하여 크롤링을 해보자. 우선 설치부터 하겠다. -> pip install selenium 또한 selenium을 사용하기 위하여 chromedriver을 설치 해주어야 한다. 먼저 자신의 크롬버전을 확인바란다. chromedriver.chromium.org/downloads Downloads - ChromeDriver - WebDriver for Chrome WebDriver for Chrome chromedriver.chromium.org 자신의 버전에 맞게 홈페이지에서 다운받자. 설치후 압축을 풀고 자신의 파이썬 워크스페이스에 옮겨주자 from selenium import webdriver browser = webdriver.Chrome() browser.get("http://n..

python에서 웹 크롤링하기 위해 모듈을 먼저 설치해주자. -> pip install requests import requests res = requests.get("http://google.com") print(res) google을 접속해 정보를 가져온 후 res변수에 담아봤다. 여기서 Reasponse 값이 200으로 나오는데 여기서 200은 정상으로 응답했다는 것이다. import requests res = requests.get("https://20s-hoon.tistory.com/") with open("hoon.html", "w", encoding="utf8") as f: f.write(res.text) 내 블로그를 접속한후 hoon.html 파일로 내 블로그를 긁어와봤다. 위와 같이 잘 ..

import requests cookies= {'PHPSESSID':'YOUR COOKIES'} url = 'INSERT URL' pw = '' # pw길이 구하기 for i in range(0,99): payload = "Paylord 입력" new_url = url+payload res = requests.get(new_url, cookies=cookies) res.raise_for_status() if "조건실행" in res.test: length = i print("length: "+str(length)) break # pw 구하기 for i in range(1,length+1): for j in range(48,128): payload = "payload 입력" new_url = url+pay..

Python에는 re정규식 작업에 사용할 수있는 이라는 내장 패키지가 있다 import re 이렇게 가져다가 쓰면되는데 re안에 문자열을 검색 할 수 있는 함수세트가 있다. findall, search, match , split, sub findall : 일치하는 모든 것을 리스트 형태로 반환한다. search : 주어진 문자열중 일치하는지 확인한다. match : 주어진 문자열이 처음부터 일치하는지 확인한다. split : 일치 할 때마다 문자열이 분할 된 목록을 반환한다. sub : 하나 이상의 일치 항목을 문자열로 바꾼다. 메타문자 [] : 문자클래스 , 아무거나 집어넣기 가능 ex) [1-9] 1~9까지를 의미함 . : 하나의 문자를 의미 ex) ab.d -> abcd, abdd, abed, ab..

공부는 했지만 잘 사용하지 못하는 것에 대한 함수다. enumerate 열거하다 라는 뜻이다. 대게 for문에 사용되는데 range -> 정수 집합을 순회하는 루프를 실행할때 유용하고 enumerate는 리스트를 순회하거나 리스트의 인덱스를 같이 알아야 하는 경우 쓰기 유용하다. food =['buger', 'pizza', 'kimchi', 'chicken'] print(list(enumerate(food))) 여기서 인덱스를 따로 설정해주지 않으면 0으로 자동설정되는데 인덱스를 따로 설정해 줄 수 도있다. food =['buger', 'pizza', 'kimchi', 'chicken'] print(list(enumerate(food, start=2))) for과 같이 써보면 today_diner =['..