[Next x Likelion] - 크롤링

크롤링 - 인터넷 상에 존재하는 웹 문서들을 추적하여 필요한 정보를 수집하는 기법

 

일단 가상환경 먼저 실행해주어야 한다 (프로젝트 별로 독립된 개발환경을 구축하기 위해서)

pipenv shell (꼭 해당 프로젝트 최상단 위치에서 생성! ex) session4) - 가상환경 생성 및 시작

pipenv install requests

pipenv install bs4 (beautifulsoup4 : HTML과 XML 문서를 파싱하기 위한 파이썬 패키지 - find 함수, select 함수 이용)

 

*exit - 가상환경 끄기

 pipenv install 패키지명

 pipenv uninstall 패키지명

 

크롤링의 기본적인 flow는 1. 웹 사이트 url에 get 요청 -> 2. find나 select 함수를 이용해서 원하는 HTML element 가져오기 -> 3. 원하는 데이터 결과값 형태로 가공하기 방식으로 진행된다.

 

1) url 연결을 위한 main.py 만들기

2) 원하는 주소에 요청 보내기

 

주로 query에 변수를 담아 정보를 전송해서 get 요청을 보내는데, url 뒤에 ? 로 시작하며 변수와 값의 쌍으로 구성된다.(각 쌍은 &로 구별)

2번째 페이지, 한페이지에는 80개의 검색결과, 검색어는 반숙란

get 요청으로 해당 페이지 정보를 egg.html에 저장하고, egg_soup 변수를 이용해 파싱 가능하도록 저장해준다.

 

3) 상품 리스트 출력

find 와 find_all 함수를 통해 모든 상품을 리스트에 저장해준다.

맨 위 리스트에 class 이름이 써있음

여기서 첫번째 상품의 이름을 가져오려면 ul > li> basicList_inner__eY_mq > basicList_title_3P9Q7 > a 순으로 저장

(가격, 디테일도 다 마찬가지) 요기서부터는 egg.py에 저장

* 텍스트 추출 방법 

.text 와 .string 의 차이점

4) 데이터 저장

상세정보도 배열로 담아 result에 추가해주기

 반복문을 돌려서 모든 데이터를 저장해준다

 

코드를 url 연결하는 파일인 main.py와 주어진 데이터를 추출하고 가공하는 egg.py 로 나눠주면

main.py - from 파일명 import 함수명으로 egg.py 함수 가져오기

egg.py

여기서 main.py를 수정해 1~10페이지 전체 상품 목록 저장을 할 수 있다!

5) csv 파일로 저장 (DB에 직접 넣을 수 있는 파일 형식!)

main.py 에 import csv 후 

이런 코드 추가를 통해 egg.csv를 만들 수 있다.

 

하지만 bs4의 경우 웹사이트의 구조가 바뀌면 코드를 다시 작성해야 하고, 동적으로 만들어진 웹사이트 코드를 읽지 못하기 때문에 Selenium을 통해 정보를 수집하는 것이 더 편리하다. selenium 이용 시 웹 드라이버를 사용해서 웹 페이지를 동적크롤링 할 수 있다. 크롤링 결과의 특정 html 엘리먼트에 마우스 클릭를 발생시키거나 , input 엘리먼트에 텍스트를 채워넣기 등이 가능하다.

 

https://www.hanumoka.net/2020/07/05/python-20200705-python-selenium-install-start/

Selenium 설치하기 및 크롤링 예제

https://pythondocs.net/selenium/%EC%85%80%EB%A0%88%EB%8B%88%EC%9B%80-%ED%81%AC%EB%A1%A4%EB%9F%AC-%EA%B8%B0%EB%B3%B8-%EC%82%AC%EC%9A%A9%EB%B2%95/

셀레니움 크롤러 기본 사용법 - 뻥뚫리는 파이썬 코드 모음

https://dev-dain.tistory.com/91

[생존형 튜토리얼] 파이썬 selenium으로 데이터 크롤링

https://www.youtube.com/watch?v=yQ20jZwDjTE 

이거 보고 이해 및 적용..!

해서 작성한 네이버지도 크롤링 코드 (selenium 사용)

다음 페이지 버튼을 누르는 selenium이 적용이 안되는데 이건 코드 다시 짜보기..(코드 문제라기보단 이미지 클릭은 원래 크롤링이 잘 안먹는다고 한다.)

 

*다시 실행했더니 chromsdriver 경로 지정 오류 뜨길래 코드 수정

cmd 에서 pip install webdriver-manager

python 에

from selenium import webdriver

from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(ChromeDriverManager().install())

추가해주기

 

+) 주기적으로 크롤링을 하기 위해 celery를 사용해보려했으나 실패..

결국 노트북 내에 있는 작업 스케줄러로 정해진 시간에 정해진 파이썬 파일을 실행시키도록 설정

실패했지만... 정해진 시간에 시작은 되는데 크롤링 못하고 끊김 (spiders만 단독 실행하면 정상 작동)

celery는 이렇게 settings.py 파일이 있는 곳에 celery.py 추가해주어야 함

settings.py에 celery 스케줄 추가

 

model 있는 경로에 tasks.py 추가해서 스케줄 설정해야 함

작업 스케줄러

+) 쿠독 프로젝트에서 크롤링 했을 때는 scrapy에서 spiders 사용

scrapy 사용 코드