목차
requests 이용
•
받아오는 문자열에 따라 두가지 방법으로 구분
◦
json 문자열로 받아서 파싱하는 방법 : 주로 동적 페이지 크롤링할때 사용
◦
html 문자열로 받아서 파싱하는 방법 : 주로 정적 페이지 크롤링할때 사용
원하는 데이터가 동적페이지에 있는지 정확하게 아는 방법은
개발자 도구 > Network 탭 > 'Fetch/XHR' 설정 > 'Response' 탭에서 'Ctrl + F' 로 원하는 데이터 찾기
selenium 이용
•
브라우저를 직접 열어서 데이터를 받는 방법
크롤링 방법에 따른 속도
•
requests json > requests html > selenium