본문 바로가기
파이썬

37. 크롤링과 스크레이핑

by 곽정우 2024. 5. 20.


1. 크롤링과 스크레이핑

  • 크롤링(Crawling): 인터넷의 데이터를 활용하기 위해 정보드들을 분석하고 활용할 수 있도록 수집하는 행위
  • 스크레이핑(Scraping): 크롤링 + 데이터를 추출하고 가공하는 행위

2. Basic English Speaking


3. 다음 뉴스기사


4. 벅스 뮤직 차트


5. 멜론

1차 시도:

robots.txt: 웹 사이트에 크롤러같은 로봇들의 접근을 제어하기 위한 규약(권고안이라고* robots.txt: 웹 사이트에 크롤러같은 로봇들의 접근을 제어하기 위한 규약(권고안이라 꼭 지킬의무는 없음)


2차 시도:


6. 네이버 증권