[크롤링] : 인터넷에서 공개된 데이터를 수집하는 일, 프로그램을 이용해 자동으로 * 주의사항 1) 저작권을 지킬 것 2) 과도한 액세스로 업무를 방해하지 말 것 3) 크롤링 금지 사이트는 크롤링하지 말 것 [스크래핑] : 수집한 데이터를 해석해 필요한 데이터를 구하는 일 -> 파이썬 라이브러리(Beautiful Soup4) import requests url = "https://blog.naver.com/scienleader/221509685658" response = requests.get(url) response.encoding = response.apparent_encoding print(response.text) 결과

크롤링이란? 검색 엔진의 데이터 수집 방법 1) 웹 페이지 정보 가져오기(requests 라이브러리 사용) 2) HTML 소스 파싱(분석)하여 원하는 정보 얻기 : BeautifulSoup 라이브러리 사용 import requests from bs4 import BeautifulSoup # 네이버 영화 리뷰 - 트롤 url = "https://movie.naver.com/movie/bi/mi/review.nhn?code=191633" # html 소스 가져오기 res = requests.get(url) # html 파싱 soup = BeautifulSoup(res.text, 'lxml') # 리뷰 리스트 ul = soup.find('ul', class_="rvw_list_area") lis = ul.fi..