웹 크롤링

ALL

Python 크롤링 데이터 csv 파일 저장

파이썬 판다스로 크롤링을 사용해 웹 사이트 정보를 취득할 수 있습니다. 이번에는 취득한 정보를 csv 파일로 저장하는 예제를 보겠습니다. 크롤링과 csv 파일을 출력은 판다스를 사용하겠습니다. 먼저 데이터를 취득하겠습니다. import pandas as pd url = ' dfs = pd.read_html(url,match='순위',encoding='euc-kr') # print(dfs].dropna(how="all")) dfsNan = dfs.dropna(how="all") print(dfsNan) 결과 데이터는 문제없이 취득되었...
ALL

Python pandas 웹 사이트 크롤링 예제

파이썬 판다스를 사용해 웹 페이지에 내용을 크롤링 하는 방법을 보겠습니다. 크롤링취득한 데이터는 DataFrame에 저장해 가공을 하거나 csv 파일로 저장을 할 수 있습니다. 본론으로 들어가 크롤링은 read_html()을 사용해 취득하도록 하겠습니다. 크롤링 할 때 필요한 라이브러리도 미리 설치해두겠습니다. lxml, html5lib, beautifulsoup4라이브러리를 설치합니다. $ pip install lxml html5lib beautifulsoup4 파이참을 사용하는 경우에는 파이참에서 설치해도 됩니다. 웹 크롤링 예...