[Python] 초간단! 파이썬 웹 크롤링

본 포스팅에서는 파이썬의 Beautifulsoup 라이브러리, requests 라이브러리, HTML 태그를 이용하여 웹 크롤링을 진행합니다. 아래의 코드를 실행하면 특정 URL로 부터 웹페이지에 있는 텍스트(멜론의 top100 차트 정보)를 가져올 수 있게 됩니다. 8번째 줄의 get함수는 지정된 URL로 HTTP GET 요청을 보내는 함수입니다. 즉, '지정된 URL에서 정보를 가져오겠다.'라고 웹페이지에 선언하는 것입니다. 8번째 줄의 data의 text 인자에는 지정된 URL의 웹페이지의 모든 텍스트가 들어가있는데, 9번째 줄의 BeautifulSoup에서 HTML parser를 이용하여 내용들을 잘라주는 역할을 수행합니다. from bs4 import BeautifulSoup import requ..

2024.01.30