본 포스팅에서는 파이썬의 Beautifulsoup 라이브러리, requests 라이브러리, HTML 태그를 이용하여 웹 크롤링을 진행합니다. 아래의 코드를 실행하면 특정 URL로 부터 웹페이지에 있는 텍스트(멜론의 top100 차트 정보)를 가져올 수 있게 됩니다. 8번째 줄의 get함수는 지정된 URL로 HTTP GET 요청을 보내는 함수입니다. 즉, '지정된 URL에서 정보를 가져오겠다.'라고 웹페이지에 선언하는 것입니다. 8번째 줄의 data의 text 인자에는 지정된 URL의 웹페이지의 모든 텍스트가 들어가있는데, 9번째 줄의 BeautifulSoup에서 HTML parser를 이용하여 내용들을 잘라주는 역할을 수행합니다. from bs4 import BeautifulSoup import requ..

python의 collections 라이브러리에서는 defaultdict라는 함수를 제공하는데, defaultdict는 초깃값(e.g. int, float, list, dict)을 지정하면, 그 초깃값을 이용하여 dict의 초기화를 시켜주게됩니다. 하지만, 경우에따라 defaultdict의 초깃값을 defaultdict로 초기화해야하는 경우가 생기는데, 이런 경우 어떻게 할 수 있을까요 ? 아래와 같이 lambda함수를 사용하면 defaultdict의 초깃값을 defaultdict로 초기화할 수 있습니다. import collections dictionary = collections.defaultdict(lambda x: collections.defaultdict(int))

기존에 짜여진 코드들을 Github에서 Clone해와서 사용할 때, 복잡한 추상화 때문에 원하는 함수가 어느 파일에 있는지 모르는 경우가 있습니다. 이 경우 찾고자하는 함수를 찾는 방법을 소개합니다. import os import inspect p = os.path.abspath(inspect.getfile("module wanted")) Python에 내장되어 있는 inspect, os 모듈을 활용해서 원하는 함수의 절대경로를 추출할 수 있습니다!