생초보도 할 수 있는 파이썬 웹 크롤링 - 웹페이지 정보 추출 #1

파이썬 웹크롤링 #1 대표 이미지

🔖 INDEX

 

 

주로 Visual Studio C++ 언어를 다루던 필자가 파이썬으로 전환하게 되면서, 프로그래머로서 새로운 언어를 습득하는 필요성을 느꼈습니다. 이번 글에서는 동일한 상황에 처한 독자들을 위해 파이썬에 대해 조금 더 정리하고 문서화하려고 합니다. 함께 파이썬을 사용하여 프로그래밍을 더욱 편리하고 효율적으로 접근해 보세요. 이 글은 비슷한 경험을 겪고 있는 분들이나 혹은 이제 처음 파이썬에 입문한 초보자들에게 매우 유익할 것입니다.

 

Visual Studio 2019에서 파이썬 프로젝트 만들기

Visual Studio 2019에서 파이썬 프로젝트를 시작하는 방법은 매우 간단합니다.

"새 프로젝트 만들기"에서 언어를 "Python"으로 선택한 후 "Python 애플리케이션"을 선택하고 "다음"을 클릭합니다.

 

프로젝트 이름을 작성한 후 "만들기"를 클릭하면 됩니다.

 

홈페이지 요청하기 (GET 메서드 사용)

오늘의 목표는 웹페이지 요청을 통해 HTML 내용을 확인하는 것입니다. 개인적으로 빠른 결과를 얻기 위해, 자료 검색을 통해 정보를 습득하고 구현한 후에 자세한 내용을 공부하고 정리하는 방식을 선호합니다. 웹 크롤링을 위해 파이썬에 대한 정보를 열심히 수집하고 있으며, 주식 관련 웹페이지 요청에 필요한 정보를 찾기 위해 다양한 자료를 참고하고 있습니다. 이를 바탕으로 웹페이지 크롤링을 구현할 예정입니다.

 

 

우선, NAVER 주식 웹페이지를 GET 메서드를 사용해서 요청해서 웹페이지를 받아오는 내용을 구현하려고 합니다. 

import requests

response = requests.get('https://finance.naver.com/item/main.nhn?code=005930')
print(response.text)

그러나 프로그래밍 세계에서는 항상 예상치 못한 문제가 발생하기 마련입니다. 예기치 않은 오류, 버그, 시스템 불안정 등이 발생할 수 있습니다. 따라서 개발자들은 불완전한 세상에서 최대한 완벽한 프로그램을 만들기 위해 노력해야 하며, 유연하고 창의적인 해결책을 찾아내기 위한 능력을 기르는 것이 중요합니다.

 

파이썬 언어에 대한 경험이 없어도, 개발자로서의 경력 덕분에 내용을 유추할 수 있습니다. 일부 자료에서는 import만으로 모든 기능을 사용할 수 있다고 나오지만, 실제로는 설치 및 연결 설정과 같은 환경 설정 작업이 필요합니다.

따라서, 이를 위해 구글 검색을 시작하며 필요한 정보를 수집하고, 스스로 내 것으로 만드는 것이 개발자로서 중요한 능력입니다. 이러한 능력을 향상시키기 위해, 항상 구글 검색을 습관화하고 필요한 정보를 찾아내는 능력을 강화하는 것이 좋습니다.

 

unresolved import 'requests' 문제 해결

"솔루션 탐색기"에서 "Python 환경" 항목에서 마우스 우클릭 메뉴를 확인한 후 "환경 추가..." 메뉴를 선택합니다.

그런 다음 나타나는 다이얼로그에서 "만들기"를 선택합니다.

가상 환경을 만든 후에 변경된 내역을 확인할 수 있습니다.

"Python 환경" 하위 메뉴가 Python 3.7 (64bit)에서 env (Python 3.7 (64-bit))로 변경되었습니다.

그다음, "env (Python 3.7 (64-bit))"를 마우스 우클릭하여 "여기서 명령 프롬프트 열기.." 메뉴를 선택합니다.

 

 

프롬프트가 나타나면, 해당 명령을 실행합니다. 

pip install requests

정상적으로 완료되면, "솔루션 탐색기" 화면이 변경됩니다.

"env (Python 3.7 (64-bit))" 하위 메뉴가 pip와 setuptools 2개에서 여러 항목으로 확장됩니다.

디버깅을 시작하면 원하는 결과를 얻을 수 있습니다.

 

이제 HTML 구조를 분석하여 원하는 내용을 추출하는 방법을 도전해 볼 예정입니다. ⬇️

생초보도 할 수 있는 파이썬 웹 크롤링 - 웹페이지 정보 추출 #2

 

날씨가 매우 덥고 코로나19로 인해 외출을 자제해야 하는 상황이지만, 개인적으로 주말에 집에서 새로운 언어를 시작하는 것도 인생에 작은 활력을 부여하는 데 도움이 되는 것 같습니다. 이 글을 통해 파이썬을 시작하시는 분들에게 조금이나마 도움이 되길 바라며, 즐거운 프로그래밍 여정이 되시길 기원합니다.