Python19 [웹 스크래핑] 역대 대통령 연설기록 목록과 그 내용까지 행정안전부 대통령 기록관 사이트의 역대 대통령 연설기록을 스크래핑해본다. 페이지를 넘기면 나오는 목록 뿐 아니라 제목을 눌렀을 때 나오는 내용까지 수집한다. 필요한 라이브러리 import import requests import pandas as pd from bs4 import BeautifulSoup as bs URL로 HTTP 요청을 보내기 위해 requests, 데이터프레임을 만들기 위해 pandas, 내용으로 들어가기 위한 링크를 찾기 위해 BeautifulSoup URL 작성 url = "https://www.pa.go.kr/research/contents/speech/index.jsp" params = f"?spMode=&artid=&catid=&pageIndex={page_no}&searc.. 2023. 1. 16. [웹 스크래핑] 네이버 종목토론실 글 목록 수집해보기 네이버 증권 종목토론실에서 특정 종목을 선택하고 작성된 모든 게시물을 스크래핑하여 excel 파일로 저장한 후 확인해본다. 예시로 삼성전자를 보면 현재 80000페이지가 훌쩍 넘기 때문에 스크래핑을 진행할 종목은 가장 최근에 상장한 바이오노트(377740)로 선정한다. 먼저 필요한 라이브러리를 import한다. import pandas as pd import requests import time from tqdm import trange from bs4 import BeautifulSoup as bs 데이터 프레임을 만들기 위해 pandas, URL로 요청을 보내기 위해 requests, 서버에 시간 간격을 두고 요청하기 위해 time, 진행 상황을 확인할 수 있는 trange, 종목토론실 마지막 페이지.. 2023. 1. 15. pseudo code(슈도코드, 의사코드)란? 본 글에서는 pseudo code(슈도코드, 의사코드)에 대해 설명한다. pseudo code가 무엇인지, 사용하는 이유, 작성하는 방법, 예시를 알아보자. pseudo code(슈도코드, 의사코드) 컴퓨터 프로그램의 동작이나 알고리즘을 인간이 사용하는 언어로 작성한 것을 말한다. 작성자와 다른 사람이 이해할 수 있는 일상적인 언어(한국어, 영어 등)으로 작성하면 된다. 프로그래밍과 달리 정해진 문법이 없어 자유로운 작성이 가능하다. pseudo code는 어떤 상황에 사용하나? 장점이 있나? - 통상 작성할 프로그램의 로직을 자연어를 통해 작성하고 이를 바탕으로 코딩을 하는 방식으로 활용한다 - 바로 코딩하는 것에 비해 문제에 대해 조금 더 명확한 사고가 가능하다. - 잘 작성한 pseudo code는.. 2023. 1. 11. [Python 이메일 발송] 파일 첨부하여 Gmail 보내기 (SMTP) 파이썬 smtplib 라이브러리와 Gmail 계정을 이용하여 파일을 첨부한 메일을 전송해보자. 사전 준비 파이썬 코드를 통해 Gmail을 보내기 위해선 "IMAP 사용" 설정이 필요하다. 설정 방법 1. 설정 진입 : 메일 보낼 계정으로 Gmail 접속 후 우측 상단 톱니바퀴 - 모든 설정 보기 2. 전달 및 POP/IMAP -> IMAP 사용 체크 -> 변경사항 저장 IMAP 사용 설정은 메일 계정의 외부 접속에 대한 보안 설정 과정으로 필수이다. 생략하고 진행하게 되면 로그인 시도가 차단되었다는 보안 메일을 받게 된다. 인터넷에서 메일을 송수신할 때는 SMTP(Simple Mail Transfer Protocol)이라는 규약을 사용한다. 파이썬 프로그램(Client)와 메일 Server, Server.. 2023. 1. 8. [예외처리] Exception Handling - try, except, else, finally, raise 예외처리란 코드의 에러를 처리하는 문법, 방법을 말한다. "세상에 완벽한 프로그램은 없다"라는 말이 있다. 누구든 파이썬으로 코드를 작성하고 프로그램을 실행하다 보면 에러를 만나게 되어 있는데 그런 예외 상황을 대처하기 위해 예외처리를 하는 것이다. 예외처리의 기본 구문은 아래와 같다. try: 예외가 발생할 수 있는 코드 except: 예외가 발생했을 경우 실행되는 코드 예외처리를 하지 않은 예시를 보자. print(1/0) print('python') # 실행 결과 ZeroDivisionError: division by zero 첫번째 줄에서 에러가 발생하고 두번째 줄은 실행되지 않는다. 프로그램은 에러를 출력하며 즉시 종료되는 것이다. 예외처리를 통해 에러가 발생하더라도 프로그램이 종료되지 않도록 .. 2023. 1. 7. 이전 1 2 3 4 다음 반응형
