본문 바로가기

AI School111

[WEEK 4] 멋쟁이사자처럼 AI 스쿨 4주차 AI SCHOOL 8기 - 데이터 분석 트랙이 벌써 4주차가 되었다. 저번주까지는 파이썬에 대해 공부했고 이번주부터 정말 데이터 분석 관련 내용이 시작된것 같다. 지금 WIL을 작성하고 있긴 하지만.. 한 주에 월화수 3일 공부하고 목요일에 WIL 작성하고 다음날인 금요일에 다시 강의 듣는 이 구조가 음.. 효율적인지는 모르겠다. 아무튼 이번주 내용을 요약하자면 아래와 같다. 각 세부 사항은 TIL로 작성하였다. 먼저 pandas 기초에 대해 배웠다. DataFrame과 Series에 대한 이해부터, 데이터 타입 확인, 컬럼 다루기, 데이터 요약, 데이터 타입별 기술통계 값 확인, 파일로 저장하고 로드하는 방법 등의 내용이었다. DAY 11 TIL [DAY 11] pandas 기초 - DataFrame,.. 2023. 1. 12.
[DAY 14] Week 4 Insight Day 20230112(목) 이번주 인사이트데이였다. 인사이트데이는 주마다 있을 수도, 없을 수도 있다. 강의는 듣지 않고 복습 겸 쉬어가는 시간인 것 같다. 오전시간 재잘재잘팀별로 월~수에 들은 강의에 대해 노션에 정리하는 시간을 가졌다. 우리 팀은 어떤 내용을 배웠는지 쭉 작성하고 키워드를 선정했으며 어떤 점이 어려웠는지와 그것을 더 공부하기 위한 링크도 달면서 정리하였다. HTML, requests, pandas 그 외 다른 많은 내용에 대해 이야기가 나왔다. 오후시간 오후에는 insight time이라고 해서 이 주의 칭찬 수강생, 우수 사례를 발표했으며 한 주에 대한 설문을 진행했다. 본인이 생각하는 난이도, 학습 습관, 학습 소화, 만족도 등에 대한 내용이었다. 그 후 훈련장려금에 대한 안내를 받았다.. 2023. 1. 12.
[DAY 13] BeautifulSoup, 쿼리스트링, 슈도코드 등 어제에 이어 웹 스크래핑 실습이 계속되었다. 그 과정에서 나온 것에 대해 정리해 본다. BeautifulSoup 데이터 분석, 수집을 하는 과정에서 사용하지만 데이터 분석 도구나 데이터 수집 도구가 아니다. HTML Parser이다. 파싱이란 문장의 구성이나 구문 분석으로 의미있는 단위를 떼어내는 과정, 쉽게 말해 문자열에서 필요한 데이터를 추출하는 행위를 말한다. 원하는 웹페이지에 접근하여 HTML 데이터를 받아 온 후 그것을 가공하여 원하는 데이터를 사용하는데 그 때 사용하는 것이 BeautifulSoup이다. 쿼리스트링(Query String) 쿼리스트링은 사용자가 웹으로 데이터를 보내는 가장 간단하면서도 많이 쓰이는 방식이다. URL의 뒤에 데이터를 함께 전달한다. 형식은 위와 같이 URL 뒤에 .. 2023. 1. 11.
[DAY 12] API, 로봇 배제 표준, FinanceDataReader 등 API를 제공하는 이유, 로봇 배제표준, FinanceDataReader에 대해 공부하고 웹 스크래핑 실습을 했다. 키워드 : API, robots.txt, 라이브러리, FinanceDataReader, 웹 스크래핑 API를 제공하는 이유 - 허가된 계정에게만 데이터를 제공하기 위해 - 누가 사용했는지 알기 위해 - 유료로 데이터를 판매하는 사이트는 용량 등에 따라 과금을 위해 - 부동산 실거래가 등 실시간 제공 데이터의 경우 - 안정성을 위해 : 특정 사이트에 무리하게 네트워크 요청을 보내면 서버에 무리가 간다. - API용 서버를 따로 두게 되면 요청이 몰릴 경우에도 운영하고 있는 서비스의 서버에 무리를 주지 않는다. 로봇 배제 표준 웹사이트에 로봇이 접근하는 것을 방지하기 위한 규약으로, 웹크롤링 .. 2023. 1. 10.
[DAY 11] pandas 기초 - DataFrame, Series, Indexing 등 오늘은 pandas 기초에 대해 공부했다. 키워드 : pandas, DataFrame, Series, rows & columns, Indexing, 요약통계, 파일 저장 & 로드 pandas Python 라이브러리로, 데이터 조작 및 분석을 할 때 사용한다. 데이터 구조를 표현하는 객체인 DataFrame과 Series라는 클래스 객체를 이해해야 pandas를 다루는 데 문제 없을 것이다. DataFrame과 Series의 이해 DataFrame은 2차원 리스트 구조이며 수학적으로는 행렬로 표현할 수 있다. - 2차원 리스트 구조 예시 : [[1, 2, 3], [4, 5, 6]] Series는 1차원 리스트 구조이며 수학적으로는 벡터로 표현할 수 있다. - 1차원 리스트 구조 예시 : [1, 2, 3] .. 2023. 1. 10.
반응형

티스토리툴바