멋사107 [DAY 30] EDA - 국가,권역별 전산업,소부장 산업별 수출/수입금액 최초 데이터를 Tidy Data로 만드는 등 전처리 과정을 거치고 EDA하였다. 데이터 시각화는 plotly와 seaborn을 활용하였다. 최초 데이터 확인 데이터를 pandas로 로드하여 변수 raw에 저장하였다. 데이터 출처는 공공데이터포털이다. raw.head(3) raw를 확인해보면 연도와 월 값이 옆으로 쭉 늘어져 있는 형태임을 알 수 있다. 208행 132열의 구조를 가지고 있었다. 또한 결측치를 확인해보자. sns.heatmap(raw.isnull(), cmap='gray_r') seaborn의 heatmap을 사용하여 확인해보면 검은색으로 특정 열에 결측치가 있음을 확인할 수 있다. 데이터 전처리 앞 4개의 컬럼은 분석하기 좋은 형태로 되어있으므로 해당 컬럼들을 기준으로 raw를 melt하.. 2023. 2. 7. [DAY 29] Tidy Data(깔끔한 데이터), melt, 아파트 분양가 분석 분석하기 좋은 깔끔한 데이터 Tidy Data에 대해 간단히 알아보았다. 그 후 Tidy Data를 생각하며 아파트 분양가 분석을 했다. Tidy Data 강의에선 Tidy Data에 대해 간단히 알아보며 논문을 소개해주셨지만, 해당 논문을 보며 Tidy Data에 대해 조금만 더 알아보려고 한다. Handley Wickham은 Journal of Statistical Software에서 Tidy Data를 소개했다. => Handley Wickham의 논문 논문에서 데이터 분석은 데이터를 정제하고 준비하는 과정이 80%라고 한다. 데이터 클리닝은 작지만 중요한 측면이라고 하며 이를 data tidying이라고 칭한다. 데이터셋이 tidy(깔끔)가 되는지 messy(지저분)가 되는지는 데이터셋의 구조에 .. 2023. 2. 7. [WEEK 7] 멋쟁이사자처럼 AI 스쿨 7주차 멋사 AI SCHOOL 8기의 30% 지점을 지나고 있다. 이번주에는 EDA를 했다. 파이썬, 판다스, 데이터 수집을 지나서 이를 활용한 데이터 분석의 시작인 것 같다. 그리고 pandas에 대한 실력과 자신감이 많이 오른 느낌이다. 이번주의 키워드로 pandas, FinanceDataReader, 데이터 시각화(matplotlib, plotly)를 선정한다. 학습 내용 요약 - 각 세부 사항은 TIL로 작성 실제 오픈 데이터인 서울시 코로나 확진자 데이터를 사용하여 인덱스 다루기 파생변수 만들기 등 DataFrame을 다루는 실력을 많이 키운 것 같다. 처음으로 시계열 데이터를 다루었고 시각화도 경험해봤다. DAY 24 TIL [DAY 24] 서울시 코로나19 발생동향 분석 - index 다루기, 데이.. 2023. 2. 2. [DAY 27] Week 7 Insight Day 미니프로젝트2 시작, 수료생 특강 20230202(목) 인사이트 데이 으쌰으쌰팀1과 두번째 프로젝트인 미니프로젝트2를 시작했다. 점심식사 후엔 수료생 특강도 있었다. 오전 첫 으쌰으쌰팀과의 두번째 미니프로젝트를 시작했다. EDA를 할 데이터셋을 확실히 정했고 역할 분담과 전처리를 했다. 이번 미니프로젝트는 강사님이 부담 가지지 말라고 하셨긴 한데 어떻게 될지 모르겠다. 오후 AI스쿨 프로젝트 소개 미니프로젝트는 말 그대로 미니고 메인 프로젝트는 미드프로젝트와 파이널프로젝트, 데이터톤이라고 한다. 주제선정 -> 프로젝트 수행 -> PPT 발표 -> 종합회고 순으로 이루어 질 것이라고 한다. 종합회고에는 셀프/피어 리뷰가 있다고 들어서 기대가 된다. 프로젝트 기대 효과로 1. 커뮤니케이션 스킬 2. 타임라인 관리 3. 개인 역량 발휘와 시너.. 2023. 2. 2. [DAY 26] 시가총액 상위 10종목 EDA - 주가추세, 수익률, pandas, matplotlib KRX 상장 종목 중 시가총액 상위 10개 종목 데이터를 수집하여 분석하고 시각화했다. 데이터 수집에 FinanceDataReader를 활용했다. 데이터 수집 우선 Anaconda Prompt에서 finance-datareader를 설치했다. 그 후 library import import pandas as pd import numpy as np import FinanceDataReader as fdr 네이버 금융 페이지에서 pandas의 read_html로 상위 10개 종목을 가져오기 url = "https://finance.naver.com/sise/entryJongmok.naver?&page=1" df_top10 = pd.read_html(url)[0].dropna() df_top10 하지만 네이버 .. 2023. 2. 2. 이전 1 ··· 13 14 15 16 17 18 19 ··· 22 다음 반응형
