본문 바로가기

멋쟁이사자처럼109

[DAY 31] 버거지수, 상관계수, plotly와 folium을 이용한 지도 시각화 한 도시의 발전 수준은 (버거킹 개수 + 맥도날드 개수 + KFC 개수) / 롯데리아 개수 값에 비례한다는 말이 사실일까? 실제 각 버거 체인점 개수를 확인하여 분석해봤다. 데이터 준비 공공데이터포털에 공개된 소상공인시장진흥공단_상가(상권)정보를 사용한다. 각 시,도별 데이터를 glob과 반복문을 이용해 모두 pandas로 로드하였고 concat을 통해 하나의 데이터프레임 df로 합쳤다. 원본 데이터는 상가업소번호부터 지점명, 업종분류코드, 건물관리번호, 우편번호, 동, 층 정보 등 39개의 column을 가진 데이터였다. 중복 데이터 제거, 상호명이 결측치인 데이터 제거 후 사용할 컬럼만 남겼다. cols = ['상호명', '상권업종대분류명', '시도명', '시군구명', '도로명주소', '경도', '위.. 2023. 2. 9.
[DAY 30] EDA - 국가,권역별 전산업,소부장 산업별 수출/수입금액 최초 데이터를 Tidy Data로 만드는 등 전처리 과정을 거치고 EDA하였다. 데이터 시각화는 plotly와 seaborn을 활용하였다. 최초 데이터 확인 데이터를 pandas로 로드하여 변수 raw에 저장하였다. 데이터 출처는 공공데이터포털이다. raw.head(3) raw를 확인해보면 연도와 월 값이 옆으로 쭉 늘어져 있는 형태임을 알 수 있다. 208행 132열의 구조를 가지고 있었다. 또한 결측치를 확인해보자. sns.heatmap(raw.isnull(), cmap='gray_r') seaborn의 heatmap을 사용하여 확인해보면 검은색으로 특정 열에 결측치가 있음을 확인할 수 있다. 데이터 전처리 앞 4개의 컬럼은 분석하기 좋은 형태로 되어있으므로 해당 컬럼들을 기준으로 raw를 melt하.. 2023. 2. 7.
[DAY 29] Tidy Data(깔끔한 데이터), melt, 아파트 분양가 분석 분석하기 좋은 깔끔한 데이터 Tidy Data에 대해 간단히 알아보았다. 그 후 Tidy Data를 생각하며 아파트 분양가 분석을 했다. Tidy Data 강의에선 Tidy Data에 대해 간단히 알아보며 논문을 소개해주셨지만, 해당 논문을 보며 Tidy Data에 대해 조금만 더 알아보려고 한다. Handley Wickham은 Journal of Statistical Software에서 Tidy Data를 소개했다. => Handley Wickham의 논문 논문에서 데이터 분석은 데이터를 정제하고 준비하는 과정이 80%라고 한다. 데이터 클리닝은 작지만 중요한 측면이라고 하며 이를 data tidying이라고 칭한다. 데이터셋이 tidy(깔끔)가 되는지 messy(지저분)가 되는지는 데이터셋의 구조에 .. 2023. 2. 7.
[DAY 28] SQL 데이터 집계하기 - ROLLUP, WINDOW FUNCTION JOIN, 서브쿼리, WITH와 CTE 등에 대한 내용을 복습하고 강의가 시작되었다. ROLLUP, WINDOW FUNCTION 등 데이터 집계 함수에 대해 공부하였다. ROLLUP 그룹별 소계, 총계를 구하기 위해 사용한다 ROLLUP 함수는 n개의 그룹을 지정하면 n+1개 조합이 출력되며, 그룹화 순서가 중요하다 예시 : ROLLUP(A, B, C) 1. A그룹별 B그룹별 C그룹에 대한 결과 2. A그룹별 B그룹에 대한 결과 3. A그룹에 대한 결과 4. 모든 데이터에 대한 결과 # 국가별, 성별 유저 수 select country, gender, count(id) as count_user from `thelook_ecommerce.users` group by rollup(country, gender.. 2023. 2. 3.
[WEEK 7] 멋쟁이사자처럼 AI 스쿨 7주차 멋사 AI SCHOOL 8기의 30% 지점을 지나고 있다. 이번주에는 EDA를 했다. 파이썬, 판다스, 데이터 수집을 지나서 이를 활용한 데이터 분석의 시작인 것 같다. 그리고 pandas에 대한 실력과 자신감이 많이 오른 느낌이다. 이번주의 키워드로 pandas, FinanceDataReader, 데이터 시각화(matplotlib, plotly)를 선정한다. 학습 내용 요약 - 각 세부 사항은 TIL로 작성 실제 오픈 데이터인 서울시 코로나 확진자 데이터를 사용하여 인덱스 다루기 파생변수 만들기 등 DataFrame을 다루는 실력을 많이 키운 것 같다. 처음으로 시계열 데이터를 다루었고 시각화도 경험해봤다. DAY 24 TIL [DAY 24] 서울시 코로나19 발생동향 분석 - index 다루기, 데이.. 2023. 2. 2.
반응형

티스토리툴바