본문 바로가기

멋쟁이사자처럼109

[DAY 40] 미드프로젝트1 - 카페 브랜드별 전국 매장 정보 병합, 커피지수 계산 팀원 개개인이 전처리한 각 카페 브랜드의 매장 정보 파일을 하나로 병합하였다. 그 후 지역별 커피지수를 계산했다. 전국 매장 정보 각각의 브랜드 파일을 pandas의 concat으로 병합한 후 약간 미흡한 매장 데이터 전처리를 완료했다. 컬럼명 통일, 시도명 데이터 값 통일, 올바르지 않은 시군구명 수정, 중복 행 제거 등의 처리 후 최종 데이터가 나왔다. 예시로 주소에서 split함수를 통해 시군구명을 구한 결과 주소에 도명이 생략되는 경우 또는 주소 자체에 오타가 있는 등 위와 같이 원치 않는 시군구명이 입력되어 있었다. 추가로 중복 행 제거 등 전처리를 완료한 결과 아래와 같이 데이터프레임이 만들어졌다. 총 12607개의 매장 정보 파일을 저장하였다. 처음부터 모든 브랜드 데이터셋을 병합한 후에 전.. 2023. 2. 21.
[DAY 39] 미드프로젝트1 시작, 카페 체인별 매장 정보 수집과 전처리 20230209~20230219 으쌰으쌰팀2와 아이디어 발상, 주제 선정 시간을 거쳐 "커피지수"를 만들고 EDA에 활용해 보기로 결정하였다. 이번주는 강의가 없고 미드프로젝트에 몰입하는 주간이다. 우리팀은 커피지수를 만들고 지역별 특징을 도출하며 분석해보고 카페 창업을 한다고 가정할 때 도움을 줄 수 있는 인사이트를 얻는방향으로 진행할 계획이다. 활용할 카페 체인점 커피지수를 계산한다면 어떤 카페를 선정하여 계산에 활용할지를 정하는 것이 우선이었다. 2023년 1월 브랜드평판 1~10위의 카페를 선정했으며 아래와 같이 아메리카노 1ml당 가격을 계산하였고 이는 고가형, 저가형 브랜드로 구분하는 근거가 된다. 브랜드명 1ml당 원 커피빈 14.08 폴바셋 13.05 할리스 12.71 스타벅스, 투썸플레이.. 2023. 2. 20.
[DAY 38] 통계 마지막 날 - 모형 선택, overfitting, 교차 검증, 단계적 회귀분석, 다중공선성, 잔차분석, 상호작용 벌써 Special Lecture 통계의 마지막 날이 됐다. 통계는 배울수록 어려운 것도 많지만 재미있는 것도 많은 것 같다. 모형 선택 과대적합(overfitting) - 최소제곱법은 잔차분산이 가장 작은 계수를 추정 - 주어진 표본에 가장 맞는 계수를 찾게 된다 - 표집 오차가 존재하기 때문에, 주어진 표본에 지나치게 맞는데 계수를 추정하면 모집단의 계수와 다를 수 있다 독립변수의 개수와 과적합 - 최소제곱법은 잔차분산이 작아지는 방향으로 계수를 추정 - 종속변수와 아무 관련이 없는 독립변수를 추가하더라도 잔차분산이 커지는 경우는 없다 - 모집단에서는 아무 관련이 없어도 표본에서는 약간의 관계라도 있을 수 있으므로 잔차분산은 작아지게 된다 - 독립변수가 많으면 많을 수록 잔차분산은 무조건 작아진다(R.. 2023. 2. 17.
[DAY 37] 상관 분석, 상관 계수, 상관과 인과, 심슨의 역설, 회귀 분석, 다중 회귀 분석 집단 비교에 대한 개념을 체크하는 문제 풀이를 먼저 진행했다. 각 검정 방법이 어떤 상황에 사용하는지에 대해 익혔다. 그 후 상관 분석, 회귀 분석 등에 대해 학습했다. 제3의 변인, 상관과 인과, 심슨의 역설 관련 부분이 특히 흥미로웠다. 상관 분석 상관 계수(correlation coefficient) - 두 변수의 연관성을 -1 ~ +1 범위의 수치로 나타낸 것 - 두 변수의 연관성을 파악하기 위해 사용 - 어휘력과 독해력의 관계 - 주가와 금 가격의 관계 - 엔진 성능과 고객만족도의 관계 상관계수의 해석 부호 - 플러스(+) : 두 변수가 같은 방향으로 변화(하나가 증가하면 다른 하나도 증가) - 마이너스(-) : 두 변수가 반대 방향으로 변화(하나가 증가하면 다른 하나는 감소) 크기 - 0 : .. 2023. 2. 17.
[DAY 36] 효과 크기, 대응표본 t-검정, 분산 분석, 카이제곱 검정, 맥니마 검정 신뢰구간, 귀무가설, 유의수준, p-value 등 통계적 가설 검정에 대한 문제를 풀었다. 이후 집단 비교에 대해 학습하며 효과 크기, 여러 검정 방법을 익혔다. 검정력(power) 유의수준(α) : 귀무가설이 참일 때 기각하는 1종 오류의 확률 β : 귀무가설이 거짓일 때, 기각하지 못하는 2종 오류의 확률 검정력(1-β) : 귀무가설이 거짓일 때, 이를 올바르게 기각할 확률 - 보통 검정력은 0.8 이상을 요구 - 표본의 크기가 크면 증가 - 분석 결과에 나오는 검정력은 모수가 통계량과 같다는 가정 아래 계산된다. 맨-휘트니 U 검정(Mann-Whitney U test) 독립표본 t 검정에 대응하는 비모수 검정 방법 귀무가설 : 두 집단의 모집단은 같다. 윌콕슨 순위합 검정(Wilcoxon rank-.. 2023. 2. 15.
반응형

티스토리툴바