본문 바로가기

전체 글135

[DAY 46] Week 11 Insight Day 20230302(목) 인사이트 데이 오랜만인 인사이트 데이로 머리를 식힌 것 같다. 으쌰으쌰팀2와는 첫 인사이트데이였고 그와 동시에 으쌰으쌰팀3이 공지되었다. 오전 으쌰으쌰팀2와 함께 소회의실에서 자습을 했다. 이번주에는 EDA연습과 머신러닝 예습 과제가 있어서 과제를 하며 시간을 보냈다. 으쌰으쌰팀2 팀원들과는 프로젝트를 열심히 하느라 프로젝트 외적인 얘기는 별로 못한 것 같아서 아쉽다. 오후 지금 우리 SCHOOL은? 수강생 응답 데이터를 봤는데 EDA 주간에 "쉬웠다" 응답자가 한 명도 없었다. 역시 다들 느끼는 게 비슷한 것 같다. 다 같이 어려웠나 보다. 공부 습관, 루틴을 만든 분, 자습하는 것이 즐겁다고 하신 분, 어렵지만 꾸준하게 하고 계신 분처럼 열심히 사는 분들을 보며 나도 자극을 받았.. 2023. 3. 2.
[DAY 45] Online Retail Data EDA 영국 온라인 소매점에서 발생한 거래에 대한 데이터셋을 가지고 EDA했다. 데이터 분석 시 각각의 데이터가 어떤 것을 의미하는지 정확히 파악해야하며, 그것을 수월하게 하기 위해선 도메인 지식이 뒷받침 되어야겠다는 것을 느꼈다. 데이터 정보 online retail 데이터를 사용한다. 강사님이 로드 시간 측면에서 excel보단 csv가 유리하므로 csv를 사용하는 것을 추천하셨다. 데이터를 로드하여 변수 df에 데이터프레임으로 저장하였다. 사용할 데이터는 541909 rows, 8 columns 데이터다. Attribute Information - InvoiceNo : 거래에 할당된 번호, 'C'로 시작하면 취소 거래를 나타낸다. - StockCode : 제품 코드, 각 제품에 고유하게 할당 - Descri.. 2023. 2. 28.
[DAY 44] 스토리지, 메모리 사용량 관리 parquet, downcast 오전에 미드프로젝트1 발표와 회고를 진행했다. 총 8개 팀이 모두 열심히 하신 결과물을 봤다. 거의 모든 팀이 발표 시간 10분이 부족할 정도로 열정이 보였다. 강사님의 피드백은 우리 팀에 대한 것이 아니더라도 귀담아들을 부분이 많았다. 기억에 남는 프로젝트(팀) 선정, 셀프 리뷰, 피어 리뷰, 프로젝트 멘토진에 대한 만족도 조사를 완료하니 오전 시간이 지났다. 오후에는 parquet 포맷과 downcast에 대한 강의가 있었다. parquet 효율적인 데이터 저장 및 검색을 위해 설계된 오픈 소스, 열 지향 데이터 파일 형식 데이터 파일은 csv, xml, excel, json 등 다양한 포맷으로 저장이 가능하다. parquet도 그 중 하나다. parquet 파일 포맷을 통해 스토리지 사용량을 줄일 .. 2023. 2. 27.
[DAY 43] 미드프로젝트1 마무리 20230224(금) ~ 20230225(토) 이틀간 미드프로젝트1의 마무리를 지었다. 발표에서 무엇을 보여줄 것인지 시각화 자료를 선택하고 흐름을 결정했다. 모든 팀원이 각 주제별 분석결과를 명확히 하기 위한 시각화에 시간을 쏟았다. 프로젝트의 전체적 흐름 전국 단위로도 많은 분석과 시각화를 시도했지만, 몇몇 지역은 프랜차이즈 카페 수 자체가 너무 적은 문제점이 있었으며 커피지수와 연관 지어 함께 분석할 데이터를 찾더라도 전국 시도별 데이터는 찾기 어려운 경우가 많아 서울시에 한해 유의미한 분석을 진행하기로 결정했다. 자치구별 프랜차이즈 매장 수, 주민등록 인구, 생활 인구, 유동 인구, 사업체 수, 사업체 종사자 수, 대규모 점포 수, 재정자립도 등이 어떻게 나타나는지 분석하고 커피지수와의 상관관계를.. 2023. 2. 26.
주피터 노트북 NameError: name 'os_path' is not defined jupyter notebook을 평소와 같이 잘 사용하고 있다가 에러를 만났다. ipynb 파일을 rename 시도했더니 발생한 것이다. NameError NameError는 보통 변수명 혹은 라이브러리나 모듈을 사용하는 과정에서 봤는데 이 상황은 예기치 못했다. 보이는 바와 같이 ipynb 파일의 이름을 변경하려니 Rename Failed 창이 나오며 해당 에러를 출력했다. 같은 경로에 있는 csv파일 등 다른 파일들은 rename이 정상적으로 작동하는 상황이었고, ipynb 파일이 있는 경로에서 직접 변경하는 것도 문제없었다. jupyter notebook상에서만 rename이 불가했다. 해결 방법 문제가 발생하는 파일을 다른 디렉토리로 옮겼더니 해결되었다. rename이 가능했으며 다시 원래 있던 .. 2023. 2. 24.
반응형

티스토리툴바