본문 바로가기

AI SCHOOL/TIL101

[DAY 66] Week 15 Insight Day 미드프로젝트2 시작 20230330(목) 인사이트 데이 으쌰으쌰팀3 활동이 오전 시간으로 마무리 됐다. 그리고 오후부터 새로운 팀인 으쌰으쌰팀4와의 활동과 동시에 미드프로젝트2를 시작했다. 오전 으쌰으쌰팀3과 zoom 소회의실에 모여서 마지막 시간을 보냈다. 당장 진행할 프로젝트도 없고 과제도 없어서 얘기를 많이 한 것 같다. 마지막 날이 돼서야 이런 시간이 생겼다. 오전 시간이 끝날 때 서로 미드프로젝트2를 응원하며 해산했다. 오후 지난주 WIL 우수 사례 3인에 선정되었다. 잘 작성하고 있다는 의미로 받아들여져서 뿌듯했다. 머신러닝 성능 향상에 대한 내용을 진행한 지난주 설문 결과를 확인하니 스스로 학습에 만족한다고 응답하신 수강생 비율이 역대 최저였다. 역시 어려운 파트인 것 같다. 설문 데이터 확인 후 으쌰으쌰팀4가.. 2023. 3. 30.
[DAY 65] Numpy를 이용한 SVD(특이값 분해) 데이터 압축, 토픽모델링 등에서 사용되는 SVD를 구현했다. scikit-learn에서 추상화되어 API로 기능을 제공하고 있지만 원리를 이해하기 위해 Numpy를 사용했다. 실습 요약 선형대수 모듈을 사용한 SVD(Singular Value Decomposition, 특이값 분해) 행렬 곱셈, numpy의 N-dimensional array 다루기 - indexing, slicing, transpose, reshape 대각행렬 만들기, allclose 등을 통한 행렬 비교 numpy의 clip 함수 활용 실습 import numpy as np import matplotlib.pyplot as plt from scipy import datasets 실습에 필요한 라이브러리 로드 img = datasets.. 2023. 3. 30.
[DAY 64] 뉴스 토픽 분류 - KoNLpy, 어간 추출, 불용어 제거, TfidfVectorizer 데이콘 뉴스 토픽 분류 AI 경진대회를 통해 자연어 처리를 경험했다. 어간추출, 조사, 어미, 구두점 제거 및 불용어 제거 후 TfidfVectorizer를 이용해 벡터화하여 학습 및 예측을 했다. 데이터 로드 train = pd.read_csv("train_data.csv") test = pd.read_csv("test_data.csv") train은 45654행 3열, test는 9131행 2열의 데이터다. 뉴스 제목과 토픽 인덱스를 학습시킨 후, 뉴스 제목을 통해 토픽을 예측하는 경진대회다. 총 7개의 토픽으로 분류되어 있다. 텍스트 전처리 정규표현식을 사용하여 한글, 영문, 숫자가 아닌 경우 공백으로 대체했다. 그 결과 특수문자와 한자가 제거되었다. 화살표, 점, 美 등이 제거된 것을 확인할 수 .. 2023. 3. 28.
[DAY 63] 자연어 처리, BoW, Vectorizer, TF-IDF 자연어 처리(Natural Language Processing, NLP)에 대해 배웠다. 자연어처리의 의미와 활용성, 관련 용어를 익히고 scikit-learn을 이용해 실습했다. 자연어 처리(Natural Language Processing, NLP) 자연어와 자연어 처리 자연어란 인간이 일상생활에서 사용하는 언어로, 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 것이 자연어 처리다. 기계에게 인간의 언어를 이해시키는 인공지능의 분야 중 하나 자연어 처리로 할 수 있는 일 음성 인식, 내용 요약, 번역 등 감정 분석(긍정/부정 등) 텍스트 분류(스팸 메일 분류, 뉴스 기사 카테고리 분류 등) 질의응답 시스템, 챗봇 등 자연어 분류 과정 데이터 로드(텍스트 데이터) -> 데이터 전처리 -> 데.. 2023. 3. 27.
[DAY 62] Tableau 분산형 차트, 히스토그램, 박스플롯 태블로를 이용해서 분산형 차트, 히스토그램, 박스플롯을 그렸다. 어떤 상황에 사용하는지, 어떻게 만드는지에 대해 익히고 매개변수를 활용한 대시보드를 만들었다. 분산형 차트 측정값 간의 관계를 확인하기 위한 시각화의 한 방식 수익과 할인율 사이의 관계를 확인하는 분산형 차트를 만들었다. 수익을 매출로 나눈 수익률 필드를 생성하고 색상 마크 지정했다. 또한 수익과 할인율의 상관관계를 나타내는 추세선을 선형으로 추가하여 음의 상관관계를 확인할 수 있다. 히스토그램 특정 구간, 범위에 값이 얼마나 분포되어 있는지 시각화 같은 배송 방법별 배송 기간의 빈도수를 표현하는 히스토그램을 그린 후, 테이블 계산 편집을 통해 구성 비율로 변경했다. 특정 배송 방법별로 n일 소요된 배송 건수가 몇 %인지 확인 가능하다. 박.. 2023. 3. 25.
반응형

티스토리툴바