AI School111 [DAY 87] 파이널프로젝트 2일차 - 데이터 전처리 20230428(금) 파이널 프로젝트 2일차 추천시스템에 사용할 데이터셋을 전처리했다. 데이터 전처리 수집한 데이터의 최초 형태는 아래와 같다. 데이터프레임의 재료 컬럼이 리스트 형태의 문자열이었다. 텍스트 벡터화를 하기 전 대괄호, 따옴표, 쉼표를 제거한 문자열로 변환할 필요가 있었다. 위 방법으로 각 재료가 하나의 원소로 들어가 있는 리스트 형태의 문자열을 각 재료가 공백으로 구분된 문자열로 변경할 수 있었다. 또한 괄호를 통해 제시되는 재료에 대한 추가적 설명은 정규표현식을 사용하여 제거했고, 재료가 중복되어 있는 경우도 중복을 제거해 주었다. Built in function eval에 대한 리마인드가 되었다 결과적으로 이렇게 재료에 대한 전처리가 되었다. 계획 발표 점심식사 후 1~9팀의 파이널 .. 2023. 4. 28. [DAY 86] 파이널프로젝트 시작 - 데이터 수집 파이널프로젝트는 멋사 측에서 빌딩 하지 않고 수강생들의 선택에 의해 결성된 팀과 함께한다. 자유 주제이니 만큼 며칠 전부터 회의를 거쳤으며 오늘 본격적으로 시작했다. 주제 선정 우리팀은 음식과 그 음식의 레시피 데이터를 수집하고, 이를 이용해서 추천 시스템을 만들기로 했다. 사용자가 현재 냉장고에 보관하고 있는 재료들을 입력하면 그것을 바탕으로 음식을 추천하는 시스템이다. 기대 효과 1. 음식물 쓰레기 줄이기(환경에 대한 사소한 실천) 2. 식재료비, 외식비 등 지출 감소 3. 재료에 따른 요리를 찾아보는 번거로움 해소 재료와 레시피를 기반으로 추천하는 것이 기본 메커니즘이며, 음식의 난이도, 사용자의 선호와 알레르기 정보 등을 고려한 추천 시스템 구현을 목표로 한다. 데이터 수집 최초 구상은 만개의 레.. 2023. 4. 27. [DAY 85] AI School 8기 마지막 강의 Github, Streamlit 멋쟁이사자처럼 AI 스쿨 8기 - 데이터 분석 트랙의 마지막 강의였다. Github과 Streamlit을 실습했다. Get started 먼저 Github에 새 repository streamlit-basic을 생성했다. 그 후 streamlit의 main concepts 페이지에서 코드를 복사하여 app.py를 만들어 commit 했다. import streamlit as st import pandas as pd df = pd.DataFrame({ 'first column': [1, 2, 3, 4], 'second column': [10, 20, 30, 40] }) df app.py 코드 streamlit 회원가입은 Github 계정을 사용했다. 매우 간단히 웹에 배포할 수 있었다. Github과 연결.. 2023. 4. 26. [DAY 84] Content based recommendation system 콘텐츠 기반 추천 시스템 추천시스템에 대한 개념을 익히고 실습했다. 생각보다 추천시스템의 역사가 오래되었고 방식도 다양하다는 점이 재미있었다. 추천 시스템 정보 필터링(IF) 기술의 일종으로, 특정 사용자가 관심을 가질만한 정보를 추천하는 것 크게 콘텐츠 기반 필터링(Content based filtering) 방식과 협업 필터링(Collaborative filtering) 방식이 있다. 추천 시스템의 예시로 카메라를 구매한다고 가정했을 때, 비슷한 카메라들을 보여준다든지 카메라 가방, 렌즈 등 관련 용품을 보여주는 형태가 된다. 추천 시스템의 역사 1. 2005 ~ 2010 : 연관 상품 추천 - Apriori 알고리즘, 빈번한 항목 집합 분석 및 연관 규칙 학습 2. 2010 ~ 2015 : 협업 필터링 - 축적된 사용자 행.. 2023. 4. 25. [DAY 83] Hugging Face의 transformers 사용해보기 Hugging Face의 transformers 라이브러리를 사용해 봤다. 기본 제공 파이프라인 기능을 실습한 후 SKT에서 공개한 한국어 GPT-2 모델을 잠깐 다뤘다. Hugging Face Hugging Face는 딥러닝 모델과 자연어 처리 기술을 개발하고 공유하는 회사로, 다양한 딥러닝 프레임워크를 지원하는 라이브러리와 도구를 제공한다. 대표적인 제품으로 Transformers 라이브러리가 있다. 이는 자연어 처리 모델을 구현하고 학습시키는 데 사용되며, BERT, GPT, XLNet 등 다양한 모델을 제공한다. 이러한 모델들을 자연어 이해, 기계 번역, 질문 응답, 감정 분석 등 다양한 자연어 처리 태스크에서 좋은 성능을 보여주고 있다. 또한 Pretrained Models라는 모델 저장소를 통.. 2023. 4. 24. 이전 1 2 3 4 5 6 7 ··· 23 다음 반응형
