멋쟁이사자처럼109 [DAY 92] 파이널프로젝트 7일차 - 마무리 파이널프로젝트 7일차 마무리 최종 트랜스포머 모델과 임베딩 피처를 결정하고 추천 플로우를 구현했다. 스트림릿으로 이를 확인한다. 임베딩 모델 변경 최종 모델을 결정했다. RoBERTa 기반의 pretrained SentenceTransformer ko-sroberta-multitask을 사용한다. raw_recipes = pd.read_csv('data/raw_recipes.csv') raw_recipes.head(5) raw data 확인 df = pd.read_pickle('data/compact_kosroberta_recipes.pkl') df.head(5) 전처리 완료 데이터 확인 벡터화된 컬럼이 보인다. 벡터화를 할 feature는 재료 뿐 아니라 요리 이름, 방법 등을 추가로 포함했다. 모델과.. 2023. 5. 8. [DAY 91] 파이널프로젝트 6일차 - 임베딩 모델 변경 파이널프로젝트 6일차 모델의 성능을 발전시키기 위해 시간을 들였다. 자연어처리 학습 트랜스포머와 GPT에 대한 영상과 자료를 보며 자연어처리에 대해 공부했다. 인코더와 디코더 레이어, 시퀀스, self attention, 토큰 간의 dependency 등등의 내용이 있었다. 오늘 본 자료나 영상들은 이론에 치중한 설명이었다. 내용을 정확히 이해하는 것부터 쉽지 않았으며 설령 내용을 이해한다고 하더라도 그것을 프로젝트에 어떻게 적용시켜 좋은 퍼포먼스를 낼 수 있을지에 대해선 미지수였다. 따라서 시간이 부족한 현 상황을 생각해서 모델을 다른 것을 사용해 보거나 임베딩 피처에 대해 고민해 보고 실제로 시도해 보며 기존의 것과 비교하는 방식으로 개선을 도모했다. 모델 변경 '소고기로 만들 요리 추천해줘' 라는 .. 2023. 5. 4. [DAY 90] 파이널프로젝트 5일차 - 프로토타입 20230503(수) 파이널프로젝트 5일차 streamlit을 사용한 이번 프로젝트의 프로토타입이 나왔다. 프로토타입 사용자의 알레르기 정보 체크 원하는 요리 범주 체크 요리 난이도 체크 소요 시간 최댓값 입력 사용자의 정보를 통해 필터링된 데이터를 확인할 수 있다. 필터링을 거친 데이터를 통해 요리와 레시피를 추천받아 보자. chatGPT API를 이용해서 "달걀로 할 요리 추천해줘" 쿼리를 입력하고 응답 결과를 받는 데 성공했다. 2023. 5. 3. [DAY 89] 파이널프로젝트 4일차 - 중간 제출 파이널프로젝트 4일차 중간 제출이 있었다. 계획서에 대한 현업자 피드백을 바탕으로 개선하는 방향이었다. 중간 제출 현업자 분들께서 계획서와 발표 영상을 보시고 우리 팀에 남겨 주신 피드백이다. 발표와 관련된 전달력 부분을 제외한 나머지 4개의 항목에 대해 팀 내부의 셀프 피드백을 더해 개선하고 중간 결과물을 제출했다. 팀장님이 정말 큰 역할 해주신 것 같다. 프로젝트 과정 요리 방법, 재료의 구분 등 전처리를 추가로 하려다 전처리보단 추천 시스템 모델 자체의 고도화가 급선무인 것 같아서 추가 전처리는 보류했다. 재료에 대한 사전 준비 여부, 도구, 알레르기 정보 등을 바탕으로 요리 추천에 필터링을 하는 것도 생각 중이고 유저 정보가 현재 없는 상황이기 때문에 가상으로 만들어 사용하는 방안 등 여러 아이디.. 2023. 5. 3. [DAY 88] 파이널프로젝트 3일차 - KR-SBERT, OpenAI 파이널 프로젝트 3일차 허깅페이스의 모델을 사용하여 재료를 임베딩했다. 코사인 유사도 기반 추천을 구현했으며 OpenAI API를 사용하기 시작했다. 추천시스템 구현 서울대학교 컴퓨터언어학 연구실에서 개발한 KR-SBERT 모델을 이용하여 한글로 되어 있는 요리 재료를 임베딩했다. model = SentenceTransformer('snunlp/KR-SBERT-V40K-klueNLI-augSTS') df['embeddings'] = df['재료'].progress_apply(lambda x : model.encode(x)) df.head(2) 모델 문서 : https://huggingface.co/snunlp/KR-SBERT-V40K-klueNLI-augSTS 재료가 임베딩 된 값인 embeddings .. 2023. 5. 1. 이전 1 2 3 4 5 6 ··· 22 다음 반응형
