huggingface2 [DAY 91] 파이널프로젝트 6일차 - 임베딩 모델 변경 파이널프로젝트 6일차 모델의 성능을 발전시키기 위해 시간을 들였다. 자연어처리 학습 트랜스포머와 GPT에 대한 영상과 자료를 보며 자연어처리에 대해 공부했다. 인코더와 디코더 레이어, 시퀀스, self attention, 토큰 간의 dependency 등등의 내용이 있었다. 오늘 본 자료나 영상들은 이론에 치중한 설명이었다. 내용을 정확히 이해하는 것부터 쉽지 않았으며 설령 내용을 이해한다고 하더라도 그것을 프로젝트에 어떻게 적용시켜 좋은 퍼포먼스를 낼 수 있을지에 대해선 미지수였다. 따라서 시간이 부족한 현 상황을 생각해서 모델을 다른 것을 사용해 보거나 임베딩 피처에 대해 고민해 보고 실제로 시도해 보며 기존의 것과 비교하는 방식으로 개선을 도모했다. 모델 변경 '소고기로 만들 요리 추천해줘' 라는 .. 2023. 5. 4. [DAY 88] 파이널프로젝트 3일차 - KR-SBERT, OpenAI 파이널 프로젝트 3일차 허깅페이스의 모델을 사용하여 재료를 임베딩했다. 코사인 유사도 기반 추천을 구현했으며 OpenAI API를 사용하기 시작했다. 추천시스템 구현 서울대학교 컴퓨터언어학 연구실에서 개발한 KR-SBERT 모델을 이용하여 한글로 되어 있는 요리 재료를 임베딩했다. model = SentenceTransformer('snunlp/KR-SBERT-V40K-klueNLI-augSTS') df['embeddings'] = df['재료'].progress_apply(lambda x : model.encode(x)) df.head(2) 모델 문서 : https://huggingface.co/snunlp/KR-SBERT-V40K-klueNLI-augSTS 재료가 임베딩 된 값인 embeddings .. 2023. 5. 1. 이전 1 다음
