[DAY 91] 파이널프로젝트 6일차 - 임베딩 모델 변경

파이널프로젝트 6일차

모델의 성능을 발전시키기 위해 시간을 들였다.

자연어처리 학습

트랜스포머와 GPT에 대한 영상과 자료를 보며 자연어처리에 대해 공부했다.
인코더와 디코더 레이어, 시퀀스, self attention, 토큰 간의 dependency 등등의 내용이 있었다.

오늘 본 자료나 영상들은 이론에 치중한 설명이었다. 내용을 정확히 이해하는 것부터 쉽지 않았으며 설령 내용을 이해한다고 하더라도 그것을 프로젝트에 어떻게 적용시켜 좋은 퍼포먼스를 낼 수 있을지에 대해선 미지수였다.

따라서 시간이 부족한 현 상황을 생각해서 모델을 다른 것을 사용해 보거나 임베딩 피처에 대해 고민해 보고 실제로 시도해 보며 기존의 것과 비교하는 방식으로 개선을 도모했다.

모델 변경

'소고기로 만들 요리 추천해줘' 라는 쿼리를 입력했을 때 기존의 모델(KR-SBERT-V40K-klueNLI-augSTS)을 사용해서 임베딩한 값을 통해 얻는 결과다.
소고기와 돼지고기에 대한 유사도가 크게 계산되는 로직같다.

같은 쿼리를 입력했을 때 변경한 모델(KoSimCSE-roberta-multitask)을 사용해서 임베딩한 값을 통해 얻는 결과는 사뭇 다르다. 소고기와의 유사도는 돼지고기보단 쇠고기가 크게 계산되는 것으로 보인다.

해당 예시 외에도 여러 테스트를 통해 변경한 모델이 개선된 결과를 내는 것을 확인했다.