어제 오늘 뭐했나. 11/4
그 전 일기에서 했던 실험 리포트 1.특정 카테고리의 데이터만 여러번 넣어서 학습함 확실히 그 특정 카테고리는 학습이 잘 되었지만, 오버피팅이 난 건지, 그 외의 카테고리 데이터는 오히려 예측 오차가 커져서 전체적인 성능이 떨어졌다... -> 만약 predict데이터에, 어떤 카테고리인지 나와 있다면, 전체 데이터를 모델에 학습시키고, 추가로 classifier를 카테고리별로 만들어서, 카테고리 데이터만 학습시켜서, 카테고리별로 예측을 한다면 성능이 오를 수 있을 것 같다.(물론 대회가 끝나고 알았다.) 2.regex문법을 이용하여, 쉼표, 느낌표, 물음표, ㅋ, ㅎ, a, b를 제거한 뒤 학습 이러한 토큰들이 문장의 핵심내용을 희석하지 않을까 라는 생각이 들어 실험을 진행한 것이었는데, 트랜스포머에서는..
2022. 11. 4.