LangCon(랭콘) 2023?
LangCon은 자연어처리(NLP)에 관한 이야기를 나누는 모임이다.
2023년 2월 18일 마이크로소프트 광화문 오피스에서 오프라인으로 진행되었다.
랭콘에 대해서는 사실 이번에 처음 알게 되었는데, 사실 지금도 자세히는 모르고 자연어 처리와 관련된 모임이고 2019년부터 시작했다고 알고있다.
주제
이번 랭콘에서는 "최근 거대 모델(LLM)을 대상으로 한 자연어처리 동향 이해, 생성 모델링 및 서비스의 이해"를 주제로 발표를 하였다.
아무래도 최근의 자연어처리는 모델 사이즈가 커질수록 놀랄만한 성능을 보여주고 있는 상황이고, 최근 아주 핫한 ChatGPT덕에 생성 모델링과 서비스라는 주제에 대해 많은 사람들이 관심을 가지고 있어서 좋은 주제라고 생각했다.
참여 계기
대형 모델에 대한 간접적 경험
NLP에서 사용하는 모델들은 모델의 파라미터 사이즈가 거대하기로 유명한데, 그 중에서도 초거대 모델은 정말 말도안되게 크다.
이런 거대모델을 직접 처음부터 데이터를 모으고, 정제하고, 모델을 제작하는 과정을 개인이 하기에는 사실상 무리일 뿐만 아니라 대기업이 하기에도 굉장히 부담이 가는 대형 프로젝트이기 때문에, 직접 프로젝트를 기획하고 진행하는 경험을 해본 사람이 많지 않다.
이게 내가 이번 랭콘에 참여하게된 계기이기도 한데, 앞으로도 이런 대형 모델이 주류인 상황이 어느정도 지속 될 것이기도 하고, NLP엔지니어라면 누구나 대형 모델을 만들어 보고 싶을 것이라고 생각한다.(아닐수도 있다.)
어쨋든 최근의 NLP동향은 초거대 모델을 향해 흘러가고 있고, 이런 초거대 모델을 어떻게 만드는지 경험해본 분들의 지식을 공유받고자 참여하게 되었다.
내용
발표는 총 6개의 세션으로 구성되어 있다.
모든 발표강의와 자료는 공개되어 있다.(링크)
일단 기본적으로 발표의 내용이 청중의 수준을 고려하여 설정되어 있는 느낌이지만, 그래도 NLP에 대한 이해를 동반해야 수월하게 이해할 수 있었을 것이라고 생각한다.
개인적으로 내가 좋았던 세션은 2, 3,4, 6번 세션이었는데, 그 이유는 다음과 같다.
2번 세션: 특정 도메인과 관련된 언어모델을 만들어야 할때의 시행착오 또는 현실적인 조언들이 많이 담김.
3번 세션: 어느정도 한정된 자원에서 최대한 간단하고 가볍게 자연어 검색 서비스를 도입하려 노력한 내용들이 인상깊었다.
4번 세션: 사실상 이번 컨퍼런스의 목적과 가장 일치한 발표주제, Eleuther AI에서 다국어 거대 모델을 구축하는 프로젝트을 진행한 경험을 잘 설명해주셨다. 특히 데이터 전처리에 대한 내용이 좋았다.
6번 세션: NLP의 트렌드가 거대모델로 넘어간 이유에서 부터, 현재 최신 거대모델들에 대한 소개와 마주한 한계, 적정모델에 대한 이야기등 많은 것을 배울 수 있는 세션이었다. 4번과 마찬가지로 이번 모임의 주제와 가장 일치한 발표였다.
결론
5시간이라는 짧은 시간동안 많은 것을 느낄 수 있는 시간이었다.
자연어 처리에 대해 관심이 있는 분들이라면 가보는 것을 추천한다.
내년에도 가면 좋을 것 같다. 후드티 갖고싶었는데 아쉽다.