언어연구소 콜로키움 안내:사전학습 언어모델의 발전

언어연구소 21년도 상반기 콜로키움을 아래와 같이 개최합니다. 
여러분들의 많은 관심과 참여를 부탁드립니다.

 ------------- 아래  -------------

제목: 사전학습 언어모델의 발전 A Development of Pretrained Language Model

강연: 김희동(한국외대 정보통신공학과 교수)

일시: 2021년 4월 6일 (화) 17:30~

방식: Webex를 통한 온라인 강연

      https://hufs.webex.com/meet/lri

강연 요약:
“ 컴퓨터가 언어를 처리하는 자연언어처리 기술은 규칙기반 방식에서 통계기반 방식으로 발전하였다. 신경망 방식의 심층학습을 사용하는 신경망 기계번역시스템이 개발되었고, 주의기구(attention)기법이 적용되면서 더욱 번역 성능이 향상되었다.
이어서, 주의기구 만을 사용하는 트랜스포머 모델의 기계번역시스템이 유행하였다.  기계번역의 트랜스포머는 구조는 다른 자연언어처리 응용에 큰 영향을 주는 사전학습 언어모델(pre-trained language model)로 이어진다.  구글에서 개발한 BERT나 오픈 AI에서 개발한 GPT 시리즈 들이 언어처리에 새로운 연구방향을 제시하였다.  실제로 2018년 BERT 이후 수많은 종류의 언어모델이 발표되었으며,  2020년 GPT-3의 발표는 업계에 큰 반향을 일으키고 있다.  본 발표에서는 학습데이터의 양과 언어모델의 관계의 측면에서 사전학습 언어모델을 분석해 본다. 또한 최신 미래 인공지능 관련 연구동향을 참고하여, 향후 자연언어처리는 어떤 방향으로 연구가 진행될 것인지, 언어학자들의 역할은 무엇일지 예견해 본다.”