NLP (2) 썸네일형 리스트형 How multilingual is Multilingual BERT? Title: How multilingual is Multilingual BERT? Published: 4. Jun. 2019. Authors: Telmo Pires, Eva Schlinger, Dan Garrette @ Google Research 1. M-BERT 104개 언어의 wikipedia로 1개의 BERT 모델을 훈련했다. language label이나 translation을 장려하는 개입은 하지 않았다. 2. 두개의 down-stream task (Named entity recognition, Part of speech tagging)을 Language X로 학습시킨 후 Language Y에 대해 inference한 결과(zero-shot experiment)를 알아보았다. 여기서 언어들은 .. ELMo, GPT1, GPT2, BERT, RoBERTa, ALBERT의 발전 흐름과 비교 처음에 피치못할 사정으로 영어로 써버려서 영어로 일단 올립니다. 저도 한국어가 더 좋은데 말이죠ㅜ 시간이 나면 한국어로도 올릴게요.이번에 GPT3도 나왔는데 제가 본문에 지적한대로 zero-shot은 overreaching이라는걸 그들도 깨달았는지 Few-shot으로 컨셉을 바꿨더라고요? 그거 리뷰할 땐 한글로 하게 될 거 같아요. 출처는 저에요. 주관이 난무하는 글입니다. 저는 카이스트 박사과정 정성희입니다. 바쁘면 맨끝에 Discussion만 보는 것도 좋겠네요. Byte pair encoding, BERT, Word2Vec을 제 깃에 스크래치부터 구현해뒀으니 논문보다 더 자세한 이해가 필요하시면 한번 들러보셔도 좋을거에요. https://github.com/hash2430 hash2430 - Ove.. 이전 1 다음