이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: ELECTRA: Pre‑training Text Encoders as Discriminators Rather Than Generators저자/소속: Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning / Stanford 및 Google Brain출판 연도 / 학회: 2020년 / ICLR링크: arXiv:2003.10555 ✍🏻 TL;DR – 한 줄 요약전체 입력 토큰을 대상으로 가짜/진짜를 분류하는..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter저자/소속: Victor Sanh, Lysandre Début, Julien Chaumond, Thomas Wolf / Hugging Face출판 연도 / 학회: 2019년 arXiv 발표, NeurIPS 2019 워크숍 발표, 2020년 개정링크: arXiv:1910.01108 ✍🏻 TL;DR – 한 줄 요약사전 학습 단계에서 ..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: RoBERTa: A Robustly Optimized BERT Pretraining Approach저자 / 소속: Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov / Facebook AI Research (FAIR)출판 연도 / 학회: 2019년 / arXiv (기술 리포트)링크: a..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding저자/소속: Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova / Google AI Language출판 연도 / 학회: 2019년 / NAACL (North American Chapter of the Association for Computational Linguist..
