AI/PAPER
[NLP Paper Review] DeBERTa: Decoding-enhanced BERT with Disentangled Attention
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: DeBERTa: Decoding-enhanced BERT with Disentangled Attention저자/소속: Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen (Microsoft Research)출판 연도 / 학회: 2020년 / ICLR 2021링크: arXiv:2006.03654 ✍🏻 TL;DR – 한 줄 요약DeBERTa는 어텐션 계산 시 단어의 의미와 위치 정보를 분리해 처리하고, 디코더 단계에서 절대 ..
