이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: FiDO: Fusion‑in‑Decoder optimized for stronger performance and faster inference저자 및 소속: Michiel de Jong, Yury Zemlyanskiy, Joshua Ainslie, Nicholas FitzGerald, Sumit Sanghai, Fei Sha, William Cohen / USC & Google Research출판 연도 / 학회: 2022년 arXiv, 2023년 ACL Finding..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: ReALM: Reference Resolution As Language Modeling저자 및 소속: Joel Ruben Antony Moniz, Soundarya Krishnan, Melis Ozyildirim, Prathamesh Saraf, Halim Cagri Ates, Yuan Zhang, Hong Yu / Apple출판 연도 / 학회: 2024년 / SIGDIAL 2024링크: arXiv:2403.20329 ✍🏻 TL;DR – 한 줄 요약ReALM은 다양..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks저자 / 소속: Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni 외 / Facebook AI Research 등출판 연도 / 학회: 2020년 arXiv링크: arXiv:2005.11401 ✍🏻 TL;DR – 한 줄 요약RAG는 외부 문서 검색 모듈과 생성 모델을 결합한 프레임워크로, 다양한 ..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: Dense Passage Retrieval for Open-Domain Question Answering저자/소속: Vladimir Karpukhin, Barlas Oğuz, Sewon Min, Patrick Lewis, Ledell Wu, Sergey Edunov, Danqi Chen, Wen-tau Yih / Facebook AI Research, University of Washington, Princeton University출판 연도 / 학회: 2020년 /..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: Language Models are Few-Shot Learners저자/소속: Tom B. Brown 외 30명 / OpenAI출판 연도 / 학회: 2020년 / NeurIPS 2020링크: arXiv:2005.14165 ✍🏻 TL;DR – 한 줄 요약GPT-3는 파인튜닝 없이도 프롬프트만으로 다양한 NLP 태스크를 수행할 수 있으며, 특히 few-shot 세팅에서는 전통적인 fine-tuned 모델과 비슷한 수준의 성능을 보여주었습니다. 🫣 연구 배경 & 문제점..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: DeBERTa: Decoding-enhanced BERT with Disentangled Attention저자/소속: Pengcheng He, Xiaodong Liu, Jianfeng Gao, Weizhu Chen (Microsoft Research)출판 연도 / 학회: 2020년 / ICLR 2021링크: arXiv:2006.03654 ✍🏻 TL;DR – 한 줄 요약DeBERTa는 어텐션 계산 시 단어의 의미와 위치 정보를 분리해 처리하고, 디코더 단계에서 절대 ..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: ELECTRA: Pre‑training Text Encoders as Discriminators Rather Than Generators저자/소속: Kevin Clark, Minh-Thang Luong, Quoc V. Le, Christopher D. Manning / Stanford 및 Google Brain출판 연도 / 학회: 2020년 / ICLR링크: arXiv:2003.10555 ✍🏻 TL;DR – 한 줄 요약전체 입력 토큰을 대상으로 가짜/진짜를 분류하는..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter저자/소속: Victor Sanh, Lysandre Début, Julien Chaumond, Thomas Wolf / Hugging Face출판 연도 / 학회: 2019년 arXiv 발표, NeurIPS 2019 워크숍 발표, 2020년 개정링크: arXiv:1910.01108 ✍🏻 TL;DR – 한 줄 요약사전 학습 단계에서 ..
이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다. 📌 논문 정보논문 제목: Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer저자/소속: Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, Peter J. Liu / Google Research출판 연도 / 학회: 2019년 arXiv, 2020년 JMLR링크..
