[NLP Paper Review] BART: Denoising Sequence‑to‑Sequence Pre‑training for Natural Language Generation, Translation, and Comprehension

이 시리즈는 NLP 분야의 핵심 논문들을 정리하고 리뷰하는 글입니다.
논문의 주요 기여와 핵심 개념을 개인적으로 이해한 관점에서 풀어내며
실제 프로젝트나 연구에 어떻게 적용할 수 있을지에 대한 생각도 함께 담았습니다.

 

📌 논문 정보

• 논문 제목: BART: Denoising Sequence‑to‑Sequence Pre‑training for Natural Language Generation, Translation, and Comprehension
• 저자 / 소속: Mike Lewis, Yinhan Liu, Naman Goyal 등 / Facebook AI Research (FAIR)
• 출판 연도 / 학회: 2019년 arXiv, ACL 2020 발표
• 링크: arXiv:1910.13461

 

✍🏻 TL;DR – 한 줄 요약

다양한 노이징 기법을 적용한 입력 텍스트를 seq2seq 모델이 복원하도록 학습하는 방식으로, 인코딩(NLU)과 생성(NLG) 모두에서 뛰어난 성능을 보이는 범용 프레임워크 BART를 제안했습니다.

 

🫣 연구 배경 & 문제점

기존 BERT는 인코딩에 특화된 구조로, 생성과 같은 디코딩 중심의 태스크에는 적합하지 않았습니다. 반대로 GPT는 생성에는 효과적이지만 입력 전체를 이해하는 데 제약이 있습니다.
두 접근을 통합한 모델이 부재하여 NLU와 NLG를 하나의 사전학습 구조로 아우르기는 어려운 상황이었습니다.

 

💎 핵심 용어 & 배경 지식

• Denoising Autoencoder: 입력에 인위적으로 잡음을 추가한 뒤, 원래의 정답을 복원하도록 학습하는 방식
• Sequence-to-Sequence Pretraining: 문장 단위의 입력과 출력을 동시에 처리하도록 설계된 사전학습 구조
• Span Infilling: 문장 중 일부 스팬을 마스킹하고 해당 내용을 예측하도록 만드는 기법
• Sentence Shuffling: 문장 순서를 바꾸고 이를 복원하게 하는 방식
• Document Rotation: 문서를 임의의 위치에서 시작하도록 순환시켜 구조적 복원을 유도

 

⛓️ 핵심 접근 방법 및 수식

BART는 Transformer 기반의 인코더-디코더 구조를 바탕으로 다양한 형태의 손상된 입력을 복원하도록 사전학습합니다.

1. 입력 텍스트 노이징 전략
   • Token Deletion: 일부 단어 삭제
   • Token Insertion: 무작위 토큰 삽입
   • Span Masking (Infilling): 연속된 단어 스팬을 마스킹
   • Sentence Permutation: 문장 순서 섞기
   • Document Rotation: 문서 시작 위치 회전
2. 모델 구성
   • 인코더: BERT처럼 양방향 Transformer
   • 디코더: GPT처럼 자기회귀 구조
   • 12-layer encoder + 12-layer decoder, GeLU 활성화, cross-attention 포함
3. 학습 목적
   • 손상된 입력을 원래 문장으로 복원하는 reconstruction loss 최소화
   • downstream task에 대해 fine-tuning으로 전이 학습 가능

 

💡 주요 결과 & 인사이트

BART는 다양한 NLP 태스크에서 기존 모델을 능가하거나 유사한 성능을 보이며, 범용 사전학습 모델로서의 가능성을 입증했습니다.

• NLU (GLUE, SQuAD)
  • RoBERTa에 근접하거나 더 나은 성능 달성
• NLG (Summarization, Translation, QA Generation)
  • CNN/DailyMail, XSum에서 ROUGE +6 향상
  • SQuAD 질문 생성: BLEU-4 +3.75
  • CoQA 대화형 QA: F1 +37.1
  • 번역: 백-트랜스레이션보다 BLEU +1.1
• Ablation 분석
  • 각 노이징 기법이 성능에 유의미하게 기여
  • 특히 span infilling과 sentence permutation이 가장 효과적

 

🪄 시사점 & 앞으로의 방향

BART는 인코딩과 생성 능력을 모두 갖춘 사전학습 구조로, 요약, 번역, QA, 질문 생성, 대화 모델 등 다양한 응용 분야에 강력한 기반이 됩니다. 또한 다양한 노이징 전략은 태스크 특성에 맞게 조정될 수 있으며, 이후 등장한 T5, PEGASUS, ProphetNet 등 seq2seq 기반 모델 설계의 기반이 되었습니다. 특히 span 마스킹 기반의 전처리는 다양한 문장 구조 학습에 효과적이며, 문서 수준의 생성에도 확장 가능합니다.