여행하는 히치하이커를 위한 요약서 : 일상대화 편

Team

👑	1	2	3	4	5
가상민	신동혁	김도연	김다운	서상혁	장호준

0. Overview

Environment

• AMD Ryzen Threadripper 3960X 24-Core Processor
• NVIDIA GeForce RTX 3090
• CUDA Version 12.2

Requirements

pandas==2.1.4
numpy==1.23.5
wandb==0.16.1
tqdm==4.66.1
pytorch_lightning==2.1.2
transformers[torch]==4.35.2
rouge==1.0.1
jupyter==1.0.0
jupyterlab==4.0.9

1. Competiton Info

Overview

Dialogue Summarization 경진대회는 주어진 데이터를 활용하여 일상 대화에 대한 요약을 효과적으로 생성하는 모델을 개발하는 대회입니다. 

일상생활에서 대화는 항상 이루어지고 있습니다. 회의나 토의는 물론이고, 사소한 일상 대화 중에도 서로 다양한 주제와 입장들을 주고 받습니다. 나누는 대화를 녹음해두더라도 대화 전체를 항상 다시 들을 수는 없기 때문에 요약이 필요하고, 이를 위한 통화 비서와 같은 서비스들도 등장하고 있습니다.

그러나 하나의 대화에서도 관점, 주제별로 정리하면 수 많은 요약을 만들 수 있습니다. 대화를 하는 도중에 이를 요약하게 되면 대화에 집중할 수 없으며, 대화 이후에 기억에 의존해 요약하게 되면 오해나 누락이 추가되어 주관이 많이 개입되게 됩니다.

이를 돕기 위해, 우리는 이번 대회에서 일상 대화를 바탕으로 요약문을 생성하는 모델을 구축합니다!

참가자들은 대회에서 제공된 데이터셋을 기반으로 모델을 학습하고, 대화의 요약문을 생성하는데 중점을 둡니다. 이를 위해 다양한 구조의 자연어 모델을 구축할 수 있습니다.

제공되는 데이터셋은 오직 "대화문과 요약문"입니다. 회의, 일상 대화 등 다양한 주제를 가진 대화문과, 이에 대한 요약문을 포함하고 있습니다.

참가자들은 이러한 비정형 텍스트 데이터를 고려하여 모델을 훈련하고, 요약문의 생성 성능을 높이기 위한 최적의 방법을 찾아야 합니다.

경진대회의 목표는 정확하고 일반화된 모델을 개발하여 요약문을 생성하는 것입니다. 나누는 많은 대화에서 핵심적인 부분만 모델이 요약해주니, 업무 효율은 물론이고 관계도 개선될 수 있습니다. 또한, 참가자들은 모델의 성능을 평가하고 대화문과 요약문의 관계를 심층적으로 이해함으로써 자연어 딥러닝 모델링 분야에서의 실전 경험을 쌓을 수 있습니다.

본 대회는 결과물 csv 확장자 파일을 제출하게 됩니다.

input : 249개의 대화문
output : 249개의 대화 요약문

Evaluation Metric

ROUGE는 텍스트 요약, 기계 번역과 같은 태스크를 평가하기 위해 사용되는 대표적인 metric입니다. 모델이 생성한 요약본 혹은 번역본을 사람이 만든 참조 요약본과 비교하여 점수를 계산합니다.

ROUGE-Recall: 참조 요약본을 구성하는 단어들 중 모델 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.

ROUGE-Precision: 모델 요약본을 구성하는 단어들 중 참조 요약본의 단어들과 얼마나 많이 겹치는지 계산한 점수입니다.

ROUGE-N과 ROUGE-L은 비교하는 단어의 단위 개수를 어떻게 정할지에 따라 구분됩니다.

ROUGE-N은 unigram, bigram, trigram 등 문장 간 중복되는 n-gram을 비교하는 지표입니다.

ROUGE-1는 모델 요약본과 참조 요약본 간에 겹치는 unigram의 수를 비교합니다.

ROUGE-2는 모델 요약본과 참조 요약본 간에 겹치는 bigram의 수를 비교합니다.

ROUGE-L: LCS 기법을 이용해 최장 길이로 매칭되는 문자열을 측정합니다. n-gram에서 n을 고정하지 않고, 단어의 등장 순서가 동일한 빈도수를 모두 세기 때문에 보다 유연한 성능 비교가 가능합니다.

ROUGE-F1은 ROUGE-Recall과 ROUGE-Precisioin의 조화 평균입니다.

2. Components

Directory

3. Strategy

Dataset overview

EDA

4. 4-Aspect Modeling

5. Result

Leader Board - 6th

Presentation

• Google Project

etc

Meeting Log

• 전체적인 내용은 Notion, Notion2에서 확인하실 수 있습니다.
• Mar 8 ~ Mar 20 : Online Meeting

Reference

1. Beam Search 등 생성전략 정리된 것

   • 생성전략 참고 블로그 : https://littlefoxdiary.tistory.com/46
   • softmax 시 사이즈 제한하는 방법 : https://wikidocs.net/72820

2. T5 에서 데이터 입력되는 순서, 배치사이즈가 자꾸 사이즈 에러가 난다. BART 와는 뭐가 다른지?

   • https://discuss.huggingface.co/t/errors-when-fine-tuning-t5/3527
   • 아직 해결 못했어요. 다음에 할 때 이것도 고려해보아요

3. 형태소 분석기 U tube

   • https://youtube.com/watch?v=Ks3iUZlAqvA&si=fOxaYEeKGJNhYizP

4. Hugging Face Documentation

   • https://huggingface.co/docs

5. Mecab

   • https://openuiz.blogspot.com/2018/12/mecab-ko-dic.html
   • https://sswwd.tistory.com/65
   • https://luminitworld.tistory.com/104

6. Kiwi

   • https://github.com/bab2min/Kiwi