[01] Korean Language Model - 데이터 수집

🕓 3 mins read

# 언어 모델 만들기

사실 오래 전 부터 한번 해야지 하고는 직장일이 바빠서, 육아로 바빠서 핑계로 계속 미루던 내용인데,
NLP 주제로 멘토링을 약 6개월 가량 하면서 자료나 예제가 좀 정리되어있으면 좋겠다 싶어서 결국 시작하게 된 프로젝트 입니다.

 

## 이미 많이 있지 않나?

- github 에도 있고, huggingface hub에도 이미 다수의 한국어 BERT, BART, GPT, ... 많지 않나?
- 학생 또는 개인이 집에서 언어 모델을 대규모로 학습 하기는 쉽지 않은게 현실적이고
- 새로 만든다 하더라도 기존의 성능도 더 좋고, 규모도 더 큰 모델이 있어 결과물 자체는 필요하지 않을 수 있습니다.

 

## 그럼에도 직접  하는 이유는?

vocab이 결국 모델-토크나이저 간에 강결합되어있기 때문에, 새로운 tokenizer를 만든다거나, 할 경우 모델도 새로 만들어야할 것이고,

현업에서 실제 언어 모델을 이해하고 개발해서, 나아가 서비스 하는데 있어서 가장 많은 시간을 쓰는것은 모델을 만드는일이 아니라 데이터를 준비하고 처리하는데에 있습니다.

대부분의 공개된 모델들은, 학습된 모델을 활용하고, finetuning 하는 코드와 방법을 제공하고, 데이터를 수집하고 전처리 하는 과정은 간단하게 텍스트로 설명에 그치는 경우가 많습니다.

많은 프로그램 구현 작업이 그렇듯이,
데이터 처리도 수 많은 예외를 처리하고, 다양한 엣지 케이스에 대비하는데 많은 노력이 필요합니다. 이런 과정을 좀 더 투명하게, 대략적으로 이해할 수 있도록 하는것이 이번 프로젝트의 목적입니다.

 

# 데이터 수집

출처: https://odsc.medium.com/20-open-datasets-for-natural-language-processing-538fbfaf8e38

데이터를 처리하기에 앞서, 수집부터 해야겠죠?

- 물론 더 큰 규모의 데이터로, 더 고성능 모델을 원한다면, 여기서 언급하는 코퍼스 외에도 기업체면 직접 보유한 데이터도 있을테고, common crawl 같은 한국어에 국한되지 않은 방대한 웹데이터로 확장하시면 됩니다.

 

누구든 쉽게 접근할 수 있는 데이터중 많이 사용되는 몇가지만 소개 합니다.
(Korpora 같은곳에 이미 잘 정리 되어있으니 골라 담으셔도 되겠네요)

KcBERT 모델 학습용 댓글 데이터	온라인 구어체 코퍼스
청와대 국민 청원	온라인 구어체 코퍼스
KLUE 데이터셋	다양한 task 코퍼스들
모두의 말뭉치	다양한 task 코퍼스들
한국어 위키피디아 / 나무위키	문어체로 다양한 지식과 정보 포함
AI허브 데이터셋	다양한 task 코퍼스들

* Korpora에 더 많은 코퍼스들에 대한 정보가 정리 되어있습니다 : https://github.com/ko-nlp/Korpora

GitHub - ko-nlp/Korpora: Korean corpus repository

 

코퍼스를 모았으면, 모델 학습을 위해 간단하게 몇가지 전처리를 해둡니다.

1. 압축 해제, 메타 정보 제거
- 단일 포맷으로 텍스트를 모으기 위해 다음과 같이 데이터를 정의 합니다.

* 문서 = 문장의 집합

각 코퍼스의 성격에 따라 적당한 단위의 문서로 만듭니다.
- wiki류는 하나의 article이나 단락을 문서로
- 대화류는 하나의 대화 세션을 문서로

문서의 크기에 편차를 제한 하기 위해 한 문서에는 최대 100 문장만 허용 합니다.
문서의 최대 길이도 10,000 캐릭터로 제한합니다.

문서 내의 문장들은 `<br>` 같은 특수 패턴으로 구분해주고,
대화 코퍼스들의 경우 `[P1]`, `[P3]` 과 같은 화자 토큰을 구분자 삼습니다.
 - 단일 화자의 나래이션 같은 경우 `[P1]` 토큰 하나로 각 발화를 구분.

- 웹 문서는 1차적인 데이터 필터링에 메타 정보를 활용 가능.
- 추가적으로 광고성, 스팸성 웹 문서를 제거할 수 있는 레이어가 하나 있으면 편리.

2. 데이터 필터링
- 학습에 사용하지 않을 데이터를 제거

3. 데이터 마스킹
- 학습에 bias를 주거나 개인/민감 정보등은 원문을 마스킹 필요
- 정규표현식 정도로 제거 가능한 패턴 위주로 처리

본 프로젝트에선 최종적으로 약 10G 정도의 데이터만 구어체와 문어체가 섞이도록 취해서 학습에 활용 합니다.

코퍼스 명	전처리 후 사이즈	비고
wiki_namu_hub.txt	3.3 G	나무위키, 한국어 위키, AIhub 온라인 구어체 말뭉치
korean_petitions	0.6 G	국민 청원 2년치 (2017.08 ~ 2019.03)
NIK_spoken.txt	1.1 G	모두의 말뭉치 구어체
NIK_web.txt	0.7 G	모두의 말뭉치 웹
NIK_written.txt	6.5 G	모두의 말뭉치 문어체
aihub_web.txt	8.9 G	대규모 웹데이터 기반 한국어 말뭉치
kcbert_news.txt	12 G	kcBERT 온라인 구어체 코퍼스 v1

 

위의 내용들과 관련된 코드는 아래 레포에 정리 중입니다.
https://github.com/naubull2/koolade/tree/main/data

 

다음엔 필터링, 마스킹 전처리 방법에 대해 자세히 다뤄 보겠습니다.