Korean Language Model - 데이터 전처리

🕓 5 mins read

# 전처리를 하는 이유

최소한의 전처리를 통해 언어모델에 불필요한 요소를 배제하고, 위험 요소를 걷어 냅니다. 물론 모델 뿐만 아니라 빈도 기반의 토크나이저를 학습할때도 도움이 되죠.

사실 언어 모델의 규모를 키우고, 데이터를 키우게 되면 범용 LLM(Large Language Model)에선, 전처리에 공을 들이는것 보다는 원래 텍스트를 그대로 가지고 있는것이 데이터의 다양한 형태를 분석하고 생성할 수 있기 때문에 좋을 수 있습니다.

하지만 여기선 대화 분석/생성등에 특화된 대화 모델을 만드는것을 목표로 하고 있기 때문에 전처리를 할 필요가 있습니다.

• 작은 규모의 모델/데이터 하에서 노이즈로 작용할 수 있는 불필요한 패턴 제거
• 특수 토큰 처리 (개인정보 마스킹, 대화 데이터 화자 구분자 삽입 등)
• 데이터가 다양한 소스에서 왔거나, 로그 데이터 라면, 중복 데이터 제거

ML 모델 학습에 앞서 데이터 전처리는 언제나 중요한 작업입니다

 

# 전처리 준비

먼저 사용하려는 학습 데이터를 최소한 5GB 이상 모았다면, 이를 향후 사용하기 편하게 전처리를 해줘야합니다.

raw 데이터는 대게 jsonl 포맷이나 csv, tsv등의 약간의 구조화된 형태로 메타 정보를 포함하는 경우가 많은데, 우리는 학습에 필요한 최소한의 부가 정보만 남기고, 텍스트 파일 한 줄에 하나의 문서/대화 세션/문단 등이 오도록 포맷을 정규화 먼저 해줍니다.

# jsonl 예시
{"id": "BAND_00001", "context": ["안녕?", "안녕하세요~", "오랜만이네요"], "response": "뭐하고 있어요?"}
 
 
# 라인 텍스트로 정규화 예시, 대화 데이터라면
[P1] 안녕? [P2] 안녕하세요~ [P1] 오랜만이네요 [P2] 뭐하고 있어요?
 
# 혹은, 응답 생성 task로 바라본다면
[P1] 안녕? [P2] 안녕하세요~ [P1] 오랜만이네요 [SEP] 뭐하고 있어요?

 

# 전처리

## 1. 필터링

language_filter.py

한국어 데이터 위주로 모델을 학습할것이므로, 한국어 자체가 거의 포함되지 않은 문서는 필요하지 않습니다. 

한글의 포함 비율에 따른 처리

텍스트의 unicode 메타 정보를 통해  한글의 포함 비율을 계산해서 한글이 거의 없는 문서는 미리 제거 해둡니다.

파이썬의 unicodedata 라이브러리를 이용해도 좋지만, 간단한 unicode table 값을 이용하여 우리가 필요한 유형으로만 구분 하는 함수를 사용할 수 도 있습니다. (4가지 카테고리로 분류: 한글, 영문, 숫자, 기타)

class LanguageRatio:
    lang_types = Enum(
        "lang_type",
        "KOR ENG NUM ETC"
    )
    def __init__(self):
        pass
 
    def is_unicode_hangul_jamo(self, val):
        if 0x1100 <= val and val <= 0x11FF:
            return True
        return False
 
    def is_unicode_hangul_compatibility_jamo(self, val):
        if 0x3130 <= val and val <= 0x318F:
            return True
        return False
 
    def is_unicode_hangul_syllables(self, val):
        if 0xAC00 <= val and val <= 0xD7AF:
            return True
        return False
 
    def get_unicode_type(self, val):
        if self.is_unicode_hangul_syllables(val):
            return self.lang_types.KOR
        if self.is_unicode_hangul_jamo(val):
            return self.lang_types.KOR
        if self.is_unicode_hangul_compatibility_jamo(val):
            return self.lang_types.KOR
        if 0x30 <= val and val <= 0x39:
            return self.lang_types.NUM
        if 0x41 <= val and val <= 0x5A:
            return self.lang_types.ENG
        if 0x61 <= val and val <= 0x7A:
            return self.lang_types.ENG
        return self.lang_types.ETC

HTML escape 처리, non-printable 처리

그리고 언어 모델에 전혀 필요하지 않을, 출력이 불가능한 컨트롤 캐릭터등 역시 제거 해줍니다. ASCII 테이블 첫 30여 캐릭터들이 여기에 해당하겠죠. (예. end of text)

def clean_text(self, line):
    filtered_characters = list(s for s in line if s.isprintable())
    line = "".join(filtered_characters)
    line = html.unescape(line)
    return line

 

## 2. 마스킹

privacy_filter.py

패턴 매칭이야 다양한 방법이 있겠지만, 처리하려는 민감/개인정보는 대게 패턴이 규칙적이므로 정규표현식을 이용해 제거합니다.
기본적으로는 주소, 전화번호, 카드번호, 이메일주소, IP주소 등이 있을 수 있고, 좀 폭넓게 본다면, 웹데이터에서 주로 등장하는 @ 나 # 등으로 소환(?)되는 아이디 멘션도 민감 정보로 볼 수 있겠죠?

각 정보별로 찾아보면, 정해진 패턴이 있으므로 같은 일련번호의 포맷이여도 자릿수 패턴등을 통해 여권번호인지, 운전면허증 번호인지도 알 수 있겠네요.

해당 하는 패턴을 찾아서 토크나이저 학습시에 사용할 특수 토큰으로 치환 하는것으로 하겠습니다.

특수 토큰 예시: 

유형	특수 토큰
주소	[Address]
여권번호	[PassportNumber]
자동차번호판	[LicensePlateNumber]
웹 주소	[URL]

- 대괄호를 이용한 이유는 토크나이저 학습시에 설명 드리겠지만, 그냥 텍스트내에서 일반적(?)으로 잘 발생하지 않을 형태로 지정한것입니다. (물론 나머지 토크나이저에서 사용할 특수 토큰들도 대괄호를 이용할 예정이라서 통일감을 고려한것도 있습니다.)

신용카드 번호:

• https://info-lab.tistory.com/292
• https://ko.wikipedia.org/wiki/%EC%B9%B4%EB%93%9C_%EB%B2%88%ED%98%B8%EC%9D%98_%EA%B5%AC%EC%84%B1

카드 번호의 구성 - 위키백과, 우리 모두의 백과사전

주민번호:

• https://info-lab.tistory.com/292

[regex] 개인정보 추출 정규표현식 모음

사업자 등록번호:

• http://seoulcredit.co.kr/business_id

SCI평가정보

계좌번호:

• https://m.post.naver.com/viewer/postView.nhn?volumeNo=16874906&memberNo=39189924

은행마다 달라요! 계좌번호 자릿수, 어떻게 만들어질까?

운전면허 번호:

• https://namu.wiki/w/%EC%9A%B4%EC%A0%84%EB%A9%B4%ED%97%88%EC%A6%9D#s-2.3.1

운전면허증 - 나무위키

여권번호:

• https://ko.wikipedia.org/wiki/%EC%97%AC%EA%B6%8C

여권 - 위키백과, 우리 모두의 백과사전

차량번호판:

• https://ko.wikipedia.org/wiki/%EB%8C%80%ED%95%9C%EB%AF%BC%EA%B5%AD%EC%9D%98_%EC%B0%A8%EB%9F%89_%EB%B2%88%ED%98%B8%ED%8C%90

대한민국의 차량 번호판 - 위키백과, 우리 모두의 백과사전

그리고 무엇보다도 흔한, 주소 / 전화 번호등이 있습니다.

• https://www.juso.go.kr/CommonPageLink.do?link=/street/GuideBook

도로명주소 소개 | 도로명주소 안내시스템

 

URL의 경우는 다음과 같은 정규표현식으로 처리 할 수 있겠고, 나머지 패턴들도 이런식으로 정규표현식으로 찾아서 특수 토큰으로 치환하거나, 임의의 "***" 과 같은 형태로 마스킹 할 수 있습니다.

class URL(RegexPattern):
    ...
    @property
    def pattern(self) -> str:
        regex = (
            '(https?:\/\/(?:www\.|(?!www))[a-zA-Z0-9][a-zA-Z0-9-]+[a-zA-Z0-9]\.[^\s"\<\>\(\)\{\}\[\]]{2,}'
            '|https?:\/\/(?:www\.|(?!www))[a-zA-Z0-9]+\.[^\s"\<\>\(\)\{\}\[\]]{2,}'
            '|www\.[a-zA-Z0-9][a-zA-Z0-9-]+[a-zA-Z0-9]\.[^\s"\<\>\(\)\{\}\[\]]{2,}'
            '|www\.[a-zA-Z0-9]+\.[^\s"\<\>\(\)\{\}\[\]]{2,})'
        )
        return regex
    ...

 

 

## 3. 불용어 처리

언어모델의 요구사항에 따라 불용어 처리도 해주면 좋을듯 합니다.

욕설이라거나, 성인키워드 등을 사전으로 보유하고 있다면, 이런 패턴 역시 제거를 해두면 나중에 생성 모델로 활용할때 문제가 될 만한  단어나 문장을 사전에 정제/필터링 해두면 모델이 좀 더 안전해질 수 있겠죠.

이런 사용자 사전에 등재된 단어를 필터링 하는데엔 trie 기반의 패턴 매칭 알고리즘을 이용하면 됩니다. (대표적으로 aho-corasick 알고리즘)

 

# 최종 데이터

썩 많은 양은 아니지만, 약 25GB 가량의 텍스트 데이터를 전처리까지 완료 했습니다.

이렇게 전처리된 데이터를 가지고 다음엔 토크나이저 학습을 해봅니다.