[Paper] One Embedder, Any Task: Instruction-Finetuned Text Embeddings

🕓 4 mins read

https://arxiv.org/abs/2212.09741

One Embedder, Any Task: Instruction-Finetuned Text Embeddings

오늘은 간단한 engineering 논문입니다.

NLP 연구 추세가 계속 LLM(Large Language Model)로 흘러가고 있지만, 아직은 현실적으로 그렇게 큰 모델을 학습하기도, 서비스하기에도 너무 비용 효율이 떨어지고, 모든 기업이 거대 모델 자본 경쟁에 뛰어들 수 도 없는 노릇이죠.

이번 논문은 비교적 작은 크기의 일반적인 모델 규모에, (큰 버전도 1.5B 파라미터 수준으로 구글 TPU클러스터 없이 학습 가능한 수준의 규모) 영문 모델도 다양한 크기로 릴리즈 되었으며, 한국어 모델로도 재현 가능한 수준입니다.

 

# 핵심 내용

공개하는 모델명을 InstructOR (Instruction-based Omnifarious Representations) 라고 지었는데요, 사실 기존에 공개된 모델에서 변경점은 없습니다. 다만, 데이터를 어떻게 다르게 입력/학습시켜서 성능을 개선시켰느냐의 engineering 페이퍼입니다. (Technical novelty는 많이 부족합니다만, 그래도 벤치마크 리더보드 1등이라는 데서 의미를 둡니다.)

InstructOR는 단일 모델로 finetuning 없이 instruction만 달리해서 task에 적합한 embedding을 만들어 주는 encoder 모델.
- MTEB leaderboard 현재 1위  https://huggingface.co/spaces/mteb/leaderboard
- Dense retrieval을 메인 타겟 task로 삼긴 하나, reranking, generation evaluation 등 다양한 task로도 활용가능
- 다양한 사이즈로 공개 되어있는 GTR 모델을 그대로 사용, instruction prompt를 붙여서 학습/실행하는 것이 핵심 아이디어.

 

아키텍처는 GTR 모델을 그대로 이용하므로, 기존 논문의 다이어그램을 하나 봅니다.

GTR 논문: https://arxiv.org/abs/2112.07899

예전에 Siamese Convolutional Dual encoder 모델과 같은 형태죠?
공통 파라미터로 이루어진 인코더 모델 두 개로 질의와 답변(혹은 문서)과 같이 쌍으로 이루어진 데이터를 각각 dense vector로 인코딩 해준다음 두 벡터 간의 코사인 유사도로 relevant / irrelevant (혹은 positive / negative) 클래스로 regression 혹은 binary classification 학습을 합니다.

사실 여기까지도 이미 기존에 siamese network와 다를게 전혀 없는 모델 아키텍처지만, 훨씬 더 다양한 task의 데이터셋을 이런 paired 구조로 보는 것입니다.

GTR 모델도 베이스 모델을 T5 모델(seq2seq 모델 구조로 다양한 task를 풀어낸 것)에서 인코더 레이어만 가져와서 초기화한 모델이니, T5 -> GTR -> InstructOR 순서로 점차 개선(?) 되었다 보면 됩니다.

T5처럼 seq2seq 형태의 multitask 모델에선 output을 실제로 generation 해야 하는 문제이니 만큼 학습 난도가 훨씬 높은 반면, GTR이나 InstructOR에서는 시퀀스를 생성하지는 않고 입력과 출력 시퀀스를 하나의 벡터 공간에 mapping 하는 문제이므로 좀 더 난이도가 낮다고 할 수 있습니다. (Output space가 예를 들어 768차원 벡터의 $t$ step 만큼의 시퀀스 조합일 때 보다 768차원 벡터 두 개만 생성하는 것이 훨씬 단순한 공간이겠죠?)

InstructOR 모델의 학습은, GTR 과 동일하게 multitask 데이터셋을 query / passage 두 인코더 타워에 입력하는 건 마찬가지지만, 각각의 텍스트 앞에 "instruction", 즉 일종의 prompt 텍스트를 덧붙여서 해당 텍스트의 역할을 명시적으로 입력해 줍니다.

---

즉 BERT 모델의 목적이 동일한 "토큰(단어)"의 임베딩이 시퀀스의 맥락에 따라 다른 벡터로 동적으로 임베딩 되도록 학습을 한 것이라면, InstructOR 모델은 동일한 "시퀀스(문장/문서)"의 임베딩이 task에 따라 다른 벡터로 동적 임베딩 되게끔 한 것입니다.

---

논문의 핵심 contribution은 여기까지이고, 이렇게만 논문을 쓰면 너무 실험 보고서 수준이 되니, 각 조건 요소들을 ablation 스터디 (변인 확인)를 통해 모델 성능에 기인하는 요인들이 어떤 것들이 있는지를 보입니다.

Task 별 instruction (prompt)문장의 예시

 

## 포인트 1.

Instruction의 성능 향상에 기인하는 요소들을 파악하기 위한 그래프입니다.

Task들 중에는 중복 문장 탐색, 문장 분류 문제 등과 같이 query / passage 쪽의 형태가 동일/유사한 "symmetric" task가 있고, 문서 검색과 같이 query / passage의 형태가 한쪽은 짧은 문장/키워드고 다른 한쪽은 긴 문서 형태인 것처럼 상이한 "asymmetric" task가 있습니다.

위의 그래프로부터 우리는 instruction이 어떤 경우든 성능 향상을 크게 일으켰고, 두 가지 유형의 task가 섞인 채로 학습할 땐 instruction이 없으면 단순한 siamese network 구조만으로는 학습이 잘 이루어지지 않는 것을 볼 수 있습니다.

 

사용한 학습 데이터 셋 중에 특히 SuperNI라는 데이터셋이 있는데, 이 데이터셋은 약 18만 건으로 양도 많을 뿐 아니라, task description을 instruction 형태로 자세하게 라벨링 되어있는 데이터입니다. (딱 봐도 InstructOR 모델 학습에 도움이 크게 될 것 같은 데이터죠? ㅎㅎ)

위의 그래프를 보면 SuperNI를 포함하고 안 하고에 따라서 모델의 성능이 분포가 고르게 개선되는 것을 볼 수 있습니다. 
물론, SuperNI 없이도 최고 성능은 비슷하게 높지만, 성능의 변화 폭이 좀 커서 모델이 많이 흔들리는 것이 보입니다.

 

## 포인트 2.

그럼 instruction은 어떻게 넣어야 할까요? 정말 저자들이 주장하는, "instruction"으로 문장/문서를 task에 맞게 동적으로 임베딩 하려면!

최대한 상세하고 명시적으로 하고자 하는 task를, 임베딩 벡터가 나타내길 바라는 내용을 instruction에 넣으면 된다고 합니다.

위의 그래프를 보면, 태그 형태로만 task를 표기해줘도 성능 향상이 있고, 점점 task에 대한 지시 사항이 뚜렷할 수 록 성능이 향상되는 것을 볼 수 있습니다.

(여기서 논문에 설명이 없어 제가 의아했던 건, N/A 면, GTR과 동일한 성능을 내야 하는 게 아닌가? 싶었는데, 학습에 동원된 dataset의 범위가 더 넓어져서 성능저하가 있었다고 봐야 할 것 같습니다.. 설마 모델 사이즈를 다른 것을 사용한 것은 아닐 테니까요.)

 

# 개인적인 생각

논문의 technical novelty는 별로 없지만, 적당한 규모의 모델 크기로, zero-shot 혹은 약간의 finetuning만으로 다양한 task에 범용적으로 쓰일 수 있는 embedding 모델이니 훌륭한 아이디어가 아닐까요?

오래전부터 저는 머신러닝의 최종 종착점은 결국 얼마나 의미/맥락/메타를 잘 담아내는 embedding 벡터를 잘 만들어 내느냐에 시스템 성능이 결정된다 생각했던 터라.. 이런 연구는 항상 반갑습니다.

한결 같이 더 많은 자본! 더 많은 컴퓨팅 파워!! 머니이이! 하고 있는 탑 리그(?) 연구 트렌드는 솔직히 좀 지겹기도 하고.. (구경하는 신기하기도 하지만..) 그렇다고 최적화 / 알고리즘 개선 만으로 빅모델 트렌드를 따라잡거나 뒤엎긴 어려워 보이고. 요즘 AI연구 힘듭니다 ㅎㅎ

대신 업계에선(논문 써야 하는 학생들은 그저 애도..) 더 저렴한 비용으로, 충분히 효율적인 잭나이프 개발에 힘을 쓰면 된다고 생각합니다. (굳이 비유하면 빅모델이 전기톱 정도.. 려나요? 이제 몇 년 더 있으면 광선검이 되겠군요 ㄷㄷ 스테이크 썰때 광선검 까진 필요 없잖아요?)

 

# 참고

- Prior work이지만 연관해서 single-model-multitask를 지향하는 논문들 (LLM은 결 자체가 다르니 제외합니다.)

(T5) EXT5 : https://arxiv.org/pdf/2111.10952.pdf

GTR : https://arxiv.org/abs/2112.07899