[업계 이야기] chatGPT 와 LLM에 대한 생각

🕓 5 mins read

https://www.dw.com/en/chatgpt-is-changing-education-ai-experts-say-but-how/a-64454752

이미 작년 연말에 공개되었지만, 내 주변의 도메인 관계자 외에는 이제야 뉴스를 통해 접했나 보다.
만나는 사람들 마다 chatGPT이야기를 하는 걸 보니..

빅테크들의 수장들이, Yann LeCun, Geoffrey Hinton 정도 되는 AI 3 대장격인 사람들도 chatGPT에 대한 그들의 생각을 공유했지만, 어쨌든 나도 ML/ NLP 업계 종사자로서, 생각을 한번 적어 보지 않을 수가 없다. (너무 번역투였나?)

---

# 그래서 정말 혁신인가?

기술적으로 대단은 하지만, 혁신은 글쎄...
사업적으로는 미지의 영역에 대한 과감한 투자,
비기술자의 관점에선 그저 신세계?

기술적인 관점에선 나 역시 같은 생각이다. 혁신?이라기엔 이미 오래전에(Attention is all you need 논문이 나온 게 2017년도였나? 대학원 졸업한 지 얼마 안 되었을 때였던 것 같은데..) 나온 기술에서 특별히 다를 것도 없고, 해당 기술의 근본적인 문제는 해결한 게 아니다.

그저 그럴싸 하게 문장을 생성하던 모델이 "아니 정말 근데 진짜" 그럴싸한 문장(?)을 생성하는 모델이 된것이다.

구체적으로 살펴보면, 분명 OpenAI는 chatGPT라는 한순간을 위해 수년간 연구를 빌드업해온 건 맞다. LLM의 연구 트렌드를 선도한 것도 그들이었고, 상당한 학습 데이터와 학습에 필요한 컴퓨팅 자원 투자등도 미지의 영역에 대한 과감한 투자인 것도 맞다.

거기에다가 이 GPT라는 거대 LM(LLM)을 대화형으로 전환시키고 이를 서비스화 하는데 필요한, "사람이" 용인할 수 있는, 마음에 드는 답변을 내뱉도록 문장력을 다듬는 데 사용된 PPO(강화학습 알고리즘) 역시 OpenAI에서 연구/개발한 알고리즘이니, 기존의 기술을 응용한, 혁신 없는 기술이라기에도 애매하다. chatGPT가 대단한 연구라기 보단, 그 과정에 필요했던 작은 하나하나의 빌딩블록을 직접 연구 개발한 것이니, 잘 갈고닦아 서비스 가능한 수준까지 끌어올린 것은 기술적으로도 굉장한 일이다.

하지만, 사업 관점에서 봤을 땐, 이 모든 일련의 연구의 끝에 엄청난 성능 개선이 있을 것이라는 보장은 없었다. 물론, 암기를 정말 잘하는 모델을 더 크게 만들어서 더 많은 정보를 기억하게 만들고, 더 다양한 문장에 대한 수많은 데이터의 통계를 바탕으로 문장을 만들어낸다면 "더" 그럴듯한 문장이 나올 것이라는 데엔 전문가가 아니더라도 납득할만한 예상이다. 그러나, 그냥 이런 가설을 검증해 보기엔 너무 많은 비용이 필요한데...

이걸 확신 없이 시도해 보는 것 자체가 사업적으로는 분명 과감한 투자이자, 모험이었을 것이다. 단순히 모델을 키우는 식으로 성능을 올리는 건 마치, 소프트웨어 개발자가 알고리즘 개선 없이 하드웨어만 더 좋은 것을 구매해서 성능을 올리는 것처럼 무식하게 보일뿐만 아니라 비용 효율적인 방법은 아니다. (하드웨어 이야긴 그나마 성능이 개선된다는 확신이라도 있지..)

그러나, 만약 이 "성능 개선"의 수준이, 90% 정확도를 92%로 올리는 수준이 아니라, 기존에 전혀 하지 못하던 것조차도 할 수 있는, 200% 이상의 개선이라면, 이야기는 달라진다.

10가지 일을 수행하기 위해 10개의 모델을 학습할 때와는 달리, 단 하나의 모델로 10가지 일을 넘나들면서 온갖 정보를 아우르고, 예시만 보여주면 새로운 입력에 대해서도 훌륭한 수준으로 이를 바로 따라 하는데, 대중의 눈에는 이건 마치...

“Any sufficiently advanced technology is indistinguishable from magic.”

by Arthur C. Clarke 

그래, 마법이라 해도 믿을 것이다.

 

# 왜 갑작스럽게 보이나?

우선, 대화형 LM에 대한 연구는 몇 년 전 AI가 수십 년 만에 다시 유행할 때부터, AI 비서, 스마트 스피커, 음성인식 기술과 함께 유행했던,

"챗봇"

챗봇 시스템 덕분에 활발히 이루어졌다.

이건 갑작스러운 등장이 아니라 이미 오래전부터 다양한 형태로 연구되고, 개발되고, 대중들에게도 잘 알려진 서비스로도 알려져 있었다.

다만, "연구" 레벨에서 이루어지던 것들과 대중이 접하는 실제 "서비스" 레벨의 갭이 너무 컸던 것이다.
아무래도, 연구할 때는 대화 시스템이 사람한테 욕을 해도 그저 재밌네~ 야 이것 봐라~ 하고 넘어가지만, 이용자들은 눈 뒤집히고 언론에서 마구 물어뜯기 좋은 대상일 뿐이니까.

이건 아주 단편적인 예시일 뿐이고, 여러모로 대중에 공개할 서비스에서는 지켜야 할 규칙이나, 넘으면 절대로 안 되는 그런 선이 존재했고, 그로 인한 서비스나 기업이 받을 타격은 기회 대비 리스크가 너무 컸던 것이다.

이러니, 현업에 계신 연구자들도 와 이건 좀.. 하는 성능이라면, 대중의 눈엔 갑자기 해리포터가 공중에서 빗자루 타고 지나가면서 불꽃놀이 마법이라도 보여주는 것처럼 보이는 게 아닐까.

오죽하면 그 구글조차 몇 년 전부터 만들어놓고 절대 서비스 공개하진 않던 건데..

 

# 그럼 왜 구글이 아니라?

서비스 리스크를 차치하더라도, 구글과 마이크로소프트(OpenAI 주 투자사)의 수익 구조를 보면 답이 나온다.

구글은 온라인 광고 수입이 주 수입이고, 마이크로소프트는 광고가 주요 사업 영역도 아닐뿐더러, 검색엔진은 더더욱이.. (bing 수준은 말 안 해도 윈도 써본 사람이라면 다 알터..) 주요 사업이 아니었다.

그런데 chatGPT와 같은 대화형 검색엔진의 특징은, 기존에 사람이 검색해서 여기저기 사이트 들락날락 하며 정보를 취득하고 조합해서 원하는 정보를 얻어내는 과정을 전부 건너뛰게 만들어 준다.

즉, 온라인 곳곳에 심어져 있는 광고를 전혀 보지 않고 한 번에 원하는 정보를 얻을 수 있는 시스템이다.
구글이 대화형 LM 서비스를 공개한다는 건 자신의 주 비즈니스 로직에 반하는 행위기에 절대로 먼저 기술을 보유해도 서비스화 하지 못하는 것이었다. 다만, 이제는 누군가 대화형 검색엔진을 상당한 성능으로 대중에 선을 보이고 시장에 뛰어든 이상 좋든 싫든 이 판에 구글도 뛰어들어야만 하는 상황이 된 것이다.

 

# 국내 기업들은?

뭐 언제나 그렇듯이 컴퓨터 공학 자체가, 아니 근본적으로 컴퓨터 자체가, 미국이 종주국(?)이기도 하고, 마이크로소프트, 애플, 구글(?) 등의 전통적인 거대자본 IT 기업들은 전부 미국에 있기도 하니 당연하겠지만, 한국은 항상 어떤 기술이 상용화되면 한국어 패치만 시켜서 시장에 내놓곤 해왔다.

이번에도 그럴 것인가?라고 봤을 때, 아마도 그렇겠지만, 꼭 그렇지만은 않을지도 모르겠다.

아무래도 존재하는 모든 텍스트 데이터 자체가 한국어는 영문 데이터만큼 많지 않다. 언어 사용인구로 보나, 다양성으로 보나.. 전 세계 다양한 국가의 15억 명이 사용하는 언어보다 많을 수는 없다. 10억 인구의 중국어조차도 중국인 외엔 거의 쓰질 않으니.

그래도 chatGPT를 학습할 만큼의 raw 데이터는 한국어도 모으면 충분히 있을 것이다. (175B 파라미터 LLM 기준) 그럼 PPO 강화학습을 위한 데이터는 이제부터라도 투자해서 구축해야 할 데이터고 이건 시간이 지나면 생겨날 테고.

그럼 뭐가 문제일까? 

수익성

데이터와, "가능성"만 놓고 봤을 때는 가능은 하지만, 기업은 이윤을 추구해야 한다. 수익을 내는 집단이라는 것인데, chatGPT를 개발하고, 학습하고, 서비스 운영하는데 드는 막대한 비용에 대해서는 어찌할 건가? 비용 효율을 따져봤을 때 국내에서는 이런 걸 과감하게 시도할 수 있는 자본력의 기업이 없다. 삼성? 네이버? 카카오? (음.. 얘네는 빼자, 현금이 그리 많지 않은 고평가 기업이니^^) 현금 꽤나 많다는 기업들도 고민스러울 수밖에 없는 게, 만들어 놓고도 수익화하지 못할 기술이라면 투자가 쉬운 결정이 아닐 테니 말이다.

베타 서비스 수준만으로 볼 때는 상당히 그럴듯한 성능에, 상당히 흥미로운 기존에는 없던 서비스가 사람들 눈에는 신기하기만 할 뿐이지만, 과연 정말 chatGPT로 아주 중요한 문서 작성, 업무 수행에 온전히 맡길 수 있겠냐 하면, 망설여질 것이다. 문장의 내용이 그럴 듯은 하지만, 자세히 읽어보면 틀린 말도 있고 논리적 오류도 있고, 질문과 상관없는 이야길 하기도 한다.

그렇다고 아무짝에 쓸모없는 것은 아니다. 자율 주행 차량을 보면, 분명 내가 핸들과 페달에서 손발 떼고 눈 붙일 수 있는 건 아니지만, 반자동으로 보조만 해줘도 나의 피로도가 확 줄어드니 말이다.

chatGPT는 자율주행 차량이랑 근본적으로 다른 부분이 있다. 자동차는, 특히 고-급 자동차는 이미 사람들이 상당한 거금을 들여 구매하는 것을 자연스럽게 받아들이기 때문에 이런 자율주행 기술은 값 비싼 제품에 넣어서 팔기만 하면 바로 수익화가 된다. 하지만, chatGPT를 어떻게 상품화해서 팔아야 수익이 날까? 현재처럼 단순히 유료 API로 사업을 하면, 계속해서 적자만 발생한다. MS는 이걸 그래서 자사 검색 엔진인 Bing에 넣어서 구글의 검색 시장을 양분화해보려고 하는 듯하다. 물론.. 구글의 수익은 검색엔진에서 오는 것이 아니라 검색을 위해 사람들이 이 페이지 저 페이지 넘나들며 보는 광고들로부터 오는 것이지만.. Bing을 통해 어떻게 수익화할지는 아직 지켜봐야 할 부분 같다.

이 수익성이라는 중요한 질문에 의문을 가진 채로는 아마 다시 과거 5년 전으로 돌아가서 chatGPT에 대해 국내 기업 총수들에게 알려줘도 뛰어들진 않았을지도?