-
[μ κ³ μ΄μΌκΈ°] chatGPT μ LLMμ λν μκ°ML engineer/NLP 2023. 2. 19. 14:26λ°μν
π 5 mins read
μ΄λ―Έ μλ μ°λ§μ 곡κ°λμμ§λ§, λ΄ μ£Όλ³μ λλ©μΈ κ΄κ³μ μΈμλ μ΄μ μΌ λ΄μ€λ₯Ό ν΅ν΄ μ νλ 보λ€.
λ§λλ μ¬λλ€ λ§λ€ chatGPTμ΄μΌκΈ°λ₯Ό νλ κ±Έ 보λ..λΉ ν ν¬λ€μ μμ₯λ€μ΄, Yann LeCun, Geoffrey Hinton μ λ λλ AI 3 λμ₯κ²©μΈ μ¬λλ€λ chatGPTμ λν κ·Έλ€μ μκ°μ 곡μ νμ§λ§, μ΄μ¨λ λλ ML/ NLP μ κ³ μ’ μ¬μλ‘μ, μκ°μ νλ² μ μ΄ λ³΄μ§ μμ μκ° μλ€. (λ무 λ²μν¬μλ?)
# κ·Έλμ μ λ§ νμ μΈκ°?
κΈ°μ μ μΌλ‘ λλ¨μ νμ§λ§, νμ μ κΈμ...
μ¬μ μ μΌλ‘λ λ―Έμ§μ μμμ λν κ³Όκ°ν ν¬μ,
λΉκΈ°μ μμ κ΄μ μμ κ·Έμ μ μΈκ³?κΈ°μ μ μΈ κ΄μ μμ λ μμ κ°μ μκ°μ΄λ€. νμ ?μ΄λΌκΈ°μ μ΄λ―Έ μ€λμ μ(Attention is all you need λ Όλ¬Έμ΄ λμ¨ κ² 2017λ λμλ? λνμ μ‘Έμ ν μ§ μΌλ§ μ λμμ λμλ κ² κ°μλ°..) λμ¨ κΈ°μ μμ νΉλ³ν λ€λ₯Ό κ²λ μκ³ , ν΄λΉ κΈ°μ μ κ·Όλ³Έμ μΈ λ¬Έμ λ ν΄κ²°ν κ² μλλ€.
κ·Έμ κ·Έλ΄μΈ νκ² λ¬Έμ₯μ μμ±νλ λͺ¨λΈμ΄ "μλ μ λ§ κ·Όλ° μ§μ§" κ·Έλ΄μΈν λ¬Έμ₯(?)μ μμ±νλ λͺ¨λΈμ΄ λκ²μ΄λ€.
ꡬ체μ μΌλ‘ μ΄ν΄λ³΄λ©΄, λΆλͺ OpenAIλ chatGPTλΌλ νμκ°μ μν΄ μλ κ° μ°κ΅¬λ₯Ό λΉλμ ν΄μ¨ 건 λ§λ€. LLMμ μ°κ΅¬ νΈλ λλ₯Ό μ λν κ²λ κ·Έλ€μ΄μκ³ , μλΉν νμ΅ λ°μ΄ν°μ νμ΅μ νμν μ»΄ν¨ν μμ ν¬μλ±λ λ―Έμ§μ μμμ λν κ³Όκ°ν ν¬μμΈ κ²λ λ§λ€.
κ±°κΈ°μλ€κ° μ΄ GPTλΌλ κ±°λ LM(LLM)μ λννμΌλ‘ μ νμν€κ³ μ΄λ₯Ό μλΉμ€ν νλλ° νμν, "μ¬λμ΄" μ©μΈν μ μλ, λ§μμ λλ λ΅λ³μ λ΄λ±λλ‘ λ¬Έμ₯λ ₯μ λ€λ¬λ λ° μ¬μ©λ PPO(κ°ννμ΅ μκ³ λ¦¬μ¦) μμ OpenAIμμ μ°κ΅¬/κ°λ°ν μκ³ λ¦¬μ¦μ΄λ, κΈ°μ‘΄μ κΈ°μ μ μμ©ν, νμ μλ κΈ°μ μ΄λΌκΈ°μλ μ 맀νλ€. chatGPTκ° λλ¨ν μ°κ΅¬λΌκΈ° 보λ¨, κ·Έ κ³Όμ μ νμνλ μμ νλνλμ λΉλ©λΈλ‘μ μ§μ μ°κ΅¬ κ°λ°ν κ²μ΄λ, μ κ°κ³ λ¦μ μλΉμ€ κ°λ₯ν μμ€κΉμ§ λμ΄μ¬λ¦° κ²μ κΈ°μ μ μΌλ‘λ κ΅μ₯ν μΌμ΄λ€.
νμ§λ§, μ¬μ κ΄μ μμ λ΄€μ λ, μ΄ λͺ¨λ μΌλ ¨μ μ°κ΅¬μ λμ μμ²λ μ±λ₯ κ°μ μ΄ μμ κ²μ΄λΌλ 보μ₯μ μμλ€. λ¬Όλ‘ , μκΈ°λ₯Ό μ λ§ μνλ λͺ¨λΈμ λ ν¬κ² λ§λ€μ΄μ λ λ§μ μ 보λ₯Ό κΈ°μ΅νκ² λ§λ€κ³ , λ λ€μν λ¬Έμ₯μ λν μλ§μ λ°μ΄ν°μ ν΅κ³λ₯Ό λ°νμΌλ‘ λ¬Έμ₯μ λ§λ€μ΄λΈλ€λ©΄ "λ" κ·Έλ΄λ―ν λ¬Έμ₯μ΄ λμ¬ κ²μ΄λΌλ λ°μ μ λ¬Έκ°κ° μλλλΌλ λ©λν λ§ν μμμ΄λ€. κ·Έλ¬λ, κ·Έλ₯ μ΄λ° κ°μ€μ κ²μ¦ν΄ 보기μ λ무 λ§μ λΉμ©μ΄ νμνλ°...
μ΄κ±Έ νμ μμ΄ μλν΄ λ³΄λ κ² μμ²΄κ° μ¬μ μ μΌλ‘λ λΆλͺ κ³Όκ°ν ν¬μμ΄μ, λͺ¨νμ΄μμ κ²μ΄λ€. λ¨μν λͺ¨λΈμ ν€μ°λ μμΌλ‘ μ±λ₯μ μ¬λ¦¬λ 건 λ§μΉ, μννΈμ¨μ΄ κ°λ°μκ° μκ³ λ¦¬μ¦ κ°μ μμ΄ νλμ¨μ΄λ§ λ μ’μ κ²μ ꡬ맀ν΄μ μ±λ₯μ μ¬λ¦¬λ κ²μ²λΌ 무μνκ² λ³΄μΌλΏλ§ μλλΌ λΉμ© ν¨μ¨μ μΈ λ°©λ²μ μλλ€. (νλμ¨μ΄ μ΄μΌκΈ΄ κ·Έλλ§ μ±λ₯μ΄ κ°μ λλ€λ νμ μ΄λΌλ μμ§..)
κ·Έλ¬λ, λ§μ½ μ΄ "μ±λ₯ κ°μ "μ μμ€μ΄, 90% μ νλλ₯Ό 92%λ‘ μ¬λ¦¬λ μμ€μ΄ μλλΌ, κΈ°μ‘΄μ μ ν νμ§ λͺ»νλ κ²μ‘°μ°¨λ ν μ μλ, 200% μ΄μμ κ°μ μ΄λΌλ©΄, μ΄μΌκΈ°λ λ¬λΌμ§λ€.
10κ°μ§ μΌμ μννκΈ° μν΄ 10κ°μ λͺ¨λΈμ νμ΅ν λμλ λ¬λ¦¬, λ¨ νλμ λͺ¨λΈλ‘ 10κ°μ§ μΌμ λλλ€λ©΄μ μ¨κ° μ 보λ₯Ό μμ°λ₯΄κ³ , μμλ§ λ³΄μ¬μ£Όλ©΄ μλ‘μ΄ μ λ ₯μ λν΄μλ νλ₯ν μμ€μΌλ‘ μ΄λ₯Ό λ°λ‘ λ°λΌ νλλ°, λμ€μ λμλ μ΄κ±΄ λ§μΉ...
“Any sufficiently advanced technology is indistinguishable from magic.”
by Arthur C. Clarke
κ·Έλ, λ§λ²μ΄λΌ ν΄λ λ―Ώμ κ²μ΄λ€.
# μ κ°μμ€λ½κ² 보μ΄λ?
μ°μ , λνν LMμ λν μ°κ΅¬λ λͺ λ μ AIκ° μμ λ λ§μ λ€μ μ νν λλΆν°, AI λΉμ, μ€λ§νΈ μ€νΌμ»€, μμ±μΈμ κΈ°μ κ³Ό ν¨κ» μ ννλ,
"μ±λ΄"
μ±λ΄ μμ€ν λλΆμ νλ°ν μ΄λ£¨μ΄μ‘λ€.
μ΄κ±΄ κ°μμ€λ¬μ΄ λ±μ₯μ΄ μλλΌ μ΄λ―Έ μ€λμ λΆν° λ€μν ννλ‘ μ°κ΅¬λκ³ , κ°λ°λκ³ , λμ€λ€μκ²λ μ μλ €μ§ μλΉμ€λ‘λ μλ €μ Έ μμλ€.
λ€λ§, "μ°κ΅¬" λ 벨μμ μ΄λ£¨μ΄μ§λ κ²λ€κ³Ό λμ€μ΄ μ νλ μ€μ "μλΉμ€" λ 벨μ κ°μ΄ λ무 μ»Έλ κ²μ΄λ€.
μ무λλ, μ°κ΅¬ν λλ λν μμ€ν μ΄ μ¬λνν μμ ν΄λ κ·Έμ μ¬λ°λ€~ μΌ μ΄κ² λ΄λΌ~ νκ³ λμ΄κ°μ§λ§, μ΄μ©μλ€μ λ λ€μ§νκ³ μΈλ‘ μμ λ§κ΅¬ λ¬Όμ΄λ―κΈ° μ’μ λμμΌ λΏμ΄λκΉ.μ΄κ±΄ μμ£Ό λ¨νΈμ μΈ μμμΌ λΏμ΄κ³ , μ¬λ¬λͺ¨λ‘ λμ€μ 곡κ°ν μλΉμ€μμλ μ§μΌμΌ ν κ·μΉμ΄λ, λμΌλ©΄ μ λλ‘ μ λλ κ·Έλ° μ μ΄ μ‘΄μ¬νκ³ , κ·Έλ‘ μΈν μλΉμ€λ κΈ°μ μ΄ λ°μ ν격μ κΈ°ν λλΉ λ¦¬μ€ν¬κ° λ무 μ»Έλ κ²μ΄λ€.
μ΄λ¬λ, νμ μ κ³μ μ°κ΅¬μλ€λ μ μ΄κ±΄ μ’.. νλ μ±λ₯μ΄λΌλ©΄, λμ€μ λμ κ°μκΈ° ν΄λ¦¬ν¬ν°κ° 곡μ€μμ λΉμ루 νκ³ μ§λκ°λ©΄μ λΆκ½λμ΄ λ§λ²μ΄λΌλ 보μ¬μ£Όλ κ²μ²λΌ 보μ΄λ κ² μλκΉ.
μ€μ£½νλ©΄ κ·Έ ꡬκΈμ‘°μ°¨ λͺ λ μ λΆν° λ§λ€μ΄λκ³ μ λ μλΉμ€ 곡κ°νμ§ μλ 건λ°..
# κ·ΈλΌ μ ꡬκΈμ΄ μλλΌ?
μλΉμ€ 리μ€ν¬λ₯Ό μ°¨μΉνλλΌλ, ꡬκΈκ³Ό λ§μ΄ν¬λ‘μννΈ(OpenAI μ£Ό ν¬μμ¬)μ μμ΅ κ΅¬μ‘°λ₯Ό 보면 λ΅μ΄ λμ¨λ€.
ꡬκΈμ μ¨λΌμΈ κ΄κ³ μμ μ΄ μ£Ό μμ μ΄κ³ , λ§μ΄ν¬λ‘μννΈλ κ΄κ³ κ° μ£Όμ μ¬μ μμλ μλλΏλλ¬, κ²μμμ§μ λλμ±μ΄.. (bing μμ€μ λ§ μ ν΄λ μλ μ¨λ³Έ μ¬λμ΄λΌλ©΄ λ€ μν°..) μ£Όμ μ¬μ μ΄ μλμλ€.
κ·Έλ°λ° chatGPTμ κ°μ λνν κ²μμμ§μ νΉμ§μ, κΈ°μ‘΄μ μ¬λμ΄ κ²μν΄μ μ¬κΈ°μ κΈ° μ¬μ΄νΈ λ€λ½λ λ½ νλ©° μ 보λ₯Ό μ·¨λνκ³ μ‘°ν©ν΄μ μνλ μ 보λ₯Ό μ»μ΄λ΄λ κ³Όμ μ μ λΆ κ±΄λλ°κ² λ§λ€μ΄ μ€λ€.
μ¦, μ¨λΌμΈ κ³³κ³³μ μ¬μ΄μ Έ μλ κ΄κ³ λ₯Ό μ ν λ³΄μ§ μκ³ ν λ²μ μνλ μ 보λ₯Ό μ»μ μ μλ μμ€ν μ΄λ€.
ꡬκΈμ΄ λνν LM μλΉμ€λ₯Ό 곡κ°νλ€λ 건 μμ μ μ£Ό λΉμ¦λμ€ λ‘μ§μ λ°νλ νμκΈ°μ μ λλ‘ λ¨Όμ κΈ°μ μ 보μ ν΄λ μλΉμ€ν νμ§ λͺ»νλ κ²μ΄μλ€. λ€λ§, μ΄μ λ λκ΅°κ° λνν κ²μμμ§μ μλΉν μ±λ₯μΌλ‘ λμ€μ μ μ 보μ΄κ³ μμ₯μ λ°μ΄λ μ΄μ μ’λ μ«λ μ΄ νμ ꡬκΈλ λ°μ΄λ€μ΄μΌλ§ νλ μν©μ΄ λ κ²μ΄λ€.# κ΅λ΄ κΈ°μ λ€μ?
λ μΈμ λ κ·Έλ λ―μ΄ μ»΄ν¨ν° 곡ν μ체κ°, μλ κ·Όλ³Έμ μΌλ‘ μ»΄ν¨ν° μ체κ°, λ―Έκ΅μ΄ μ’ μ£Όκ΅(?)μ΄κΈ°λ νκ³ , λ§μ΄ν¬λ‘μννΈ, μ ν, ꡬκΈ(?) λ±μ μ ν΅μ μΈ κ±°λμλ³Έ IT κΈ°μ λ€μ μ λΆ λ―Έκ΅μ μκΈ°λ νλ λΉμ°νκ² μ§λ§, νκ΅μ νμ μ΄λ€ κΈ°μ μ΄ μμ©νλλ©΄ νκ΅μ΄ ν¨μΉλ§ μμΌμ μμ₯μ λ΄λκ³€ ν΄μλ€.
μ΄λ²μλ κ·Έλ΄ κ²μΈκ°?λΌκ³ λ΄€μ λ, μλ§λ κ·Έλ κ² μ§λ§, κΌ κ·Έλ μ§λ§μ μμμ§λ λͺ¨λ₯΄κ² λ€.
μ무λλ μ‘΄μ¬νλ λͺ¨λ ν μ€νΈ λ°μ΄ν° μμ²΄κ° νκ΅μ΄λ μλ¬Έ λ°μ΄ν°λ§νΌ λ§μ§ μλ€. μΈμ΄ μ¬μ©μΈκ΅¬λ‘ 보λ, λ€μμ±μΌλ‘ 보λ.. μ μΈκ³ λ€μν κ΅κ°μ 15μ΅ λͺ μ΄ μ¬μ©νλ μΈμ΄λ³΄λ€ λ§μ μλ μλ€. 10μ΅ μΈκ΅¬μ μ€κ΅μ΄μ‘°μ°¨λ μ€κ΅μΈ μΈμ κ±°μ μ°μ§ μμΌλ.
κ·Έλλ chatGPTλ₯Ό νμ΅ν λ§νΌμ raw λ°μ΄ν°λ νκ΅μ΄λ λͺ¨μΌλ©΄ μΆ©λΆν μμ κ²μ΄λ€. (175B νλΌλ―Έν° LLM κΈ°μ€) κ·ΈλΌ PPO κ°ννμ΅μ μν λ°μ΄ν°λ μ΄μ λΆν°λΌλ ν¬μν΄μ ꡬμΆν΄μΌ ν λ°μ΄ν°κ³ μ΄κ±΄ μκ°μ΄ μ§λλ©΄ μ겨λ ν κ³ .
κ·ΈλΌ λκ° λ¬Έμ μΌκΉ?
μμ΅μ±
λ°μ΄ν°μ, "κ°λ₯μ±"λ§ λκ³ λ΄€μ λλ κ°λ₯μ νμ§λ§, κΈ°μ μ μ΄μ€μ μΆκ΅¬ν΄μΌ νλ€. μμ΅μ λ΄λ μ§λ¨μ΄λΌλ κ²μΈλ°, chatGPTλ₯Ό κ°λ°νκ³ , νμ΅νκ³ , μλΉμ€ μ΄μνλλ° λλ λ§λν λΉμ©μ λν΄μλ μ΄μ°ν 건κ°? λΉμ© ν¨μ¨μ λ°μ Έλ΄€μ λ κ΅λ΄μμλ μ΄λ° κ±Έ κ³Όκ°νκ² μλν μ μλ μλ³Έλ ₯μ κΈ°μ μ΄ μλ€. μΌμ±? λ€μ΄λ²?
μΉ΄μΉ΄μ€? (μ.. μλ€λ λΉΌμ, νκΈμ΄ 그리 λ§μ§ μμ κ³ νκ° κΈ°μ μ΄λ^^)νκΈ κ½€λ λ§λ€λ κΈ°μ λ€λ κ³ λ―Όμ€λ¬μΈ μλ°μ μλ κ², λ§λ€μ΄ λκ³ λ μμ΅ννμ§ λͺ»ν κΈ°μ μ΄λΌλ©΄ ν¬μκ° μ¬μ΄ κ²°μ μ΄ μλ ν λ λ§μ΄λ€.λ² ν μλΉμ€ μμ€λ§μΌλ‘ λ³Ό λλ μλΉν κ·Έλ΄λ―ν μ±λ₯μ, μλΉν ν₯λ―Έλ‘μ΄ κΈ°μ‘΄μλ μλ μλΉμ€κ° μ¬λλ€ λμλ μ κΈ°νκΈ°λ§ ν λΏμ΄μ§λ§, κ³Όμ° μ λ§ chatGPTλ‘ μμ£Ό μ€μν λ¬Έμ μμ±, μ 무 μνμ μ¨μ ν 맑길 μ μκ² λ νλ©΄, λ§μ€μ¬μ§ κ²μ΄λ€. λ¬Έμ₯μ λ΄μ©μ΄ κ·Έλ΄ λ―μ νμ§λ§, μμΈν μ½μ΄λ³΄λ©΄ νλ¦° λ§λ μκ³ λ Όλ¦¬μ μ€λ₯λ μκ³ , μ§λ¬Έκ³Ό μκ΄μλ μ΄μΌκΈΈ νκΈ°λ νλ€.
κ·Έλ λ€κ³ μ무μ§μ μΈλͺ¨μλ κ²μ μλλ€. μμ¨ μ£Όν μ°¨λμ 보면, λΆλͺ λ΄κ° νΈλ€κ³Ό νλ¬μμ μλ° λΌκ³ λ λΆμΌ μ μλ 건 μλμ§λ§, λ°μλμΌλ‘ λ³΄μ‘°λ§ ν΄μ€λ λμ νΌλ‘λκ° ν μ€μ΄λλ λ§μ΄λ€.
chatGPTλ μμ¨μ£Όν μ°¨λμ΄λ κ·Όλ³Έμ μΌλ‘ λ€λ₯Έ λΆλΆμ΄ μλ€. μλμ°¨λ, νΉν κ³ -κΈ μλμ°¨λ μ΄λ―Έ μ¬λλ€μ΄ μλΉν κ±°κΈμ λ€μ¬ ꡬ맀νλ κ²μ μμ°μ€λ½κ² λ°μλ€μ΄κΈ° λλ¬Έμ μ΄λ° μμ¨μ£Όν κΈ°μ μ κ° λΉμΌ μ νμ λ£μ΄μ νκΈ°λ§ νλ©΄ λ°λ‘ μμ΅νκ° λλ€. νμ§λ§, chatGPTλ₯Ό μ΄λ»κ² μννν΄μ νμμΌ μμ΅μ΄ λ κΉ? νμ¬μ²λΌ λ¨μν μ λ£ APIλ‘ μ¬μ μ νλ©΄, κ³μν΄μ μ μλ§ λ°μνλ€. MSλ μ΄κ±Έ κ·Έλμ μμ¬ κ²μ μμ§μΈ Bingμ λ£μ΄μ ꡬκΈμ κ²μ μμ₯μ μλΆνν΄λ³΄λ €κ³ νλ λ―νλ€. λ¬Όλ‘ .. ꡬκΈμ μμ΅μ κ²μμμ§μμ μ€λ κ²μ΄ μλλΌ κ²μμ μν΄ μ¬λλ€μ΄ μ΄ νμ΄μ§ μ νμ΄μ§ λλλ€λ©° 보λ κ΄κ³ λ€λ‘λΆν° μ€λ κ²μ΄μ§λ§.. Bingμ ν΅ν΄ μ΄λ»κ² μμ΅νν μ§λ μμ§ μ§μΌλ΄μΌ ν λΆλΆ κ°λ€.
μ΄ μμ΅μ±μ΄λΌλ μ€μν μ§λ¬Έμ μλ¬Έμ κ°μ§ μ±λ‘λ μλ§ λ€μ κ³Όκ±° 5λ μ μΌλ‘ λμκ°μ chatGPTμ λν΄ κ΅λ΄ κΈ°μ μ΄μλ€μκ² μλ €μ€λ λ°μ΄λ€μ§ μμμμ§λ?
λ°μν'ML engineer > NLP' μΉ΄ν κ³ λ¦¬μ λ€λ₯Έ κΈ
[02] Korean Language Model - λ°μ΄ν° μ μ²λ¦¬ (1) 2023.02.04 Transformer Encoder (0) 2022.12.31 [01] Korean Language Model - λ°μ΄ν° μμ§ (1) 2022.12.31