얀 르쿤 교수, 현 LLM이 AGI로 가기까지 극복해야 하는 한계 (뉴욕대, Meta AI)

웃기고 하찮은 농담이 가능한 LLM 연구를 검색하고 싶었다. 구글에 '개드립 llm'을 검색한다.

...개드립 커뮤니티의 글을 접했고, 그렇게 얀 르쿤(Yann Lecun) 뉴욕대 교수님의 LLM 회의론과 분분한 의견의 나라로 떠나게 되었다.

사실 이미 1년 정도나 된 오래된 이슈이지만, 잘 모르고 있었어서 새롭게 느껴졌다.

 

깊이 있게 이해하고, 글을 쓰고 싶지만, 내 글이 피상적인 수준에 그치지 않으면 뇌가 과부하될 것 같다. 😭

1. 학부생이 오해하기 쉬운 LLM과 Transformer의 구분

Yann Lacun 교수에 대한 김인중 교수님의 페이스북 게시물, 개드립 커뮤니티

한동대학교 전산전자공학부 교수님

LLM과 Transformer는 다르다.
Transformer는 MHSA, FFN, LN, skip connection, PE등으로 구성된 building block, 또는 architecture이고 LLM은 AR방식에 의해 과거의 context로부터 다음 token을 예측하는 AI모델이다.

일반적으로 대규모 SSL에 의해 pretraining하고 SL이나 RL에 의해 fine-tuning한다. LLM이 Transformer decoder, 또는 encoder-decoder 조합에 의해 구현되기 때문에 둘을 혼동하는 사람들이 많다. LLM은 CNN이나 RNN으로 구현할 수도 있다. 단, 성능은 Transformer기반 LLM보다 못하다.

 

여기서 교수님이 지적한 부분을 나도 잘 이해하지 못했던 것 같다. 아니, 그보다 여기서 언급된 모든 구성들을 수학적으로나 프로그래밍 언어로 이해하지 못하고 있다는 점은 큰 문제다.

 

우선 G 선생님의 설명을 첨부하며 차차 각 개념의 수학적, 컴퓨터 공학적 이해를 다룬 포스팅을 작성해야겠다.

1. MHSA (Multi-Head Self-Attention):

이름이 좀 어려워 보이지만, 핵심 아이디어는 간단합니다.

• Self-Attention: 입력 데이터의 각 부분(예: 문장의 단어들)이 서로를 얼마나 "참조"해야 할지 계산하는 메커니즘입니다.
  예를 들어, "나는 사과를 먹었다"라는 문장에서 "사과"와 "먹었다"는 서로 긴밀히 연결되어야 합니다. Self-Attention은 이런 관계를 학습합니다.
• Multi-Head: 이 과정을 여러 번(즉, 여러 관점에서) 수행합니다. 이렇게 하면 모델이 데이터를 더 잘 이해할 수 있습니다.
  비유하자면, 사람들도 문제를 다양한 시각에서 바라보면 더 정확히 이해할 수 있는 것과 비슷합니다.

---

2. FFN (Feed-Forward Network):

• Self-Attention으로 정보를 "어디를 봐야 하는지" 이해했다면, 이제 FFN은 이를 바탕으로 더 많은 정보를 학습합니다.
• 이는 간단히 말해 "정보를 처리하고 변환하는 작은 신경망"입니다.
  Transformer의 각 층에서 FFN이 데이터를 더 유용한 형태로 바꿔줍니다.

---

3. LN (Layer Normalization):

• 모델의 각 층에서 데이터를 처리하면서 값들이 지나치게 크거나 작아지는 일이 발생할 수 있습니다.
  Layer Normalization은 이를 방지하고, 데이터 흐름이 안정적이게 만듭니다.
  비유하자면, 여러 단계의 공정을 거치는 생산라인에서, 각 단계마다 품질을 검사해 일정하게 유지하는 것과 비슷합니다.

---

4. Skip Connection (잔차 연결):

• Transformer는 여러 층을 쌓아 올려 데이터를 점점 더 복잡하게 처리합니다.
  하지만 이렇게 하면 정보가 흐르는 동안 원래의 중요한 정보가 사라질 위험이 있습니다.
• Skip Connection은 이를 방지하기 위해, 이전 층의 출력을 다음 층으로 직접 연결합니다.
  즉, 이전 정보가 사라지지 않게 "지름길"을 만들어주는 역할을 합니다.

---

5. PE (Positional Encoding):

• Self-Attention은 문장 내 단어들의 순서 정보를 자연스럽게 다루지 못하는 문제가 있습니다.
  이를 해결하기 위해, Positional Encoding이 단어의 위치 정보를 추가로 제공합니다.
  예를 들어, "나는 사과를 먹었다"와 "사과를 나는 먹었다"는 단어는 같아도 순서가 다릅니다. PE는 이런 차이를 모델이 인식할 수 있게 합니다.

---

6. SSL (Self-Supervised Learning)

• 데이터에 라벨(정답) 없이, 데이터를 스스로 학습하여 표현(Representation)을 학습하는 방식입니다.
• 데이터의 일부를 숨기고(마스킹), 그 숨긴 부분을 예측하게 하거나, 데이터 간의 관계를 학습하게 하는 방법이 자주 사용됩니다.
  예: 텍스트에서 일부 단어를 가리고, 모델이 그 단어를 예측하도록 훈련.
• SSL은 LLM의 Pretraining 단계에서 자주 사용됩니다.

---

7. SL (Supervised Learning)

• 라벨(정답)이 있는 데이터를 기반으로 학습하는 방식입니다.
• 데이터와 해당 데이터의 정답(출력)을 쌍으로 제공하여, 입력에 대한 출력의 관계를 학습합니다.
  예: 사진(입력)과 고양이/개 라벨(정답)이 있는 데이터로 학습.

LLM에서 사용되는 맥락:
Fine-Tuning 단계에서 자주 사용됩니다. 예를 들어, 대규모로 학습된 모델에 특정 작업(예: 요약, 분류)을 수행하도록 추가 학습을 시킬 때 사용.

---

8. RL (Reinforcement Learning)

• 모델이 환경과 상호작용하며 보상(Reward)을 기반으로 학습하는 방식입니다.
• 정답 대신 "행동"에 대한 보상이 주어지며, 이 보상을 최대화하도록 학습합니다.
  예: 체스에서 승리하면 높은 보상을 받고, 패배하면 낮은 보상을 받는 식.

LLM에서 사용되는 맥락:

• LLM의 Fine-Tuning에서 **RLHF (Reinforcement Learning with Human Feedback)**라는 방식으로 자주 사용됩니다.
  • 예: GPT 계열 모델에서 사용자 피드백(좋음/나쁨)을 기반으로 대화 품질을 개선.
  • 모델이 "좋은 답변"에 보상을 받고, 이를 통해 더욱 인간 친화적인 응답을 생성하도록 학습.

- LLM은 명시적인 다단계 추론 기능이나 World Model이 없다. (RAG는 매우 제한적인 형태의 World Model로 볼 수 있다.) 엄청난 파라미터수와 학습 데이터에 의해 깊은 사고가 요구되는 작업을 단순 작업처럼 처리할 뿐이다. 예를 들면, 복잡한 수학문제는 고도의 사고를 요구하지만, 선행학습에서 비슷한 유형의 문제를 접한 학생은 피상적인 사고력만으로 풀 수 있다. (선행학습은 사고력 훈련을 암기력 훈련으로 대체한다.) 이러한 LLM의 동작은 추론능력이 아니라 추론을 simulate하는 능력이다. (Weak AI는 다 그런 방식으로 만들어지므로 문제는 아니다.) 단, LLM은 규모에 의존하기 때문에 비효율적이다.

 

GPT-4o가 듣기로, 추론하도록 

2. 물리 세계(Physical world)도 임베딩하고 학습해야 한다.

Meta AI 수석이기도 한 Yann Lecun, Lex Fredman의 팟캐스트

(해외 수학/과학 유튜버 중에 진성 Geek이라 해야할지, 깊이 있는 영상을 다루는 채널이 많은 것 같다.)

2시간 47분이라니

 

현재 LLM은 그 단어처럼 언어를 학습하고 출력하는 구조이다. 하지만, 얀 르쿤은 온전한 지능을 만들기 위해 비언어적인 정보가 많이 필요하며 따라서 인공지능이 물리 세계(Physical world) 또한 이해해야 한다고 주장한다.

3. 우리나라에 필요한 이과 유튜버

교수님의 페이스북 글과 유튜브 출연을 보며 느낀 점 중 하나는 교수님들의 거들기(?)가 너무 좋다.

Lex Fredman의 팟캐스트처럼 우리나라도 일반 대중뿐만 아니라 과학에 관심있고 깊은 내용에도 흥미를 가진 청자들을 위한 영상이 많아지면 좋겠다.

인간이 죽었다 깨어나도 절대 길들일 수 없는 동물 ㅋㅋ, 보다 BODA

 

현재 국내에서는 유튜브 채널 보다가 내용이 밀도 있으면서도 흥미롭다. 그런데, 한 가지 중요하다고 생각하는 점은 영어로 컨텐츠가 번역되어야 한다는 것이다.

즉석에서 어려운 내용도 영어로 유창하게 말할 수 있는 연구자와 방송 진행자를 동시에 찾는 것은 매우 어려운 일일 것이다. 하지만 최근 유튜브에서 더빙을 넣는 영상이 많이 생긴 것처럼 보다같은 고퀄리티 영상도 더빙된다면 수출될 여지가 많을 것이다.