[NIPS 17'] Attention is All You Need 아무것도 모르는 상태에서 이해하기 - 1

이 포스트는 Attention Mechanism뿐만 아니라 그 전의 기본적인 요소에 대해서도 헷갈리는 분들을 위해 작성되었습니다.

"Attention is All You Need"는 Transformer 아키텍처를 처음 제시한 논문인데요. 본 아키텍처 내의 기본적인 요소부터 다소 과하게 정리할 것이기 때문에 대략 3개의 포스팅 연재를 통해 이를 설명하고자 합니다.

Attention Is All You Need

 

본 포스팅을 통해

1. self-attention machanism

2. feed-forward neural network (FFNN)

을 명확하게 이해하고, 더불어 이를 이해하는 과정에서 등장하는 여러 용어에 대해 정리할 것입니다.

 

1-1. Transformer Architecture 살펴보기

---

 

transformer의 가장 기본적인 구조입니다.

여기서 Positional Encoding, Feed Forward, Add & Norm, Linear, Softmax는 대체로 일반적으로 사용되는 인공지능 모델의 구성 요소입니다. transformer 아키텍처에서 핵심이 되는 부분은 Multi-Head Attention입니다. 기존 자연어 처리에서 RNN이나 CNN을 사용하여 개별 단어들인, output token의 다음을 예측하던 것과 달리 Attention을 적용한 것입니다.

 

1. Positional Encoding

 

PE는 인코더가 Input을 벡터로 변환한 것의 시퀀스를 전달하는 방법입니다. 

위의 식이 각 벡터 토큰을 입력으로하는 PE 식인데, pos는 토큰의 위치, i는 임베딩 차원의 인덱스, d_model은 임베딩 차원의 크기를 의미합니다.

예시를 통해 설명해보자면,

임베딩 벡터의 차원 크기 d_model을 4로 가정하고, "Hello World"라는 문장에서 "Hello"라는 단어의 위치 pos를 0으로 가정합니다. (첫 번째 단어이므로)

1. pos = 0
2. d_model = 4

이제 각 차원 i에 대한 Encoding 값을 계산합니다. (len(pos)=2 이고, d_model=4이므로, len(i)=2입니다.)

따라서, "Hello"라는 단어의 Positional Encoding 값은 [0, 1, 0, 1]이 됩니다.
이러한 방식으로 모든 pos에 대해 PE를 계산하여 시퀀스 정보를 전송합니다.

기존의 text를 다루는 인공지능 모델은 위치 정보를 임베딩 과정에 명시적으로 포함하지 않고, 대신 RNN을 사용하여 입력과 출력을 시퀀스를 단위로 처리합니다.

 

2. Linear

Linear란, 선형 변환(linear transformation)을 포함한 Fully Connected Layer 층을 가리킵니다.

완전 연결 계층은, 모든 입력 노드와 출력 노드에 대해 선형 변환 식을 찾아내는 역할을 수행합니다.

 

일반적으로, y=Wx+b로 표현되어 최종적으로 분류해야 하는 클래스나, 출력 벡터를 정하기 위한 기준 점수를 제공합니다.

(x와 y는 입력 및 출력 벡터, W는 가중치 행렬, b는 편향 벡터를 의미합니다.)

 

3. Softmax

Softmax는 다중 클래스 분류 문제에서 각 클래스별 확률을 나타내기 위해 사용하는 확률 모델입니다.

이 모델은 앞단의 FCN의 선형 출력을 [0, 1]로 압축하고 이 값들의 합을 1로 만듭니다.

4. Add & Norm

이 두가지 부분은 앞서 설명한 부분보다 조금 더 복잡하지만, 그만큼 더 중요한 부분입니다.

Add는 Residual Connection, 또는 Skip Connection을 의미합니다. Residual Connection과 Skip Connection은 일반적으로는 혼용되어 사용될 만큼 거의 같은 의미로 사용되지만, 각 단어의 유래와 적용 범위에 있어 차이를 보입니다.

 

이들의 기본 아이디어는, 신경망이 깊어질수록 학습이 어려웠는데 이 원인으로 그래디언트 소실(vanishing gradient)과 그래디언트 폭발(exploding gradient)이 지적되었습니다. 여기서 그래디언트 소실이란 역전파 과정에서 그래디언트 값이 점점 작아여, 초기 계층들의 가중치가 거의 업데이트되지 않는 현상을 의미합니다. 그리고 그래디언트 폭발은 반대로 그래디언트 값이 점점 커지는 방향으로 증가할 경우, 가중치 업데이트가 너무 크게 발생하여 모델 학습이 불안정해지는 현상을 말합니다.

 

이 문제를 해결하기 위해, 모델의 각 사이클에서 입력에 잔차를 더하는 방식을 사용하는 것이 Add 과정입니다.

사이클의 최종 출력은 x+F(x), F(x)=y-x로 하여 업데이트가 필요한 경우에만 F(x)가 유의미한 크기를 가지며, 그렇지 않으면 거의 0에 수렴하며 F(x)는 비활성화됩니다.

 

다음으로 Norm 단계인데, 이 부분은 각 차원 output의 평균과 표준 변차를 사용하여 정규화합니다. 

수식을 살펴보면, 각 데이터에 평균을 빼고, 이를 표준 편차의 제곱과 엡실론(분모가 0이 되지 않기 위해 추가) 합의 루트로 나누는데, 이를 통해 output의 출력 분포를 일정한 범위 내에서 유지합니닫.

데이터의 분포 양상이 일정하게 유지되면, 안정적으로 더 빠르게 학습을 할 수 있습니다.

 

다음 포스팅은 동빈나님의 영상을 정리하고 리뷰하는 형식으로 이어서 Transformer에 대해 정리하겠습니다.

참고자료

https://codingsmu.tistory.com/84#%EB%AA%A-%EC%B-%A-

https://www.youtube.com/watch?v=AA621UofTUA&ab_channel=%EB%8F%99%EB%B9%88%EB%82%98