트랜스포머는 문장을 앞에서부터 하나씩 처리하기보다 여러 토큰 사이의 관계를 한 번에 비교하는 구조입니다. 그 중심에 있는 어텐션이 어떤 단어를 중요하게 볼지 계산하기 때문에 긴 문맥을 파악하고 자연스러운 결과를 만드는 데 유리합니다.
📌 핵심 5줄 요약
1. 트랜스포머는 토큰 사이의 관계를 어텐션으로 계산하는 신경망 구조입니다.
2. 셀프어텐션은 한 문장 안의 각 토큰이 다른 토큰을 얼마나 참고할지 결정합니다.
3. 쿼리·키·밸류를 이용해 관련성이 높은 정보에 더 큰 가중치를 부여합니다.
4. 여러 어텐션 헤드를 병렬로 사용하는 멀티헤드어텐션은 다양한 관계를 함께 학습합니다.
5. 어텐션만으로는 토큰 순서를 알기 어렵기 때문에 위치 정보를 추가합니다.
📌 목차
01 | 트랜스포머란 무엇인가
02 | 기존 순차 처리 방식의 한계
03 | 어텐션의 기본 아이디어
04 | 쿼리·키·밸류의 역할
05 | 셀프어텐션 계산 흐름
06 | 스케일드 닷프로덕트 어텐션
07 | 멀티헤드어텐션이 필요한 이유
08 | 위치 정보를 넣는 방법
09 | 인코더와 디코더 구조
10 | 피드포워드 네트워크와 잔차 연결
11 | 학습과 추론은 어떻게 다른가
12 | 트랜스포머가 잘하는 작업
13 | 한계와 주의할 점
14 | 공부할 때 확인할 체크포인트
01 | 트랜스포머란 무엇인가
트랜스포머는 자연어처리에서 널리 사용되는 딥러닝 구조입니다. 입력 문장을 토큰 단위로 나눈 뒤 각 토큰의 의미를 주변 토큰과의 관계 속에서 표현합니다.
핵심은 특정 단어를 해석할 때 문장 전체의 어떤 부분을 참고할지 계산한다는 점입니다. 이 구조 덕분에 번역, 문서 요약, 검색 질의 이해, 대화형 문장 생성 등 다양한 작업에 활용됩니다.
02 | 기존 순차 처리 방식의 한계
초기의 자연어처리 모델은 문장을 앞에서부터 순서대로 읽는 순환 구조를 많이 사용했습니다. 이 방식은 단어 순서를 반영하기 쉽지만, 문장이 길어질수록 앞부분의 정보가 뒤로 전달되는 과정에서 약해질 수 있습니다.
또한 순차 계산은 각 단계가 앞 단계에 의존하므로 긴 문장을 병렬로 처리하기 어렵습니다. 트랜스포머는 어텐션을 사용해 여러 토큰 관계를 동시에 계산함으로써 이 문제를 완화합니다.
03 | 어텐션의 기본 아이디어
어텐션은 모든 단어를 똑같이 참고하지 않고 현재 처리에 더 관련 있는 토큰에 높은 가중치를 주는 방법입니다.
예를 들어 “철수가 사과를 먹었다. 그는 배가 고팠다”라는 문장에서 ‘그’의 의미를 해석할 때 앞의 ‘철수’가 중요한 단서가 될 수 있습니다. 모델은 토큰 사이의 관련성을 계산해 필요한 정보에 집중합니다.
따라서 어텐션은 단순히 가까운 단어만 보는 방식이 아니라, 문장 안에서 의미적으로 관련된 단어를 찾아 연결하는 장치라고 이해하면 됩니다.
04 | 쿼리·키·밸류의 역할
어텐션은 보통 쿼리, 키, 밸류라는 세 가지 표현으로 설명합니다. 쿼리는 “지금 어떤 정보를 찾고 있는가”를 나타내고, 키는 각 토큰이 어떤 정보를 제공할 수 있는지 나타냅니다. 밸류는 실제로 가져와 반영할 내용입니다.
| 요소 | 역할 |
|---|---|
| 쿼리 | 현재 토큰이 찾고 있는 정보 |
| 키 | 각 토큰의 특징과 비교 기준 |
| 밸류 | 가중치를 적용해 합칠 실제 정보 |
쿼리와 키의 유사도를 계산해 가중치를 만들고, 그 가중치로 밸류를 조합하면 현재 토큰에 맞는 새로운 표현을 얻을 수 있습니다.
05 | 셀프어텐션 계산 흐름
셀프어텐션에서는 같은 입력 시퀀스에서 쿼리·키·밸류를 각각 만듭니다. 각 쿼리와 모든 키의 유사도를 비교한 뒤 정규화하고, 그 결과를 밸류에 적용합니다.
개념적으로는 다음 순서입니다.
- 입력 토큰을 벡터 표현으로 변환합니다.
- 각 토큰에서 쿼리·키·밸류 벡터를 만듭니다.
- 쿼리와 키를 비교해 관련성 점수를 계산합니다.
- 점수를 확률처럼 정규화합니다.
- 밸류를 가중합해 새로운 토큰 표현을 생성합니다.
이 과정을 거치면 각 토큰은 자기 정보뿐 아니라 문장 안에서 자신과 관련된 다른 토큰의 정보까지 반영하게 됩니다.
06 | 스케일드 닷프로덕트 어텐션
트랜스포머는 쿼리와 키의 내적을 이용해 유사도를 계산합니다. 벡터 차원이 커지면 내적값도 커질 수 있으므로 키 벡터 차원의 제곱근으로 나누어 값의 크기를 조정합니다. 이를 스케일드 닷프로덕트 어텐션이라고 합니다.
그다음 소프트맥스를 적용해 각 토큰에 대한 가중치를 만들고, 이 가중치로 밸류를 합칩니다. 값의 크기를 조정하는 이유는 학습 과정에서 확률 분포가 지나치게 뾰족해지거나 기울기가 불안정해지는 것을 줄이기 위해서입니다.
07 | 멀티헤드어텐션이 필요한 이유
어텐션을 한 번만 계산하면 특정 관계에 집중하는 데 한계가 있을 수 있습니다. 멀티헤드어텐션은 여러 개의 어텐션 계산을 병렬로 수행하고, 각 결과를 합쳐 더 풍부한 표현을 만듭니다.
한 헤드는 주어와 동사의 관계를, 다른 헤드는 대명사와 지시 대상의 관계를, 또 다른 헤드는 문맥상 가까운 표현을 학습할 수 있습니다. 실제로 각 헤드가 항상 사람이 해석할 수 있는 역할만 갖는 것은 아니지만, 여러 관점의 관계를 동시에 학습한다는 점이 핵심입니다.
08 | 위치 정보를 넣는 방법
셀프어텐션은 입력 토큰 사이의 관계를 계산하지만, 그 자체만으로는 토큰의 순서를 직접 알기 어렵습니다. “개가 사람을 물었다”와 “사람이 개를 물었다”는 단어가 비슷해도 순서에 따라 의미가 달라집니다.
그래서 트랜스포머는 토큰 임베딩에 위치 정보를 더합니다. 위치 정보는 고정된 방식으로 만들 수도 있고, 학습 가능한 벡터로 둘 수도 있습니다. 최근 구조에서는 입력 길이와 처리 방식에 맞춘 여러 위치 표현이 사용되지만, 목적은 동일하게 토큰의 순서를 알려주는 것입니다.
09 | 인코더와 디코더 구조
원래 트랜스포머는 인코더와 디코더가 연결된 구조로 제안되었습니다. 인코더는 입력 문장을 읽고 문맥이 반영된 표현을 만들며, 디코더는 그 표현을 참고해 출력 토큰을 순서대로 생성합니다.
| 구조 | 주요 역할 | 대표 활용 |
|---|---|---|
| 인코더 | 입력 전체의 문맥 표현 생성 | 문장 분류, 의미 이해 |
| 디코더 | 이전 토큰을 참고해 다음 토큰 생성 | 텍스트 생성 |
| 인코더-디코더 | 입력을 이해하고 다른 형식의 출력 생성 | 번역, 요약 |
인코더 중심 모델, 디코더 중심 모델, 두 구조를 함께 사용하는 모델은 목적에 따라 선택됩니다.
10 | 피드포워드 네트워크와 잔차 연결
트랜스포머 블록은 어텐션만으로 구성되지 않습니다. 어텐션 결과를 각 토큰 위치에 독립적으로 적용하는 피드포워드 네트워크가 함께 사용됩니다.
또한 입력을 변환 결과에 다시 더하는 잔차 연결과 레이어 정규화가 사용됩니다. 잔차 연결은 깊은 네트워크에서 정보와 기울기가 안정적으로 전달되도록 돕고, 정규화는 학습을 안정화하는 역할을 합니다.
따라서 전체 흐름은 대체로 위치 정보가 더해진 입력이 어텐션을 거치고, 피드포워드 변환과 정규화를 반복하는 형태라고 볼 수 있습니다.
11 | 학습과 추론은 어떻게 다른가
학습 단계에서는 정답 토큰과 모델의 예측을 비교해 가중치를 조정합니다. 문장 생성 모델은 다음 토큰을 예측하는 과정을 반복하며 언어의 통계적 패턴과 토큰 관계를 학습합니다.
추론 단계에서는 정답 문장이 주어지지 않으므로 모델이 생성한 토큰을 다시 입력의 일부로 사용합니다. 이 때문에 생성 결과는 선택 방식, 입력 문맥, 모델 설정에 따라 달라질 수 있습니다.
긴 입력을 처리할 때는 모든 토큰 쌍의 관계를 계산하는 비용이 커질 수 있습니다. 따라서 입력 길이와 처리 자원은 트랜스포머를 사용할 때 고려해야 할 중요한 조건입니다.
12 | 트랜스포머가 잘하는 작업
트랜스포머는 토큰 사이의 관계를 유연하게 계산하기 때문에 문맥 의존성이 큰 작업에 적합합니다.
- 번역: 입력 언어의 특정 표현과 출력 언어의 대응 관계를 학습합니다.
- 요약: 문서에서 핵심 정보를 찾아 짧은 출력으로 재구성합니다.
- 질의응답: 질문과 문서의 관련 부분을 비교해 답변을 생성하거나 선택합니다.
- 문장 생성: 앞에서 생성한 토큰과 입력 문맥을 참고해 다음 토큰을 예측합니다.
- 분류: 문장 전체의 표현을 이용해 감정, 주제, 의도 등을 구분합니다.
다만 모델이 문맥을 잘 계산한다고 해서 항상 사실을 보장하는 것은 아닙니다. 이해와 생성 능력은 검증된 지식이나 논리적 정확성과 동일하지 않습니다.
13 | 한계와 주의할 점
어텐션은 중요한 관계를 계산하지만, 모델이 문장의 의미를 사람처럼 의식적으로 이해한다는 뜻은 아닙니다. 학습 데이터의 오류나 편향이 결과에 반영될 수 있고, 그럴듯하지만 틀린 내용을 생성할 수도 있습니다.
또한 긴 문맥에서는 입력이 길어질수록 계산량과 메모리 사용량이 커질 수 있습니다. 모델마다 처리 가능한 입력 범위와 성능이 다르므로 실제 사용에서는 해당 모델의 조건을 확인해야 합니다.
어텐션 시각화 결과를 곧바로 모델의 의사결정 과정 전체로 해석하는 것도 주의해야 합니다. 특정 어텐션 가중치만 보고 모델이 어떤 이유로 답했는지 단정하기는 어렵습니다.
14 | 공부할 때 확인할 체크포인트
트랜스포머를 공부할 때는 수식을 한 번에 외우기보다 입력이 어떻게 변환되는지 순서대로 확인하면 이해가 쉽습니다.
- 문장을 토큰으로 나누고 임베딩하는 과정을 구분했는가
- 위치 정보가 필요한 이유를 설명할 수 있는가
- 쿼리·키·밸류의 역할을 각각 구분할 수 있는가
- 어텐션 점수가 밸류의 가중합으로 연결되는 과정을 이해했는가
- 셀프어텐션과 크로스어텐션의 차이를 알고 있는가
- 멀티헤드어텐션이 여러 관계를 다루는 이유를 설명할 수 있는가
- 어텐션의 성능과 사실성은 별개의 문제임을 알고 있는가
📖 자주하는 질문 Q&A
어텐션과 셀프어텐션은 같은 개념인가요?
셀프어텐션은 어텐션의 한 종류입니다. 어텐션은 서로 다른 입력과 출력 사이의 관계도 다룰 수 있지만, 셀프어텐션은 하나의 시퀀스 안에서 토큰끼리 관계를 계산합니다.
트랜스포머는 왜 긴 문장에 강한가요?
각 토큰이 문장 안의 다른 토큰을 직접 참고할 수 있기 때문입니다. 다만 문장이 길어질수록 계산 비용과 메모리 부담이 커질 수 있어 무조건 모든 긴 문장을 효율적으로 처리한다는 뜻은 아닙니다.
GPT와 트랜스포머는 같은 것인가요?
트랜스포머는 모델 구조의 이름이고, GPT는 트랜스포머의 디코더 계열 구조를 기반으로 발전한 언어 모델 계열을 가리킵니다. 따라서 둘은 관련이 깊지만 완전히 같은 표현은 아닙니다.
어텐션이 중요한 이유를 한 문장으로 설명하면 무엇인가요?
어텐션은 현재 토큰을 해석하거나 생성할 때 문장 안의 어떤 정보가 중요한지 동적으로 계산하기 때문에 중요합니다.
📝 마무리
트랜스포머의 핵심은 토큰을 독립적으로 처리하지 않고 서로의 관계를 어텐션으로 계산하는 데 있습니다. 쿼리·키·밸류, 멀티헤드어텐션, 위치 정보, 인코더·디코더 구조를 함께 이해하면 생성형 AI와 대규모언어모델의 기본 작동 원리를 파악하기 쉬워집니다.