LLM은 압축이다 논문 상세 분석

https://www.youtube.com/watch?v=2D2uRvW9A3w&t=2783s&pp=0gcJCQMKAYcqIYzv

 

 

제공해주신 YouTube 영상(제목: LLMs == Compression)은 Google DeepMind에서 발표한 "Language Modeling is Compression"이라는 논문을 2시간 30분에 걸쳐 매우 상세하게 리뷰하고 설명하는 내용입니다.

스트리머(hu-po)는 이 논문이 대규모 언어 모델(LLM)을 이해하는 매우 흥미롭고 강력한 '관점'을 제공한다고 설명합니다.

다음은 영상의 내용을 주제별로 아주 상세하게 요약한 것입니다.

1. 영상의 핵심 주제: "예측은 압축이다"

이 영상과 논문의 가장 중심적인 주장은 **"예측(Prediction)은 압축(Compression)과 같다"**는 것입니다 [04:44].

• 설명: 어떤 데이터의 다음 값을 더 잘 예측할 수 있다는 것(예: LLM이 다음 단어를 예측하는 것)은 그 데이터를 더 효율적으로 압축할 수 있다는 것과 수학적으로 동일하다는 의미입니다 [04:51].
• 중요한 전제: 스트리머는 이것이 LLM의 '모든 것'을 설명하는 유일한 진리는 아닐지라도, LLM의 작동 원리(확장 법칙, 인-컨텍스트 학습 등)를 이해하는 매우 강력한 '렌즈(관점)'를 제공한다고 강조합니다 [03:51].

2. 이론적 배경: 예측과 압축이 동일한 이유

영상은 이 둘의 연결 고리를 설명하기 위해 정보 이론의 핵심 개념들을 상세히 다룹니다.

• 섀넌 엔트로피 (Shannon Entropy) [25:29]
  • 데이터의 '불확실성' 또는 '무작위성'을 측정하는 개념입니다.
  • 예시: 90% 확률로 앞면이 나오는 '조작된 동전'은 예측이 쉬우므로 엔트로피가 낮습니다. 반면, 50:50 확률의 '공정한 동전'은 예측이 어려우므로 엔트로피가 높습니다 [27:51].
  • 결론: 엔트로피가 낮다(예측이 쉽다) = 더 적은 비트(bit)로 정보를 표현할 수 있다 = 압축이 더 잘 된다 [29:39].
• 최대 우도 추정 (Maximum Likelihood Estimation, MLE) [47:20]
  • "이 데이터가 주어졌을 때, 이 데이터를 가장 잘 설명하는 모델(확률 분포)은 무엇인가?"를 찾는 통계적 방법입니다 [50:20].
  • LLM을 훈련하는 것은, 주어진 텍스트 데이터(코퍼스)가 나타날 확률을 최대화하는 모델의 파라미터(가중치)를 찾는 과정, 즉 MLE 과정입니다 [53:04].
• "Aha!" 순간: LLM의 손실 함수와 압축의 연결 [01:01:23]
  • LLM은 '음의 로그 우도(Negative Log Likelihood)' 또는 **'크로스 엔트로피(Cross-Entropy)'**라는 손실 함수를 최소화하도록 훈련됩니다 [57:17].
  • 논문은 '산술 부호화(Arithmetic Coding)'라는 압축 기법을 사용할 때, 데이터의 압축률(필요한 비트 수)을 최소화하는 것이 수학적으로 LLM의 손실 함수를 최소화하는 것과 정확히 일치함을 보여줍니다 [01:01:31].
  • 결론: LLM을 훈련(예측률 높이기)시키는 것은, 그 데이터를 가장 잘 압축하는 압축기를 훈련시키는 것과 같습니다.
• 콜모고로프 복잡도 (Kolmogorov Complexity) [01:04:32]
  • 어떤 데이터를 생성할 수 있는 "가장 짧은 컴퓨터 프로그램의 길이"로 정의됩니다 [01:04:59].
  • 예: "abababab"는 print "ab" * 4라는 짧은 프로그램으로 만들 수 있어 복잡도가 낮지만, 무작위 문자열은 그 문자열 자체를 출력하는 프로그램이 필요해 복잡도가 높습니다 [01:05:10].
  • 이는 '궁극의 압축' 개념이며, LLM이 하는 일이 이 복잡도를 근사하려는 시도일 수 있음을 시사합니다 (일론 머스크의 "AGI는 압축이다" 발언의 배경) [02:04].

3. 실험 결과: LLM은 만능 압축기인가?

논문은 LLM(Chinchilla)을 실제 압축기로서 테스트합니다.

• 놀라운 발견 1: LLM의 범용 압축 능력 [01:37:37]
  • 주로 '텍스트'로 훈련된 Chinchilla 모델이 '이미지(Imagenet)'와 '오디오(Librispeech)' 데이터에서 PNG(이미지 전문 압축)나 FLAC(오디오 전문 압축)보다 더 뛰어난 압축률을 보였습니다 [01:08:17, 01:38:58].
• 스트리머의 추측 (매우 중요) [01:39:30]
  • 스트리머는 이것이 LLM이 이미지/오디오의 "개념"을 이해해서가 아닐 수 있다고 추측합니다.
  • LLM의 훈련 데이터인 방대한 인터넷 텍스트에는 이미지나 오디오가 텍스트로 인코딩된(예: Base64) 데이터가 엄청나게 포함되어 있었을 것입니다 [01:39:42].
  • 즉, LLM은 자신도 모르게 텍스트의 일부로서 이미지/오디오 압축 해제(및 압축) 방법을 학습했을 가능성이 높다는 것입니다.
• 발견 2: 압축기를 생성 모델로 사용하기 [01:52:05]
  • 반대로 압축기를 사용해 데이터를 '생성'할 수 있습니다. (예: 다음에 올 바이트(byte) 중 '가장 압축이 잘 되는' 바이트를 선택) [01:52:22].
  • gzip (전통 압축기): 텍스트, 이미지, 오디오 모두 의미 없는 노이즈를 생성했습니다 [01:54:22, 02:01:34].
  • Chinchilla (LLM): 텍스트에서는 문법적으로 완벽한 문장을, 오디오에서는 반복적인 패턴(루프)을, 이미지에서는 원본의 패턴을 이어받는(예: 검은 픽셀 영역을 이어감) 훨씬 구조화된 결과를 생성했습니다 [01:54:36, 02:02:14]. 이는 LLM이 데이터의 **'기저 구조'**를 학습했음을 보여줍니다.

4. 압축 관점이 제공하는 새로운 통찰

이 "압축"이라는 렌즈는 LLM의 다른 특성들을 새롭게 해석하게 해줍니다.

• 통찰 1: '인-컨텍스트 학습(In-Context Learning)'의 재해석 [02:05:31]
  • LLM에 더 긴 문맥(context)을 줄수록 압축률이 더 좋아집니다 [02:06:36].
  • 이는 LLM이 실시간으로 입력되는 데이터의 통계적 특성(예: '이 글은 유독 'the' 대신 'a'를 많이 쓰네?')에 적응(adaptation)하여 자신의 압축(예측) 모델을 미세 조정하고 있다는 뜻입니다 [02:07:35].
  • 즉, 인-컨텍스트 학습은 LLM이 '즉석에서' 해당 문맥에 최적화된 압축기로 변신하는 과정입니다.
• 통찰 2: '모델 크기(Scaling Law)'의 함정 [01:46:49]
  • 압축률을 계산할 때, 압축된 데이터뿐만 아니라 **'압축기 자체의 크기(즉, LLM 모델 파라미터 크기)'**도 포함해야 합니다 [01:35:42].
  • Chinchilla 70B 모델(수백 GB)로 1GB 데이터를 압축하면, 압축된 파일(수십 MB)보다 모델 자체의 크기가 훨씬 커서 배보다 배꼽이 더 큽니다 [01:47:04].
  • 이 관점에서 보면 gzip (매우 작은 프로그램)이 훨씬 우월합니다 [01:47:33].
  • 결론: LLM이 압축기로서 의미 있으려면, (모델 크기를 무시할 수 있을 정도로) 압축할 데이터가 테라바이트(TB) 단위로 엄청나게 커야 합니다 [01:48:02]. 또한, 주어진 데이터 크기 대비 **'최적의 모델 크기'**가 존재하며, 무조건 모델을 키우는 것이 능사가 아님을 시사합니다 [01:49:13].
• 통찰 3: '토크나이저(Tokenizer)'는 실용적 타협(Hack)이다 [02:09:01]
  • LLM은 텍스트를 '토큰(token)' 단위(예: 단어/하위 단어)로 쪼갭니다. 이것 자체가 **일종의 '전처리 압축'**입니다 [02:09:08].
  • 딜레마:
    1. ASCII (문자 단위): 어휘 수가 256개로 적어 예측(압축) 작업이 더 쉽습니다 (이론상 더 좋음) [02:11:45]. 하지만 시퀀스 길이가 너무 길어져 Transformer의 연산량(O(n^2))이 폭발합니다 [02:13:27].
    2. BPE (단어/부단어): 어휘 수가 32,000+개로 많아 예측 작업이 더 어렵습니다 [02:11:40]. 하지만 시퀀스 길이가 짧아져 연산이 가능해집니다 [02:10:55].
  • 결론: 우리가 BPE 토크나이저를 쓰는 이유는 그것이 더 우월해서가 아니라, Transformer 아키텍처의 **연산량 병목 현상을 우회하기 위한 '실용적인 타협(hack)'**일 뿐이라는 것입니다 [02:14:19].

5. 최종 요약

이 영상은 **"LLM 훈련은 곧 데이터 압축률을 최적화하는 과정"**이라는 것을 수학적, 실험적으로 증명한 논문을 상세히 해설합니다. 이 '압축'이라는 관점은 LLM이 왜 범용적인 능력을 갖게 되었는지(데이터 유출 가능성 [01:39:42]), 인-컨텍스트 학습이 어떻게 작동하는지(실시간 적응 압축 [02:07:35]), 그리고 토크나이저와 확장 법칙이 왜 현재의 형태를 갖게 되었는지(모델 크기 및 연산량과의 트레이드오프 [01:49:13, 02:14:19])에 대한 깊은 통찰을 제공합니다.