[ 트렌드] [World Model 시리즈 #13] Free Energy Principle — 뇌과학의 통일 이론
Free Energy Principle — 뇌과학의 통일 이론
논문: "The free-energy principle: a unified brain theory?" (Karl Friston, 2010, Nature Reviews Neuroscience)
Predictive Coding이 "시각 피질"의 이론이었다면, Free Energy Principle은 뇌 전체의 통일 이론입니다.
한 줄 요약
생물이 하는 모든 것 — 보고, 듣고, 움직이고, 배우고, 느끼는 것 — 은 단 하나의 목표다: "놀라움을 최소화하라"
1. Predictive Coding에서 Free Energy로
시리즈 #10~11에서 배운 Predictive Coding을 기억하세요:
뇌가 예측 → 실제와 비교 → 오류 발생 → 오류 최소화 (학습)이건 시각 피질에서 일어나는 일이었습니다. Karl Friston의 질문은:
"이 원리가 시각에만 적용되는 거야? 아니면... 뇌 전체에? 아니, 생명 자체에?"
답은 "생명 자체에" 였습니다.
2. "놀라움(Surprise)"이란?
일상적 의미의 놀라움이 아닙니다. Friston이 말하는 놀라움은 수학적 개념입니다:
놀라움 = -log P(감각 입력)쉽게 말하면: 내가 예측하지 못한 것이 일어날 확률이 낮을수록, 놀라움이 크다.
운전 비유:
출근길에 편의점이 있음 → 예측 가능 → 놀라움 낮음 ✅
출근길에 코끼리가 있음 → 예측 불가 → 놀라움 높음 ⚡Friston의 핵심 통찰: 생물은 놀라움이 높은 상태를 피하는 존재다.
왜? 물고기가 뭍에 올라오면 놀라움이 극대화되고... 죽습니다. 인간이 진공 상태에 놓이면 놀라움이 극대화되고... 역시 죽습니다. 생존 = 자기가 예측 가능한 상태에 머무르는 것입니다.
3. 놀라움을 줄이는 두 가지 방법
여기가 Predictive Coding과의 결정적 차이입니다. Predictive Coding은 지각(인식)만 설명했지만, Free Energy Principle은 행동까지 설명합니다.
방법 1: 지각 (Perception) — 내 모델을 바꾼다
상황: 방에 들어왔는데 예상보다 춥다
놀라움: "왜 추워?!" (예측 오류)
해결: "아, 창문이 열려있구나" (내부 모델 업데이트)
결과: 놀라움 감소 ✅이건 Predictive Coding과 같습니다. 예측을 수정해서 오류를 줄이는 것.
방법 2: 행동 (Action) — 세상을 바꾼다
상황: 방에 들어왔는데 예상보다 춥다
놀라움: "왜 추워?!" (예측 오류)
해결: 창문을 닫는다 (세상을 바꿈)
결과: 실제 온도가 예측에 맞게 변함 → 놀라움 감소 ✅이것이 혁명적입니다! 행동의 목적이 "보상을 최대화"하는 게 아니라 "예측 오류를 최소화"하는 거라는 겁니다.
비유:
기존 AI (강화학습): "맛있는 음식을 찾아라!" (보상 추구)
Free Energy: "배고프다는 예측 오류를 없애라!" (놀라움 회피)
→ 결과적으로 음식을 찾게 됨같은 행동이지만 동기가 다릅니다. 그리고 Friston은 Free Energy 방식이 더 근본적이라고 주장합니다.
4. "자유 에너지"란 정확히 뭔가?
"놀라움"을 직접 계산하는 건 불가능합니다 (세상의 모든 가능성을 알아야 하니까). 그래서 Friston은 자유 에너지(Free Energy) 라는 대리 지표를 씁니다.
자유 에너지 ≥ 놀라움 (항상 같거나 크다)자유 에너지를 줄이면, 놀라움도 자동으로 줄어듭니다.
자유 에너지는 두 부분으로 나뉩니다:
자유 에너지 = 예측 오류 + 모델 복잡도
예측 오류: 내 예측이 실제와 얼마나 다른가?
모델 복잡도: 내 내부 모델이 얼마나 복잡한가?즉, 뇌는 정확하면서도 단순한 모델을 선호합니다. 이건 과학의 원리와 같아요 — 오컴의 면도날! 같은 현상을 설명할 수 있다면, 더 단순한 이론이 좋은 이론입니다.
운전 비유:
나쁜 모델: "이 길은 화요일 오후 2시 13분에 빨간 차가 3번째 차선에 있을 확률이..."
→ 정확할 수 있지만 너무 복잡 (에너지 낭비)
좋은 모델: "이 시간대엔 차가 좀 막혀"
→ 대략적이지만 충분히 정확하고 단순 (에너지 절약)5. 뇌의 모든 기능을 하나로 설명
Free Energy Principle의 야심: 뇌가 하는 모든 것을 하나의 원리로 설명.
지각 (Perception)
감각 입력과 예측의 차이 = 예측 오류
→ 내부 모델 업데이트 → 자유 에너지 감소
→ "아, 이게 사과구나" (인식 완성)행동 (Action)
"배고프다" = 예상 상태(배부름)와 현재의 차이 = 큰 자유 에너지
→ 음식을 찾는 행동 → 세상을 바꿈 → 자유 에너지 감소학습 (Learning)
같은 예측 오류가 반복됨
→ 시냅스 강도 조정 (모델 파라미터 업데이트)
→ 다음번 예측이 더 정확해짐 → 자유 에너지 감소주의 (Attention)
예측 오류가 큰 곳 = "중요한 곳"
→ 그곳에 처리 자원 집중 (주의)
→ 해당 영역의 자유 에너지 우선 감소감정 (Emotion)
자유 에너지가 급격히 높아짐 → 불안, 공포
자유 에너지가 낮게 유지됨 → 안정, 편안
자유 에너지가 예상보다 급격히 낮아짐 → 기쁨, 놀라움(긍정적)전부 하나의 원리로 설명됩니다!
6. Active Inference — 능동적 추론
Free Energy Principle의 행동 이론을 Active Inference(능동적 추론) 라고 합니다.
기존 강화학습과의 차이:
[강화학습]
1. 환경 관찰
2. 행동 선택
3. 보상 받음
4. 보상 최대화하도록 학습
문제: "보상"을 누가 설계하나? → 보상 함수 설계가 어려움
[Active Inference]
1. 세상에 대한 예측 (generative model)
2. 감각 입력과 비교
3. 예측 오류 발생
4. 지각으로 줄이기 (모델 수정) + 행동으로 줄이기 (세상 변경)
장점: 별도의 "보상"이 필요 없음!
"내가 있어야 할 상태"에 대한 예측만 있으면 됨예시 — 자율주행차:
강화학습 방식:
"목적지에 도착하면 +100점, 사고나면 -1000점,
신호 위반하면 -50점, 연료 절약하면 +10점..."
→ 보상 함수 설계가 엄청 복잡
Active Inference 방식:
"나는 도로 위에 있고, 차선 안에 있고,
적절한 속도로 달리고 있을 거야" (선호 상태)
→ 현재와 선호 상태의 차이를 줄이는 행동을 자동 생성7. AI와의 연결 — 왜 이게 World Model에 중요한가?
Free Energy Principle
│
├── Predictive Coding (시각) ← 시리즈 #10-11
│
├── Active Inference (행동)
│ └── World Models의 Controller가 하는 일!
│ M이 예측하고, C가 오류를 줄이는 행동 선택
│
├── Dreamer의 학습 원리
│ Actor가 "상상 속에서" 자유 에너지 최소화
│
└── JEPA의 에너지 기반 학습
에너지 = ||예측 표현 - 실제 표현||²
→ 이 에너지를 최소화 = 자유 에너지 최소화World Model의 궁극적 목표는 Free Energy Principle의 구현이라고 할 수 있습니다:
- 세상의 모델을 갖고 (V + M)
- 예측 오류를 최소화하며 (학습)
- 행동으로 세상을 바꾼다 (C / Actor)
8. 일상에서 느끼는 Free Energy Principle
왜 사람들은 루틴을 좋아할까? → 루틴 = 예측 가능 = 낮은 자유 에너지 = 편안함
왜 불확실한 상황이 스트레스일까? → 불확실 = 예측 불가 = 높은 자유 에너지 = 불안
왜 호기심이 생길까? → "이게 뭐지?" = 모델에 빈 곳이 있음 = 탐색하면 자유 에너지 장기적 감소
왜 전문가는 "직관"이 있을까? → 수만 시간의 학습으로 예측 모델이 극도로 정확 → 자유 에너지가 거의 0 → 의식적 노력 없이 판단 (시리즈 #12의 이세돌!)
정리: Free Energy Principle의 3대 요소
1. Generative Model (생성 모델)
→ 뇌가 가진 "세상은 이럴 거야"라는 내부 모델
→ World Model의 V + M
2. Prediction Error Minimization (예측 오류 최소화)
→ 지각: 모델 수정 (Predictive Coding)
→ 행동: 세상 변경 (Active Inference)
3. Free Energy as Upper Bound (자유 에너지 = 상한선)
→ 직접 계산 불가능한 놀라움의 대리 지표
→ 정확성 + 단순성의 균형 (오컴의 면도날)지금까지의 여정
World Models (2018) "AI에게 세상 모델을 줘보자"
↓
Dreamer (2020-2023) "상상 속에서 학습하게 하자"
↓
JEPA (2022) "표현 공간에서 예측하자"
↓
Predictive Coding (1999) "뇌는 원래 이렇게 한다"
↓
Free Energy (2010) "뇌의 모든 것이 이 원리다" ← 여기!아래에서 위로 올라가면 AI 기술의 발전, 위에서 아래로 내려가면 이론적 기반의 심화입니다.
다음 글에서는 이 이론적 기반 위에 만들어진 실제 구현, V-JEPA (Meta AI) 를 다룹니다. LeCun의 JEPA 이론이 실제 비디오 이해 시스템으로 어떻게 구현되었는지 살펴봅니다.