[ 트렌드] [World Model 시리즈 #16] AI의 기억 한계 — 왜 무한한 시뮬레이션은 불가능한가?

Google Genie의 시뮬레이션은 무한할 수 있을까?

Google Genie 3는 텍스트나 이미지 하나로 인터랙티브한 3D 세계를 만들어냅니다. 하지만 이 세계가 영원히 유지될 수 있을까요?

현재 Genie 3 기준, 시각적 일관성은 약 1분 정도입니다. 그 이후에는 점점 세계가 "흔들리기" 시작합니다.

컴퓨팅이 무한해도 시뮬레이션은 무한하지 않다

1. 오토리그레시브 오류 누적

Genie는 이전 프레임을 보고 다음 프레임을 생성합니다. 매 단계마다 미세한 오차가 생기고, 이것이 눈덩이처럼 쌓입니다.

1단계:   원래 세계 → 99.9% 정확한 다음 프레임
10단계:  0.999^10  = 99.0% → 아직 괜찮음
100단계: 0.999^100 = 90.5% → 슬슬 이상해짐
1000단계: 0.999^1000 = 36.8% → 원래 세계와 딴판

운전 비유: 핸들을 0.1도씩 계속 한쪽으로 틀면, 처음엔 모르지만 결국 도로를 벗어납니다. Genie의 세계도 마찬가지입니다.

2. 컨텍스트 윈도우 한계

Genie가 "기억"할 수 있는 과거 프레임 수는 정해져 있습니다. 아무리 GPU가 많아도, 1시간 전에 만든 건물을 기억하지 못하면 그 건물이 갑자기 사라지거나 모양이 바뀝니다.

이건 우리가 꿈을 꿀 때와 비슷합니다. 꿈속에서 뒤를 돌아보면 아까 있던 문이 사라져 있거나, 방 구조가 바뀌어 있죠. 과거를 완전히 기억하지 못하기 때문입니다.

3. 표현의 압축 손실

세계를 토큰(숫자)으로 압축하는 순간 정보가 손실됩니다. 이걸 무한히 반복하면 손실도 무한히 누적됩니다.

JPEG 이미지를 저장하고 다시 열고 다시 저장하는 것을 1000번 반복하면 원본과 완전히 달라지는 것과 같은 원리입니다.

AI 자체도 같은 한계를 겪고 있다

사실 이건 Genie만의 문제가 아닙니다. 현재 모든 시퀀스 기반 AI가 겪는 근본적 한계입니다.

대화형 AI와 오래 대화하면 앞부분 내용을 점점 잊어버리는 것, Genie의 세계가 시간이 지나면 흔들리는 것 — 구조적으로 같은 문제입니다.

뇌는 이걸 어떻게 해결하나?

인간의 뇌에는 해마(Hippocampus)라는 기관이 있습니다.

해마의 역할:

• 중요한 경험만 골라서 장기 기억(대뇌피질)으로 이동
• 수면 중 리플레이: 잘 때 낮의 경험을 빠르게 재생하면서 정리
• 연관 기억 형성: 비슷한 경험끼리 묶어서 효율적으로 저장

[뇌의 기억 시스템]

감각 입력 → 단기 기억(해마) → 수면 중 정리 → 장기 기억(대뇌피질)
              ↓                    ↓
         중요한 것만 선별      반복 재생으로 강화
         나머지는 잊음        연관 기억끼리 연결

현재 AI에는 이런 "수면 중 기억 정리 시스템"이 없습니다. 모든 것을 동일한 가중치로 기억하려 하거나, 컨텍스트 윈도우가 넘치면 그냥 잘라버립니다.

이것이 World Model 연구의 핵심 과제

결론: 무한한 컴퓨팅 자원이 있어도 무한한 시뮬레이션은 불가능합니다. 진짜 필요한 건 하드웨어가 아니라 "뭘 기억하고 뭘 잊을지 판단하는 능력" — 즉, 뇌의 해마가 하는 일입니다.

이것이 바로 World Model 학습 마지막 주제인 Hippocampus & Episodic Future Thinking이 중요한 이유입니다. 뇌가 수십 년의 경험을 어떻게 관리하는지 이해하면, AI의 기억 한계를 돌파할 실마리를 찾을 수 있을 것입니다.

다음 시리즈에서는 RT-2(Robotic Transformer 2)를 다룹니다 — AI가 세계를 이해하는 것을 넘어, 실제로 행동하는 단계로.