World Model 탐색 — 작업목록

목표: World Model 이해 + 실습 + 응용 탐색 기간: 장기 (6개월~1년) 성격: 순수 탐구 (비즈니스 X) 최초 작성: 2026-03-01

1단계: 문헌 조사 (2주)

1-1. 핵심 논문 읽기

• [ ] "World Models" (Ha & Schmidhuber, 2018)
• [ ] "A Path Towards Autonomous Machine Intelligence" (LeCun, 2022)
• [ ] "Predictive Coding" (Rao & Ballard, 1999)
• [ ] "The Free Energy Principle" (Friston, 2010)
• [ ] V-JEPA 관련 Meta AI 논문
• [ ] Google Genie 논문 (2024)
• [ ] RT-2 (Robotic Transformer 2) 논문
• [ ] Dreamer v1/v2/v3 논문 시리즈
• [ ] Sora 기술 보고서 (OpenAI)
• [ ] Hippocampus & Episodic Future Thinking 관련 논문 1편 선정

1-2. 개념 정리 문서 작성

• [ ] Embodied AI — RT-2, Tesla Optimus, 신체화된 인지 정리
• [ ] World Model 접근법 — Model-Based RL / Video Prediction / JEPA 비교표
• [ ] 뇌의 World Model — Predictive Coding, Free Energy Principle, 해마 역할 정리
• [ ] 세계 인식 메커니즘 — 다중감각 통합, 대상 영속성, 물리 직관 정리

1-3. 로드맵 시각화

• [ ] 4개 축(Embodied AI / World Model / 뇌과학 / 인식 메커니즘) 관계도 작성
• [ ] AI World Model ↔ 뇌 해마 연결 다이어그램

2단계: 실습 (1개월)

2-1. Beginner — 2D World Model

• [ ] OpenAI Gym 환경 세팅
• [ ] Dreamer 코드 클론 및 구조 분석 (github.com/danijar/dreamer)
• [ ] 간단한 2D 환경에서 World Model 학습 실행
• [ ] 미래 예측 결과 시각화 (predicted vs actual)

2-2. Intermediate — Vision-Based World Model

• [ ] 카메라 입력 → 3D 공간 재구성 파이프라인 조사
• [ ] NVIDIA Isaac Sim 설치 및 튜토리얼 완료
• [ ] 시각 기반 World Model 실험 설계

2-3. Advanced — Embodied AI (로봇 시뮬레이션)

• [ ] MuJoCo 또는 PyBullet 환경 구축
• [ ] World Model 기반 로봇 제어 (픽업, 내비게이션)
• [ ] 시뮬레이션 결과 정리 및 블로그 초안

3단계: 깊이 파기 (3개월)

3-1. 뇌과학 심화

• [ ] 책 읽기: "The Predictive Mind" (Jakob Hohwy)
• [ ] 책 읽기: "Surfing Uncertainty" (Andy Clark)
• [ ] Predictive Coding 수학적 프레임워크 정리
• [ ] Free Energy Principle 핵심 수식 이해 및 노트

3-2. 로봇 시뮬레이션 심화

• [ ] MuJoCo 고급 환경에서 World Model 적용
• [ ] Sim-to-Real 전이 가능성 조사
• [ ] Tesla FSD World Model 아키텍처 분석

3-3. 응용 아이디어 프로토타입

• [ ] 자율주행 시뮬레이터 (World Model 기반 도로 상황 예측)
• [ ] 로봇 훈련 가속화 (시뮬레이션 → 실제 적용)
• [ ] VR/AR 사용자 행동 예측 실험
• [ ] BCI(뇌-컴퓨터 인터페이스) 문헌 조사

4단계: 정리 및 공유

• [ ] 블로그 시리즈 작성 (탐색 과정 기록)
• [ ] 유튜브 또는 커뮤니티 정리글 발행
• [ ] 관련 프로젝트(Caption with Intention, 언어 학습 AI)와의 연결점 정리
• [ ] 다음 프로젝트 씨앗 도출

철학적 질문 (상시)

• [ ] "World Model = 의식인가?" — Self-model → Self-awareness 논의 정리
• [ ] "인간 vs AI World Model" 비교 분석 (학습 속도, 일반화, 물리 직관, 에너지 효율)
• [ ] Qualia(주관적 경험) 관점에서의 한계 논의

참고 리소스