Zeta급 AI 챗봇 Elixir + sLLM 구축안 검토

원문: Zeta급 AI 챗봇을 Elixir + 자체 sLLM으로 구축하기

TL;DR

Elixir + 자체 sLLM 아키텍처는 방향은 합리적이고 비용 우위도 실재한다. 다만 "96% 절감"은 불공정 비교이고, "Zeta급" 품질 달성은 인프라가 아니라 모델 품질과 운영 역량에 달려 있다. 개발 일정도 1~2주가 아닌 3~6개월이 현실적이다.

✅ 맞는 부분 (실현 가능)

Elixir/Phoenix 동시성 우위 Discord 사례는 실제이고, BEAM VM의 경량 프로세스 모델은 채팅 같은 다수 동시접속에 강하다. 서버 2대로 10만 동시접속은 현실적인 수치다.

오픈소스 sLLM 활용 Llama, Qwen, SOLAR 등을 vLLM으로 서빙하는 건 이미 검증된 방식이다. LoRA 파인튜닝도 RTX 4090 한 대로 가능하다.

Redis 제거 Phoenix PubSub이 Redis Pub/Sub을 대체하는 건 맞다. 내장 기능이라 외부 의존성이 줄어든다.

⚠️ 과장되거나 주의가 필요한 부분

1. "96% 절감"은 불공정한 비교

Node.js + GPT-4o($16,250)와 Elixir + sLLM($1,000)을 비교하는데, 이건 가장 비싼 옵션 vs 가장 싼 옵션을 붙인 것이다.

44%도 의미 있지만 96%와는 거리가 멀다.

2. sLLM 품질 = Zeta급? 가장 큰 리스크

Zeta가 성공한 핵심은 sLLM 자체가 아니라 캐릭터별 대화 품질과 몰입도다. 8B 모델을 4bit 양자화하면 비용은 줄지만, GPT-4o 대비 대화 품질이 확실히 떨어진다. 원문에서 이 트레이드오프를 거의 언급하지 않았다.

사용자가 품질 차이를 체감하면 MAU 10만을 유지하기 어렵다.

3. "구현 난이도 낮음 (1~2주)"는 비현실적

vLLM 서버 띄우는 건 1~2주 맞다. 하지만 프로덕션급 AI 챗봇은 완전히 다른 얘기다.

현실적으로 MVP 3~4개월, 프로덕션 6개월+이다.

4. GPU 1대로 500만 메시지/월 처리?

10~20 req/sec로 계산하면 월 약 2,600만 요청 처리 가능해 보이지만, 이건 짧은 프롬프트 기준이다. 채팅은 대화 히스토리가 쌓이면서 컨텍스트가 길어지고, 실제 throughput은 3~5 req/sec 수준으로 떨어질 수 있다. 피크 타임에 GPU 1대는 부족할 가능성이 높다.

5. 코드 예시의 기술적 이슈

• HTTPoison의 stream_to + async 사용법이 부정확. 실제로는 Finch나 Req 라이브러리가 Phoenix에서 더 권장됨
• vLLM 코드에서 llm.generate가 스트리밍을 직접 지원하는 방식이 아닌데 StreamingResponse로 감싸고 있음
• 프로토타입용 의사코드로는 괜찮지만 실제 구현 시 수정 필요

🔴 빠진 핵심 요소

종합 평가

💡 제안

아키텍처 방향(Elixir + sLLM)은 합리적이고 비용 우위도 있다. 다만 글이 인프라 비용 절감에만 집중하고, 실제 서비스의 핵심인 대화 품질, 모더레이션, 운영 복잡도를 거의 다루지 않았다.

다음 단계로 이런 후속 글이 있으면 좋겠다:

1. 8B vs 13B vs 70B 한국어 품질 벤치마크 — 실제 대화 샘플 비교
2. 모더레이션 아키텍처 — 소형 분류 모델 + 규칙 기반 필터 설계
3. 대화 메모리 관리 — 컨텍스트 윈도우 제한 내에서 히스토리 압축 전략
4. 실제 부하 테스트 결과 — GPU 1대의 한계점 측정

"Zeta급"보다는 "Zeta의 비용 구조를 참고한 저비용 AI 챗봇 아키텍처"가 더 정확한 제목일 것이다.

이 글은 원문(post/690)에 대한 기술 검토입니다.