Strata란 무엇인가? 갑자기 화제가 된 로컬 LLM 엔진과 Ollama의 차이

업데이트 2026-11-04. 이 글은 공개된 자료를 읽고 정리한 것입니다. 저희는 Strata를 직접 설치하지 않았고, 벤치마크도 돌리지 않았습니다.

Strata란 데스크톱 앱과 터미널 도구로 배포되는 오픈소스 추론 엔진입니다. 목표는 하나입니다. 1,250억 파라미터짜리 Qwen3.8-Flash-Next처럼 아주 큰 MoE(전문가 혼합) 모델을, 그래픽카드, 시스템 RAM, SSD에 나누어 담아서 평범한 게이밍 PC에서 돌리는 것입니다. 저장소가 만들어진 지 약 6주 만에 GitHub 스타가 약 39,500개가 되었고, 로컬 LLM 커뮤니티마다 Strata 이야기가 올라옵니다. 이 글에서는 Strata가 무엇인지, 왜 이렇게 빨리 퍼졌는지, 독립적인 테스터들이 무엇을 측정했는지, 그리고 주의할 점이 어디에 있는지를 설명합니다. Strata는 Ollama를 대체하는 것이 아니라 그 옆에 놓는 또 하나의 선택지입니다. 비교는 Strata와 Ollama 비교 글에 정리했습니다.

Strata란 무엇인가: 한 문단 요약

Strata는 MIT 라이선스로 GitHub에 공개되어 있고, 저장소는 주로 C++로 작성되었습니다. 데스크톱 앱(Windows, Linux AppImage, macOS)으로 설치할 수도 있고, strata launch로 시작하는 터미널 도구로 쓸 수도 있습니다. 모델이 실행되면 내 컴퓨터에서 OpenAI Chat Completions, Anthropic Messages, Responses API를 제공하므로 코딩 도구를 바로 연결할 수 있습니다. 문서는 llama.cpp의 바탕이 되는 텐서 라이브러리 ggml을 서드파티 구성요소로 적고 있지만, Strata를 특별하게 만드는 스케줄링은 자체 구현입니다.

Strata가 실행하는 모델

MoE 모델에는 ‘전문가’라고 불리는 작은 전문 네트워크가 많이 있고, 토큰 하나를 만들 때는 그중 몇 개만 씁니다. Qwen3.8-Flash-Next는 전체 파라미터가 약 1,250억이지만 토큰당 활성화되는 것은 약 60억입니다(층마다 전문가 512개, 모두 24,576개, 기본 컨텍스트 262,144 토큰). 한 단계에 쓰는 가중치가 전체의 약 5%에 불과하다는 점, 이것이 Strata가 활용하는 성질입니다.

MoE 모델이 왜 이런 특징을 갖는지는 MoE 모델 로컬 실행 가이드에서 볼 수 있습니다.

Strata의 원리: 세 단계 배치

Strata 공식 HOW_IT_WORKS 문서는 모델을 세 단계로 나눠 설명합니다.

• GPU. 어텐션 층, 라우터, 공유 전문가, 출력 헤드, 다중 토큰 예측(MTP) 초안 층, KV 캐시, 그리고 남은 VRAM을 채우는 전문가 캐시가 올라갑니다. 문서에 따르면 VRAM이 1 GB 늘 때마다 전문가를 약 700개 더 담을 수 있습니다.
• RAM. 전문가 24,576개를 모두 메모리에 고정해 둡니다. 라우터가 VRAM에 없는 전문가를 고르면, 카드로 복사하지 않고 CPU가 그 자리에서 계산합니다.
• SSD. 28.8 GB짜리 n-gram 임베딩 표가 있고, 토큰 하나당 그중 몇 줄만 읽습니다. RAM이 모자라면 선택 사항인 --mmap-experts 모드로 전문가를 디스크에서 스트리밍할 수 있지만, 동작은 하되 훨씬 느립니다.

속도는 토큰이 필요로 하는 전문가가 이미 GPU에 얼마나 올라와 있느냐에 달려 있습니다. PC Watch가 RTX 3060에서 한 테스트에서는 IQ2_XS 파일일 때 카드에 약 3,031개의 전문가가 올라가 캐시 적중률이 약 72%였고, IQ3_S에서는 약 1,104개에 56%였다고 합니다. 프로젝트 논문은 MTP 추측 디코딩으로 1.6~1.8배 빨라진다고 주장하는데, 이는 저자 본인의 수치입니다.

Strata가 화제가 된 이유

저희가 읽은 자료를 종합하면 몇 가지 요인이 겹쳤습니다.

1. 원클릭 설치. Windows 설치 파일, Linux AppImage, macOS 디스크 이미지에 한 줄짜리 터미널 설치기까지 있습니다. 내 GPU에 맞는 엔진은 처음 실행할 때 내려받습니다.
2. 퍼뜨리기 좋은 제목. ’12 GB 그래픽카드로 125B 모델’은 공유하기 쉬운 문구입니다. 다만 큰 양자화는 실제로 RAM 64 GB가 필요하다는 전체 그림은 제목에 들어가지 않습니다.
3. 타이밍. Qwen3.8-Flash-Next는 10월에 이미 많은 사람이 이야기하던 모델이었습니다.
4. 코딩 에이전트 지원. strata connect가 Claude Code, Codex CLI, OpenCode, Hermes Agent, OpenClaw 등의 설정을 써 줍니다.
5. 빠른 릴리스 속도. 10월 25일부터 11월 2일 사이에 여섯 번 릴리스되었습니다.
6. Hacker News의 관심. 저희가 읽은 시점에 한 글은 940점, 댓글 420개였고, 다른 글에서는 로컬 LLM 토론이 Strata 링크로 도배되고 있다는 불만도 나왔습니다. 메인 글은 여기입니다.

독립 테스터들이 보고한 것

아래 숫자는 하나도 저희가 잰 것이 아닙니다. 하드웨어, Strata 버전, 양자화가 모두 다르므로 순위표가 아니라 대략적인 범위로 봐 주세요.

같은 RTX 3060에서도 양자화, 버전, 메모리에 따라 대략 20~45 토큰/초까지 다양한 결과가 나옵니다. 그래서 ‘Strata가 얼마나 빠른가’에는 하나의 답이 없습니다.

주의점과 비판

• 2~3비트 양자화의 품질. 프로젝트는 IQ3_S가 공개된 테스트에서 완전한 모델과 같다고 하는데, 이는 저자의 주장입니다. PC Watch는 IQ2_XS의 코드 생성이 IQ3_S보다 한 단계 떨어진다고 보았습니다. Hacker News에는 회의적인 댓글도 있고, 같은 가중치로 한 시각 테스트에서 llama.cpp보다 오차가 컸다고 보고한 사용자도 있었지만, 저희는 확인하지 못했습니다.
• 12 GB 카드에서는 긴 프롬프트가 느립니다. PC Watch는 23k 토큰 프롬프트에서 첫 토큰까지 약 25초를 측정했습니다. 파일 전체를 보내는 코딩 에이전트에는 부담이 되는 수치입니다.
• 메모리 압박. arm1.ru의 테스트에서는 RAM 30 GB 노트북이 실행하는 내내 스왑을 쓰고 SSD도 계속 바빴습니다.
• 어린 프로젝트. 저장소가 6주밖에 안 되었고 릴리스는 이틀에 한 번꼴로 나옵니다. 설정과 속도는 버전마다 바뀌고, Strata 문서 스스로도 외부 보안 감사를 받지 않았다고 밝힙니다.
• 파이프로 실행하는 설치기. 한 줄 설치기는 편하지만 내 사용자 권한으로 실행되는 스크립트입니다. 먼저 내용을 읽거나, 서명된 앱 설치 파일을 쓰세요.
• 모델 라이선스. 엔진은 MIT지만 Qwen 가중치는 Qwen Community License입니다. 상업적으로 쓰기 전에 읽어 보세요.
• 숫자가 일치하지 않는 곳. 1,760억 파라미터라고 쓴 글도 있지만 저장소에는 125B로 되어 있어서, 여기서는 125B를 씁니다.

Strata와 Ollama 한눈에 보기

둘은 제목이 암시하는 것보다 겹치는 부분이 적습니다. 하나의 도구로 여러 모델을 다루고 싶다면 여전히 Ollama가 편합니다. 12~24 GB 카드에서 이 부류의 모델을 돌리고 싶다면 Strata가 그 목적으로 만들어졌습니다. llama.cpp, LM Studio와의 전체 비교는 비교 글, 설치 방법은 설치 가이드, 하드웨어는 하드웨어 요구 사양 글에 있습니다. Ollama 자체가 처음이라면 Ollama 설치 가이드부터 보세요.

저희가 한 것과 하지 않은 것

2026-11-04에 Strata 저장소 문서와 릴리스 노트, Ollama의 릴리스 노트와 라이브러리 페이지, 그리고 위에 링크한 제3자 보고서를 읽었습니다. Strata를 설치하지 않았고, 가중치를 내려받지도, 속도를 측정하지도 않았습니다. 모든 숫자에는 출처를 달았습니다.

자주 묻는 질문 (FAQ)

Strata가 무엇인지 쉽게 말하면요?

Strata는 가장 바쁜 부분은 그래픽카드에, 나머지는 RAM에, 조회용 표는 SSD에 두어서 평범한 PC에서도 아주 큰 AI 모델을 돌리게 해 주는 무료 프로그램입니다. 엔진과 채팅 앱이지, 모델 자체가 아닙니다.

Strata는 무료이고 오픈소스인가요?

엔진은 MIT 라이선스입니다. 내려받는 모델에는 각자의 라이선스가 있고, Qwen3.8-Flash-Next는 Qwen Community License 1.0입니다.

정말 12 GB GPU로 125B 모델이 돌아가나요?

모델의 전체 파라미터는 1,250억이지만 토큰당 활성화되는 것은 약 60억입니다. 그래도 Strata는 모델에 RAM과 VRAM 합계로 약 38~55 GB, 디스크로 약 80 GB가 필요하므로, 12 GB 카드는 GPU 쪽의 최소 조건일 뿐입니다.

Strata와 Ollama를 한 PC에서 같이 쓸 수 있나요?

가능합니다. Strata의 기본 포트는 8080, Ollama는 11434입니다. 다만 둘 다 같은 VRAM과 RAM을 쓰려 하므로 큰 모델은 한 번에 하나만 올리세요. 설치 가이드에서 설명합니다.

Strata를 설치해도 안전한가요?

프로젝트는 텔레메트리와 계정이 없고 서버는 로컬호스트에서만 듣는다고 하지만, 외부 보안 감사는 받지 않았다고도 밝힙니다. 민감한 데이터가 없는 컴퓨터에서 먼저 써 보고, 공식 저장소에서만 내려받으세요.

Strata가 Ollama를 대체하나요?

아닙니다. 해결하는 문제가 다릅니다. 일상적인 모델에는 Ollama를 두고, 큰 MoE 모델 하나를 위해 Strata를 추가하는 사람이 많을 것입니다.

문의하기

GPU, RAM, 예산에 대한 질문이 있으신가요? 커뮤니티에 참여하시거나 admin@microaione.com으로 메일을 보내 주세요. 함께 정리해 드리겠습니다. 조정이 끝난 PC를 원하신다면 머신과 솔루션 가이드를 참고하세요.