MLOps·개발도구

1.58비트 터너리 양자화로 30B 모델 맥북서 구동

GeekNews·2026-11-10

요약

NVIDIA의 Nemotron 3.5 Lightning 30B(A3B) 모델 가중치를 -1, 0, +1 세 값으로만 표현하는 1.58비트 터너리 양자화 방식으로 압축해, 용량을 약 60GB에서 약 10GB로 줄인 작업이 공개됐습니다. 모델을 다시 학습시키지 않는 PTQ(학습 후 양자화) 방식을 써서, 메모리 24GB 이상인 맥북에서도 돌릴 수 있게 했습니다. BF16 모델을 그대로 터너리로 바꾸면 GSM8K·HumanEval 점수가 0.00점, IFEval-ko가 10.36점으로 떨어질 정도로 성능이 크게 손상됐지만, 추가 처리를 거쳐 89.4%까지 성능을 되살렸습니다. 결과물은 허깅페이스(Hugging Face)에 MLX 프리뷰 체크포인트로 공개됐습니다.

큐레이터 노트

원문에 없는 맥락입니다

고성능 서버 없이도 큰 언어모델을 개인 컴퓨터에서 돌릴 수 있게 하는 압축 기술의 실험 사례로, 성능을 거의 그대로 유지하면서 용량을 크게 줄인 점이 눈에 띕니다.

깊이 읽기

이 기사 한 건이 아니라, 같은 사안을 다룬 이 사이트의 기록을 근거로 정리했습니다

이 일이 어디서 왔나

대형 언어모델을 개인 컴퓨터에서 돌리기 위한 경량화 시도가 여러 갈래로 이어지는 가운데, 같은 날 노타가 업스테이지 '솔라 오픈 2' 모델의 가중치 메모리를 76.5% 줄였다고 밝힌 사례와 맞물려 나온 소식이다. 다만 이번 작업은 기업이 아닌 공개된 PTQ(학습 후 양자화) 기법을 활용해, 모델을 다시 학습시키지 않고도 가중치만 세 값으로 압축했다는 점에서 접근 방식이 다르다.

짚어야 할 점

  • BF16을 그대로 터너리로 바꾸면 GSM8K·HumanEval이 0.00점까지 떨어졌다가 추가 처리로 89.4%까지 복원됐다는 수치는, 단순 양자화와 성능 복원 기법 사이의 격차가 크다는 점을 보여준다.
  • 노타의 기업형 경량화(메모리 76.5% 절감)와 비교해, 이번 작업은 60GB에서 10GB로 가중치를 줄이는 방식으로 압축폭은 크지만 상업용 모델 대상 검증이나 다양한 벤치마크 결과는 함께 공개되지 않았다.
  • 결과물이 허깅페이스에 'MLX 프리뷰 체크포인트'로 올라왔다는 점에서, 아직 정식 배포판이 아닌 실험적 공개 단계임을 시사한다.

아직 확인되지 않은 것

  • 89.4%라는 성능 복원 수치가 어떤 벤치마크들의 평균인지, GSM8K·HumanEval·IFEval-ko 각각에서 원본 BF16 대비 몇 점으로 돌아왔는지는 확인되지 않았다.
  • 이 압축 기법이 Nemotron 3.5 Lightning 30B(A3B) 외 다른 모델군이나 더 큰 모델에도 적용 가능한지에 대한 자료는 나오지 않았다.
  • 작업을 수행한 주체가 개인인지 팀인지, 공식적인 검증이나 외부 리뷰 절차를 거쳤는지는 밝혀지지 않았다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

구글, AI 코딩 설계 오류 잡는 플러그인 공개
AI타임스 · 2026-11-09

구글이 AI 코딩 에이전트가 코드 작성에 앞서 상세한 설계 명세서를 만들고, 대화 맥락이 없는 별도의 AI 에이전트가 이를 독립적으로 검토하도록 하는 '코끼리-금붕어 모델(EGM)' 플러그인을 오픈소스로 공개했다. 설계에 참여한 AI가 자신의 잘못된 가정을 그대로 받아들이는 문제를 줄이…

노타, GPU 4분의 1로 초거대 AI 구동 기술 확보
ZDNet Korea · 2026-11-09

AI 모델 최적화 기업 노타가 업스테이지의 초거대 모델 '솔라 오픈 2'를 경량화해 구동에 필요한 엔비디아 H100 GPU를 8장에서 2장으로 줄였다고 9일 밝혔다. 모델 가중치 저장에 필요한 메모리는 500.6GB에서 117.8GB로 76.5% 줄었으며, 양자화와 가지치기 기술을 적용…

ETRI, 노코드 AI 개발도구 '탱고' 오픈소스 공개
전자신문 SW · 2026-11-09

한국전자통신연구원(ETRI)이 AI 전문 지식이 없어도 산업현장에 필요한 AI 모델과 서비스를 개발할 수 있는 노코드 기반 통합개발도구 '탱고(TANGO)'를 오픈소스로 공개했다고 9일 밝혔다. 탱고는 AI 모델 학습부터 최적화, 배포까지 개발 전 과정을 자동화하는 도구다. 복잡한 프로…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
양자화
모델의 가중치와 활성값을 32비트나 16비트 부동소수점 대신 더 적은 비트 수의 정수나 저정밀도 형식으로 표현해 모델 크기와 연산량을 줄이는 최적화 기법을 말한다.
학습
학습은 모델이 데이터를 반복적으로 살펴보며 예측 오차를 줄이는 방향으로 내부 파라미터를 조정해 나가는 과정을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →