AI 연구

노트북으로 돌려본 DeepSeek 구조, JAX 200줄로 재현

GeekNews·2026-11-15

요약

개발자가 DeepSeek-V3의 핵심 구조를 다른 도구 없이 순수 JAX 코드 약 190줄로 직접 만들어봤어요. 맥북 에어(M5, 24GB)에서 3,620만개 파라미터짜리 작은 모델을 추리소설 텍스트로 처음부터 학습시켰는데, 약 2.6시간 걸렸어요. 학습 중 검증 손실(모델이 얼마나 잘 맞추는지 보는 점수, 낮을수록 좋음)이 5.02에서 3.51로 줄었고, 전문가별로 일을 나눠 맡기는 방식(라우팅)에 편향을 적용했더니 업무 부담이 더 고르게 분산됐다고 해요.

큐레이터 노트

원문에 없는 맥락입니다

큰 회사의 거대 모델에 쓰인 핵심 아이디어를 노트북 한 대로 직접 구현해보고 원리를 눈으로 확인할 수 있다는 걸 보여준 사례예요.

이 기사에 나온 모델

단가는 이 사이트 카탈로그에서 매일 확인한 값입니다 · USD / 1M 토큰

alibaba
DeepSeek V3
입력 $0.287 · 출력 $1.15
컨텍스트 66K
deepseek
deepseek-v3
입력 $0.270 · 출력 $1.10
컨텍스트 66K

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

젠슨 황 퇴진, 엔비디아 오픈소스 행보에 물음표
TechCrunch AI · 2026-11-12

엔비디아의 젠슨 황이 사임하면서 회사가 오픈소스 AI를 계속 지지할지에 대한 의문이 제기되고 있어요. 엔비디아는 그동안 허깅페이스(Hugging Face) 인수, 오픈 웨이트 모델 공개, AI 관련 규제 반대 등 오픈소스를 지지하는 행보를 보여왔어요. 리더십이 바뀌는 과정에서 이런 기조…

AWS, AI가 만든 보안 정책 비교하는 '의미 비교' 기술 공개
AWS ML Blog · 2026-11-11

AWS ML 블로그는 두 개의 공식 정책(접근 권한 규칙)이 글자는 달라도 뜻이 같은지 찾아내는 오픈소스 엔진을 소개했어요. '안티유니피케이션'이라는 수학적 방법으로 겉보기엔 다른 표현이라도 의미가 같은 부분은 하나로 묶고, 진짜 다른 부분만 남겨서 보여줘요. 거대언어모델(LLM)이 사…

AWS, AI 학습 중 숨은 GPU 오류 잡아내는 법 공개
AWS ML Blog · 2026-11-11

GPU 같은 하드웨어가 아무 오류 표시 없이 틀린 계산값을 내놓는 걸 '조용한 데이터 손상(SDC)'이라고 해요. 여러 GPU로 나눠서 AI 모델을 학습시킬 때 이 틀린 값이 퍼지면, 몇 시간 동안은 멀쩡해 보이다가 나중에야 모델이 이상해진 걸 알게 돼요. 메타가 H100 GPU 최대 …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
파라미터
모델이 학습 과정에서 값을 스스로 조정해 나가는 내부 수치로, 입력을 출력으로 변환하는 계산 방식을 결정하는 요소를 말한다.
학습
학습은 모델이 데이터를 반복적으로 살펴보며 예측 오차를 줄이는 방향으로 내부 파라미터를 조정해 나가는 과정을 말한다.

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다. 이 글은 AI의 도움을 받아 작성했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →