모델 849건 · 국산 132 · 가격 688 추적 중
AI 연구

AI 용어: 지식 증류란 무엇인가

전자신문 SW·2026-10-13

요약

지식 증류는 성능이 높은 대형 AI 모델의 지식과 판단 방식을 더 작은 모델로 옮기는 기술이다. 큰 모델을 '교사', 작은 모델을 '학생'으로 두고 교사의 출력값을 학생이 따라 배우게 하는 방식으로 이뤄진다. 처음부터 데이터를 모으고 많은 연산 자원을 들이지 않고도 앞선 모델의 능력을 상당 부분 옮겨올 수 있다는 점이 특징이다. 이 개념은 2015년 제프리 힌턴 등이 논문으로 체계화했다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

2026년 머신러닝 학습법: 기초가 핵심
GeekNews · 2026-11-03

한 가이드는 에이전트 시대에도 머신러닝 기초와 소프트웨어 기본기가 중요하다고 조언한다. 검증된 책과 Kaggle 프로젝트를 직접 따라 하며 배우고, LLM은 막힌 개념을 설명하거나 예시를 얻는 보조 도구로 활용할 것을 권한다. Git, SQL, 명령줄 같은 기본 도구는 여전히 익혀야 하…

AWS, 지식증류로 경량 AI 에이전트 구축하는 법 소개
AWS ML Blog · 2026-11-02

AWS ML Blog는 Amazon SageMaker AI에서 지식증류(knowledge distillation) 기법으로 쇼핑 에이전트를 경량화하는 방법을 소개했다. 대형 '교사' 모델이 생성한 검색·추론·도구호출 등 다단계 궤적(trajectory) 중 과제를 해결한 것만 선별해, …

머스크·저커버그, AI 대신 '초지능' 용어 사용
ZDNet Korea · 2026-10-30

저커버그는 메타 실적 발표에서 AI 대신 '초지능(SI)'을 언급했고, 머스크는 스페이스X의 AI 사업 부문 명칭을 '스페이스X SI'로 바꿨다. 이는 트럼프 대통령이 '초지능 시대의 개막'이라는 행정명령에 서명하고 연방기관 문서에서 AI 대신 SI 용어를 쓰도록 규정한 것과 맞물려 주…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
지식 증류
지식 증류는 크고 성능이 뛰어난 교사 모델의 지식을 작고 가벼운 학생 모델에 전달하여, 적은 비용으로 비슷한 성능을 내도록 학습시키는 모델 압축 기법을 말한다.

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

전자신문 SW 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →