모델 860건 · 국산 139 · 가격 692 추적 중
파운데이션 모델·LLM

Baidu, ERNIE-5.5-Flash-Base 사전학습 가중치 공개

GeekNews·2026-11-06

요약

Baidu가 ERNIE-5.5-Flash-Base의 사전학습 종료 시점 가중치를 공개했다. 이 모델은 중간 학습이나 후속 학습을 거치지 않은 상태로, 도메인 적응이나 지시 튜닝, 강화학습 연구의 출발점으로 쓸 수 있다고 밝혔다. 토큰당 일부 파라미터만 활성화하는 희소 MoE 구조로 처음부터 학습됐다. 하이브리드 희소 어텐션을 적용해 대부분의 층에서 과거 문맥을 압축하고 일부 층에서는 토큰 단위 접근을 유지하는 방식으로, 모델 용량과 연산량, KV 캐시, 긴 문맥 처리 비용을 함께 고려한 설계라고 설명했다.

큐레이터 노트

원문에 없는 맥락입니다

후속 학습을 거친 완제품 모델이 아니라 사전학습만 마친 기반 가중치를 공개한 것이어서, 연구자가 직접 지시 튜닝이나 강화학습 방향을 설계할 수 있는 출발점으로 제공된다는 점이 특징이다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

자이프라, 초장문 처리 빠르게 하는 새 어텐션 기술 공개
AI타임스 · 2026-11-04

미국 AI 스타트업 자이프라가 초장문 문�자 처리 속도를 높이는 희소 어텐션 기술 '자이프라 계층적 어텐션(ZHA)'을 아카이브를 통해 공개했다. 문서 전체를 검색하는 기존 방식 대신 정보를 계층적으로 정리한 뒤 필요한 부분만 찾아가는 방식을 적용했다. 자이프라는 초장문 문맥에서 기존 …

크래프톤, 자체 LLM '라온-1 미니' 프리뷰 공개
ZDNet Korea · 2026-10-21

크래프톤이 자체 개발한 거대언어모델 '라온-1 미니' 프리뷰 버전을 오픈소스로 공개했다. 허깅페이스에 아파치 2.0 라이선스로 제공해 누구나 무료로 내려받아 연구와 상업적 서비스 개발에 쓸 수 있다. 영어와 한국어를 지원하며, 전문가 혼합(MoE) 구조와 자체 개발한 선형 어텐션 기술을…

리플렉션AI, 에이전틱 코딩용 오픈웨이트 모델 '빔' 출시
AWS ML Blog · 2026-10-16

Reflection AI가 코드 유지보수, 도구 호출, 다단계 작업 수행 등 에이전틱 코딩을 위한 오픈웨이트 모델 Beam을 공개했다. Beam은 전문가 혼합(MoE) 구조이며 Hugging Face를 통해 Apache 2.0 라이선스로 가중치가 배포된다. Beam 1.0은 BF16, …

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
파라미터
모델이 학습 과정에서 값을 스스로 조정해 나가는 내부 수치로, 입력을 출력으로 변환하는 계산 방식을 결정하는 요소를 말한다.
사전학습
사전학습은 특정 작업에 맞춰 조정되기 전에, 대량의 텍스트나 데이터로부터 언어와 세계에 대한 일반적인 패턴을 모델이 스스로 학습하는 과정을 말한다.
어텐션
입력의 각 요소가 출력을 생성하는 데 얼마나 중요한지를 계산해 가중치를 부여하는 신경망 메커니즘을 말한다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

GeekNews 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →