모델 849건 · 국산 132 · 가격 688 추적 중
파운데이션 모델·LLM

프린스턴대, '순환 루프 변환기(RLT)' 아키텍처 공개

AI타임스·2026-09-14

요약

프린스턴대학 연구진이 대형언어모델의 이전 계산 결과를 다음 토큰 생성에 직접 연결하는 새로운 트랜스포머 아키텍처 '순환 루프 변환기(RLT)'를 알파카이브를 통해 공개했다. 이 아키텍처는 토큰 처리 후 생성된 디코더의 최종 은닉 상태와 어텐션 캐시를 다음 단계의 첫 입력으로 전달하도록 설계됐다. 기존 디코더 전용 LLM은 이전 토큰 정보를 KV 캐시에 저장해 어텐션으로 재참조할 뿐, 마지막 계산 결과를 다음 단계에 직결하지는 않았다.

큐레이터 노트

원문에 없는 맥락입니다

기존 어텐션 방식이 과거 토큰을 '참조'하는 데 그쳤다면, 이번 제안은 직전 계산 결과 자체를 다음 단계의 입력으로 넘긴다는 점에서 구조적 차이가 있다.

다른 매체는 이렇게 썼다

같은 사안을 다룬 다른 곳의 보도입니다

오라클 AI 월드 2026, AI 경쟁 축 '실행 능력'으로 이동
IT조선 · 2026-11-01

지난 10월 25일부터 28일까지 미국 라스베이거스에서 '오라클 AI 월드 2026' 행사가 열렸다. 이 행사는 AI 산업의 경쟁 구도가 거대언어모델의 성능·학습 규모 경쟁에서 AI가 기업 실제 업무를 얼마나 정확하고 안전하게 수행하는지로 옮겨가고 있음을 보여줬다. 오라클은 AI를 기존…

미스트랄, 초거대 오픈 가중치 모델 전격 공개
테크42 · 2026-10-30

프랑스 AI 스타트업 미스트랄 AI가 초거대 오픈 가중치 모델 '미스트랄 라지 4'를 공개했다. 전체 파라미터 규모는 크지만 실제 연산에는 일부만 활성화하는 구조로 설계해 효율을 높였다. 사전 공개 후 3주간 강화학습을 거친 이 모델은 터미널벤치 4.0 평가에서 중국의 오픈 모델 GLM…

오라클 "AI에 맥락 없는 원시데이터 주면 안돼"
전자신문 SW · 2026-10-29

오라클 AI 월드 2026이 미국 라스베이거스에서 열린 가운데, 스리칸트 고쿨나타 오라클 AI 데이터 플랫폼 및 애널리틱스 부문 수석 부사장이 전자신문과 인터뷰했다. 그는 맥락 없이 거대언어모델(LLM)에 원시 데이터만 제공하는 것은 매일 전날 배운 내용을 잊어버리는 똑똑한 인턴에게 일…

이 사안의 흐름

같은 주제를 다룬 이 사이트의 기록 — 최신순

이 글에 나온 말

용어집 전체 →
트랜스포머
트랜스포머는 입력 시퀀스의 모든 토큰 쌍 사이의 관계를 어텐션 메커니즘으로 직접 계산하여 문맥을 파악하는 신경망 아키텍처를 말한다.
KV 캐시
트랜스포머 기반 언어 모델이 토큰을 하나씩 생성할 때 이미 계산한 어텐션의 키(Key)와 값(Value) 벡터를 저장해 두었다가 다음 토큰 생성 시 재사용함으로써 중복 계산을 없애는 추론 최적화 기법을 말한다.
어텐션
입력의 각 요소가 출력을 생성하는 데 얼마나 중요한지를 계산해 가중치를 부여하는 신경망 메커니즘을 말한다.
토큰
언어 모델이 텍스트를 처리할 때 사용하는 최소 단위로, 단어나 단어의 일부, 문장 부호 등을 가리키는 말이다.

이 분야 브리핑

여러 매체가 함께 다룬 사안을 한 번에

이 페이지는 원문을 요약·재서술하고 이 사이트가 쌓은 기록을 덧붙인 큐레이션입니다. 원문 본문은 싣지 않으며, 수치와 표기는 원문 기준을 유지했습니다.

AI타임스 원문 전체 보기 →

같은 분야의 다른 소식

전체 뉴스 →