"LLM"
뉴스
LLM재킹 확산, 기업 AI 토큰 탈취해 연산자원 무단 사용
구글 위협 인텔리전스 조직 맨디언트는 11월 2일(현지시각) 보고서를 통해 기업의 거대언어모델(LLM) API 키와 인증 토큰을 탈취해 AI 연산 자원을 무단으로 사용하는 'LLM재킹(LLMjacking)' 공격이 확산되고 있다고 밝혔다. 공격자는 탈취한 인증 정보로 자체 AI 서비스 운영이나 대규모 모델 추론을 수행하지만, 그 비용은 피해 기업에 청구된다. 맨디언트에 따르면 이러한 무단 리소스 사용으로 발생한 부정 청구액이 하루 10만달러를 넘는 경우도 있다.
시스템반도체·팹리스KV캐시·가중치·양자화 용어 정리, LLM 추론 원리 해설
Tom's Hardware는 로컬 AI 모델 구동 하드웨어 확산에 맞춰 LLM 관련 핵심 용어를 설명하는 해설 기사를 게재했다. 모델은 텍스트 데이터로 학습된 토큰 간 통계적 연관성의 집합이며, 가중치는 토큰 간 연결 강도를 나타내고 재학습 없이는 값이 바뀌지 않는다고 설명했다. 모델 사양에 표시되는 'B' 단위 숫자는 가중치(파라미터) 개수를 뜻하며, 숫자가 많다고 반드시 더 똑똑한 모델은 아니라고 덧붙였다. 또한 FP16·INT8·FP4 등 데이터 타입과 양자화(정밀도 축소) 과정을 거쳐야 모델을 소비자용 하드웨어에서도 구동할 수 있다고 설명했다. 끝으로 컨텍스트 윈도우는 LLM이 대화 중 참조해야 하는 정보를 담는 공간으로, 컴퓨터의 RAM과 유사한 개념이라고 비유했다.
시장·실적·공급망美 켄터키대 직원, AI 사용 종교적 면제 획득 — 노동법 쟁점 부상
미국 켄터키대학교 연구행정관 데이비드 더만은 인본주의 신념에 따라 업무에서 AI 사용을 거부하고, 민권법 Title VII에 근거한 종교적 편의제공을 받았다. 그는 ChatGPT나 Microsoft Copilot 같은 도구에 사고를 맡기는 것이 자신을 도덕적 행위자로 발전시키는 과정을 훼손한다고 주장했다. 미국인본주의협회(AHA)가 이 요청을 지원했으며, AHA 측은 이번 사례가 인본주의 관점에서 AI 사용 면제를 인정받은 첫 사례라고 밝혔다. 다만 더만은 AI를 직접 사용하지 않아도 되지만, AI를 활용하는 동료들과의 협업이나 회의 참석, 자료 제출 등은 계속해야 한다.
시스템반도체·팹리스엔비디아 페르소나 데이터 LLM 실험, 불평등 증폭 해석에 의문
서울대 보건대학원 김승섭 교수 연구팀이 엔비디아의 '네모트론 페르소나 코리아'에서 추출한 가상 인물 1만 명을 라마 3.3에 입력해 장애 여부와 성적 지향 등을 묻는 설문에 답하게 한 결과, 등록장애인과 성소수자, 국외 출생자 응답이 모두 0명으로 나타났다고 소개됐다. 지디넷코리아 칼럼은 이 결과가 모델 응답의 대표성 문제를 보여주지만, 그 원인이 학습 데이터의 위계·편견 때문이며 현실의 불평등을 증폭시킨다는 주장까지 동시에 입증된 것은 아니라고 지적했다. 발표자료가 '우려'로 남긴 표현이 연구자의 페이스북 게시물에서는 확정된 사실처럼 전달됐다는 점도 짚었다. 해당 논문은 10월 13일 arXiv에 등록됐으나, 글 작성 시점에 전체 설문 문항과 모델 응답 원자료, 분석 코드는 공개되지 않은 상태였다.
국내 반도체 생태계오케스트로, 퓨리오사AI NPU·업스테이지 LLM과 소버린 인프라 협력
오케스트로 클라우드는 10월 16일 퓨리오사AI, 업스테이지, SPK, 대원씨티에스와 신경망처리장치(NPU) 기반 소버린 AI 풀스택 상품 공동 개발을 위한 업무협약을 체결했다고 19일 밝혔다. 5개사가 개발할 '소버린 AI 풀스택 어플라이언스'는 AI 컴퓨팅과 클라우드 인프라, 모델 추론, 운영·관리 기능을 하나의 환경에서 제공하는 통합 AI 인프라 상품이다. 오케스트로는 클라우드 플랫폼과 기술 검증을, 퓨리오사AI는 NPU '레니게이드(RNGD)'를, 업스테이지는 LLM '솔라'를 맡고 SPK는 서버 인프라, 대원씨티에스는 데이터센터·네트워크 인프라를 담당한다. 참여사들은 개념검증(PoC)과 벤치마크 테스트(BMT), 공동 제안을 거쳐 상용화와 공동 영업을 추진할 계획이다.
시스템반도체·팹리스PS5 해킹 LLM 구동, GPU 네이티브 전환으로 속도 향상
레딧 유저 AdIllustrious7246이 해킹된 PS5에서 llama.cpp를 구동하는 PS5LM 프로젝트를 포크해 네이티브 앱으로 전환했다. 기존 cobanov의 버전은 CPU 페이로드 방식으로 동작해 메모리가 약 6.25GiB로 제한됐지만, 이번 포크는 PS5_Vulkan 드라이버로 GPU를 직접 활용해 Qwen3.8-27B, Gemma 4 E4B, Llama 3.2 3B 등 모델을 더 빠른 속도로 돌릴 수 있게 됐다. 메모리 사용 가능량도 최대 11.4GiB로 늘었고, 토큰 생성 속도·GPU·CPU 사용률 등을 보여주는 대시보드와 브라우저 기반 웹UI도 추가됐다.
인텔 인퍼런스 마이크로서비스, 제온 CPU로 LLM 추론 최적화
인텔이 10월 16일 서버용 제온 프로세서의 AI 추론 성능을 높이는 '인퍼런스 마이크로서비스'를 공개했다. 이 소프트웨어는 대규모 언어 모델(LLM)을 CPU에 맞춰 최적화하는 작업을 빠르게 처리하는 컨테이너 기반 가상화 소프트웨어다. 오픈소스 LLM 모델 실행에 필요한 코드, 엔진, 설정값 등 라이브러리를 포함한다. 구동 시 인텔 프로세서를 감지해 사전 검증된 최적의 AI 추론 설정값을 자동으로 적용한다. 이를 통해 AI 추론 최적화 전문 인력에 대한 의존도를 낮출 수 있다.
정책·수출통제·보조금OpenAI 수학 논문 722건 공개, 암호화 위협론 확산
OpenAI가 수학계의 난제에 대한 해법을 담은 매뉴스크립트 722건을 공개했지만, 이 중 300건만 컴퓨터로 검증 가능한 형태로 정리된 상태다. 더버지 등 취재진이 확인한 결과 일부 자료에는 앞뒤가 맞지 않는 설명과 이미 알려진 연구 결과가 포함돼 있었다. OpenAI는 결과를 생성한 모델명과 프롬프트를 공개하지 않았으며, 자문그룹 AGMAI의 권고도 따르지 않았다. 뉴욕대 트리스탄 버크마이어, 노스웨스턴대 브라이나 크라 교수 등은 이번 공개로 조기 연구자들의 연구가 무효화되고 학계의 협업 문화가 위축될 수 있다고 우려했다. 존스홉킨스대 매튜 그린 교수는 수학과 보안 분석 능력이 결합하면 공개키 암호체계가 깨질 수 있다고 경고했다.