In Plain Words
쉽게 풀면
언어 모델이 어떤 답을 내놓을 때 그 이유를 정확히 아는 것은 매우 어렵습니다. 이 연구는 양자역학의 '보른 규칙'(측정 확률 = 진폭의 제곱)을 모든 계산 단계에 적용해, 각 단어가 최종 답에 얼마나 기여했는지를 수학적으로 오차 없이 계산할 수 있는 트랜스포머를 설계했습니다. 더 나아가 이 모델을 실제 IBM 양자 컴퓨터에서 실행해, AI 해석 가능성과 양자 하드웨어를 잇는 새로운 가능성을 보여줍니다.
Abstract
한국어 초록
(1) 문제: 현재 언어 모델은 출력의 근거를 근사적으로만 추정할 수 있으며, 어텐션 패턴이 실제로 답을 결정하는 단어를 충실히 가리키는지 불분명하다. (2) 방법: 모든 연산 단계를 양자역학의 보른 측정으로 구성한 '보른 트랜스포머'를 설계했다. 어텐션은 로, 피드포워드 비선형성은 측정 곱으로 대체된다. 분모를 입력값에 고정하면 각 클래스 확률이 단어 진폭의 다항식이 되어 적분 기울기 증거를 유한 구적법으로 오차 없이 계산할 수 있다—단어 기여도 합산 오차 이하. (3) 결과: e-SNLI 자연어 추론에서 임베딩 외 약 98k 파라미터로 76.98±0.17% 정확도를 달성해 같은 크기의 소프트맥스 트랜스포머(76.62±0.36%)와 동등하다. 근거 1순위 단어 삭제 시 45%의 테스트 쌍에서 답이 바뀌며, 소프트맥스+적분 기울기(32%) 및 소프트맥스+어텐션×기울기(40%)를 상회한다. (4) 의의: 동일 가중치가 광전자 광학 회로와 23 큐비트·852 CNOT 양자 회로로 정확히 컴파일되며, IBM ibm_kingston에서 실제 추론 실험도 수행됐다.
Expert Notes
전문가 노트
연구 배경 및 위치
트랜스포머 해석 가능성 연구는 어텐션 가중치, 적분 기울기(integrated gradients), SHAP 등 사후 설명 기법에 의존해 왔다. 이들은 모두 근사치이며, 설명이 얼마나 모델 출력을 인과적으로 반영하는지(충실도, faithfulness)는 별개의 문제로 남아 있었다.
핵심 아이디어
소프트맥스 어텐션 를 보른 어텐션
으로 대체하고 피드포워드 비선형성도 측정 곱으로 교체한다. 분모를 입력에 고정(frozen denominator)하면 클래스 확률이 단어 진폭의 다항식이 되어, 적분 기울기를 유한 구적법으로 대수적으로 정확하게 계산할 수 있다—단순한 근사 개선이 아닌 항등식에 의한 보장이다.
충실도(Faithfulness) 평가의 함의
단어 삭제 실험 결과가 주목할 만하다. 보른 트랜스포머의 근거 기반 삭제는 45%에서 답을 변화시켜 소프트맥스+통합 기울기(32%)와 어텐션×기울기(40%)를 상회한다. 반면 보른 트랜스포머의 어텐션 자체는 주석자가 강조한 단어와 더 유사하게 보이지만 삭제 충실도는 32%에 그친다—이는 설명처럼 보이는 것과 실제 인과적 설명 사이의 괴리를 정량적으로 드러낸다.
양자·광학 구현 및 현실적 한계
852 CNOT·23 큐비트 회로로 정확히 대응되며, IBM ibm_kingston에서 Hadamard 테스트로 어텐션 중첩만 읽어 두 쌍의 추론을 성공적으로 수행했다. 그러나 단어별 기여도(근거 자체)는 현재 하드웨어 잡음 수준에서 생존하지 못했으며, 논문은 이를 위해 필요한 샷 수와 보정 조건을 구체적으로 도출한다—현재 하드웨어의 한계를 솔직히 직시하는 태도다.
후속 함의
보른 구조의 대형 모델 확장 가능성, 광전자 아날로그 구현의 에너지 효율, 그리고 의료·법률 등 고위험 NLP에서의 감사 가능성(auditability) 향상이 중요한 후속 과제로 남는다.
Glossary
핵심 용어
Source
원문 출처
원문 초록 (영문) 보기
When a language model answers, we can usually only estimate why. We build a transformer in which every step is a Born measurement - attention $|\langle q|k\rangle|^4$ normalised over each row, a measured product in place of the feed-forward nonlinearity, and a Born readout. With its denominators held at their values for the input, each class probability is a polynomial in the word amplitudes, so its integrated-gradient evidence is computed by a finite quadrature with no quadrature error: the words' contributions sum to the class probability above its no-information share, to $10^{-11}$ or better. On e-SNLI natural language inference, with about 98k parameters outside the embedding, the model reaches $76.98 \pm 0.17$% test accuracy, level with a softmax transformer of the same size ($76.62 \pm 0.36$%). Deleting the word its evidence ranks first changes the answer in 45% of test pairs, out of the 53% any single deletion can change, against 32% for the softmax model explained the same way and 40% by its attention x gradient. Attention can look more like the words annotators highlighted, yet accounts for the answer less well: deleting the word it ranks first changes the Born Transformer's answer in 32% of pairs. The same weights compile exactly to optoelectronic optics and to qubits, and a coherent attention layer becomes one circuit equal to the model (852 CNOTs on 23 qubits). On IBM's ibm_kingston, reading only the attention overlaps by Hadamard tests, the device gave the model's answers on two short test pairs and kept or changed them under deletion as the model does; the evidence itself did not yet survive the device, and we work out the shots and calibration that measuring it on hardware would need.
