변분 양자 고유값 계산(VQE): 원리와 구현

먼저 읽으면 좋은 용어

개념 소개

VQE(Variational Quantum Eigensolver)는 하이브리드 양자-고전 알고리즘으로, 분자 해밀토니안의 바닥 상태 에너지를 구하는 문제에서 출발하였다. 완전 양자 알고리즘인 양자 위상 추정(QPE)은 수천 큐비트 규모의 오류 정정 회로를 요구하지만, VQE는 얕은 회로와 반복적 고전 최적화를 활용함으로써 현재의 NISQ(Noisy Intermediate-Scale Quantum) 장치에서도 실행할 수 있도록 설계되었다.

핵심 근거는 **변분 원리(variational principle)**이다. 임의의 정규화된 시험 상태 $∣ ψ ⟩$ 에 대해 다음 부등식이 항상 성립한다:

$E_{0} \leq ⟨ ψ ∣ \hat{H} ∣ ψ ⟩ \equiv E (θ)$

$E_{0}$ 는 해밀토니안 $\hat{H}$ 의 최솟값 고유값(바닥 상태 에너지)이다. 어떤 시험 상태를 선택하더라도 기댓값은 $E_{0}$ 이상이므로, 기댓값을 최소화하는 방향으로 상태를 조정하면 바닥 상태에 수렴할 수 있다.

핵심 원리

안사츠(Ansatz)

매개변수 벡터 $θ = (θ_{1}, \dots, θ_{m})$ 에 의존하는 유니터리 $U (θ)$ 로 시험 상태를 생성한다:

$∣ ψ (θ)⟩ = U (θ) ∣0 ⟩^{\otimes n}$

이 회로를 안사츠라 하며, 탐색할 힐베르트 공간의 부분 집합을 결정한다. 대표적인 안사츠로는 다음 두 가지가 있다.

UCCSD: 결합 클러스터 이론에서 유도된 물리 기반 안사츠. 정확도가 높으나 회로 깊이가 크다.
하드웨어 효율적 안사츠(HEA): 하드웨어 연결성에 맞게 게이트를 배치해 회로 깊이를 최소화. 표현력은 UCCSD에 비해 제한될 수 있다.

해밀토니안 분해와 측정

분자 해밀토니안은 파울리 연산자의 선형 결합으로 분해된다:

$\hat{H} = k \sum c_{k} \hat{P}_{k}, \hat{P}_{k} \in {I, X, Y, Z}^{\otimes n}$

각 파울리 항의 기댓값 $⟨ \hat{P}_{k} ⟩_{θ}$ 를 양자 장치에서 반복 측정으로 추정한 뒤, 고전 컴퓨터에서 가중 합산하여 에너지를 계산한다:

$E (θ) = k \sum c_{k} ⟨ \hat{P}_{k} ⟩_{θ}$

파라미터 이동 규칙

기울기 기반 최적화가 필요할 때, **파라미터 이동 규칙(parameter-shift rule)**을 이용하면 양자 회로 자체에서 정확한 편미분을 계산할 수 있다:

$\frac{\partial E}{\partial θ _{k}} = \frac{E ( θ + \frac{π}{2} e ^ _{k} ) - E ( θ - \frac{π}{2} e ^ _{k} )}{2}$

이는 유한 차분과 달리 근삿값이 아닌 정확한 기울기를 제공하며, 회로를 두 번만 추가 실행하면 된다.

고전 최적화 루프

COBYLA, SPSA, Adam 등의 고전 최적화기가 $E (θ)$ 를 목적 함수로 삼아 $θ$ 를 반복 갱신한다. 양자 장치는 기댓값 추정만 담당하고, 매개변수 업데이트는 고전 컴퓨터가 처리하는 하이브리드 루프 구조가 VQE의 핵심이다.

예시·응용

H₂ 분자 에너지 계산 (Qiskit 예시)

from qiskit.circuit.library import TwoLocal
from qiskit.quantum_info import SparsePauliOp
from qiskit.primitives import Estimator
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import COBYLA

# H2 해밀토니안 (STO-3G 기저, Jordan-Wigner 변환 후)
hamiltonian = SparsePauliOp.from_list([
    ("II", -1.0523732),
    ("IZ",  0.3979374),
    ("ZI", -0.3979374),
    ("ZZ", -0.0112801),
    ("XX",  0.1809312),
])

# 하드웨어 효율적 안사츠
ansatz = TwoLocal(2, ["ry", "rz"], "cx", reps=1)

# VQE 실행
vqe = VQE(Estimator(), ansatz, COBYLA(maxiter=300))
result = vqe.compute_minimum_eigenvalue(hamiltonian)
print(f"바닥 상태 에너지: {result.eigenvalue:.6f} Hartree")

응용 분야

분야	내용
양자 화학	분자 에너지 면, 반응 경로 계산
재료과학	강상관 전자계(Hubbard 모델 등) 모델링
조합 최적화	QUBO 문제의 바닥 상태 탐색

바렌 고원 문제

안사츠의 깊이나 큐비트 수가 증가하면 기울기가 지수적으로 소멸하는 바렌 고원(barren plateau) 현상이 발생한다. 랜덤하게 초기화된 깊은 회로에서 기댓값의 분산은

$Var [\frac{\partial E}{\partial θ _{k}}] \sim O (2^{- n})$

으로 감소하여, 유의미한 기울기 신호를 얻기 위해 지수적인 샷 수가 필요하게 된다. 이를 완화하기 위해 계층적 안사츠, 지역 비용 함수, 사전 훈련(pre-training) 기법 등이 활발히 연구되고 있다.

정리

VQE는 변분 원리 → 매개변수화된 양자 안사츠 → 파울리 기댓값 측정 → 고전 최적화의 순환 구조로 동작한다. NISQ 장치의 실용적 제약을 고려한 설계 덕분에 현재 구현 가능한 양자 이점 시연의 핵심 후보로 자리한다. 그러나 바렌 고원, 샷 노이즈, 안사츠 표현력 한계, 지역 최솟값 수렴 등 해결해야 할 과제가 남아 있어, 알고리즘적·하드웨어적 개선이 동시에 요구된다.

Summary

핵심 정리

01변분 원리에 따라 임의의 시험 상태 기댓값은 반드시 바닥 상태 에너지 이상이므로, 기댓값 최소화가 곧 바닥 상태 근사로 이어진다.
02안사츠는 탐색 공간을 결정하며, UCCSD(물리 기반)와 하드웨어 효율적 안사츠(HEA) 중 문제와 장치에 맞게 선택한다.
03해밀토니안을 파울리 연산자의 선형 결합으로 분해하고, 각 항의 기댓값을 양자 장치에서 측정한 뒤 고전 컴퓨터에서 합산한다.
04파라미터 이동 규칙을 통해 양자 회로에서 정확한 기울기를 효율적으로 계산할 수 있다.
05큐비트 수·회로 깊이 증가 시 바렌 고원 현상이 나타나 훈련이 지수적으로 어려워진다.
06VQE는 양자 화학, 재료과학, 조합 최적화 등 다양한 분야에 적용 가능한 범용 하이브리드 알고리즘이다.

Exercises

연습문제

Q1변분 원리의 부등식 $E_0 \leq \langle\psi|\hat{H}|\psi\rangle$은 왜 항상 성립하는가? $\hat{H}$의 고유상태 전개를 이용해 증명하라.
힌트 보기
$|\psi\rangle = \sum_k \alpha_k |E_k\rangle$ ($\hat{H}|E_k\rangle = E_k|E_k\rangle$)로 전개한 뒤 기댓값을 계산하고, $E_0$를 하한으로 취하는 과정을 따라가 보라.
해설 보기
$|\psi\rangle = \sum_k \alpha_k |E_k\rangle$로 전개하면 $\langle\psi|\hat{H}|\psi\rangle = \sum_k |\alpha_k|^2 E_k$이다. $E_0 \leq E_k$ for all $k$이고 $\sum_k |\alpha_k|^2 = 1$이므로, $\sum_k |\alpha_k|^2 E_k \geq E_0 \sum_k |\alpha_k|^2 = E_0$. 등호는 $|\psi\rangle$이 정확히 바닥 상태일 때 성립한다.
Q2파라미터 이동 규칙에서 이동량이 $\pm\pi/2$인 이유는 무엇인가? 게이트가 $U(\theta) = e^{-i\theta G}$ ($G^2 = I/4$) 형태일 때 유도하라.
힌트 보기
$G$의 고유값이 $\pm 1/2$임을 이용해 $U(\theta)$를 $\cos\theta \cdot I - 2i\sin\theta \cdot G$로 나타낸 뒤, $\partial E/\partial\theta$를 계산하라.
해설 보기
$G$의 고유값 $\pm 1/2$를 이용하면 $e^{-i\theta G} = \cos(\theta/2)I - 2i\sin(\theta/2)G$가 된다. 편미분을 계산하면 $\partial E/\partial\theta = \frac{1}{2}[E(\theta+\pi/2)-E(\theta-\pi/2)]$의 형태가 도출되며, 이는 $r=1/2$인 파라미터 이동 규칙에 해당한다. 일반적으로 $U(\theta)=e^{-i\theta G}$에서 $G$의 고유값이 $\pm r$이면 이동량은 $\pi/(4r)$이 된다.
Q3바렌 고원 현상이 VQE 훈련에 미치는 실질적 영향을 설명하고, 이를 완화하기 위한 방법 두 가지를 제시하라.
해설 보기
바렌 고원에서는 기울기의 분산이 $O(2^{-n})$으로 감소하여, 기울기 추정에 필요한 샷 수가 지수적으로 증가한다. 이는 최적화기가 이동 방향을 잃게 만들어 훈련을 사실상 불가능하게 만든다. 완화 방법으로는 ①**지역 비용 함수 사용**: 전역 측정 대신 소수 큐비트의 부분 측정을 목적 함수로 삼아 기울기 소멸을 늦춘다. ②**계층적 사전 훈련**: 회로를 작은 블록으로 나눠 순차적으로 최적화한 뒤 전체를 미세 조정함으로써, 랜덤 초기화에서 벗어나 유의미한 기울기 영역에서 시작한다.