변분 양자 고유값 계산(VQE): 하이브리드 양자-고전 알고리즘

먼저 읽으면 좋은 용어

개념 소개

양자 시스템의 바닥 상태 에너지를 구하는 문제는 양자 화학과 재료 과학의 핵심 과제다. 분자 크기가 커질수록 힐베르트 공간의 차원은 지수적으로 증가하므로 고전 컴퓨터로는 정밀한 시뮬레이션이 어렵다. 양자 컴퓨터는 이 공간을 자연스럽게 표현할 수 있지만, 현재의 NISQ(Noisy Intermediate-Scale Quantum) 장치는 깊은 회로를 실행하기에 충분한 결맞음 시간을 확보하지 못한다.

VQE는 이 한계를 우회하기 위해 양자 회로와 고전 최적화기를 반복적으로 결합하는 하이브리드 접근법이다. 양자 장치는 에너지 기대값 측정에만 활용하고, 파라미터 갱신은 고전 컴퓨터가 담당함으로써 회로 깊이를 최소화한다.

핵심 원리

변분 원리

VQE의 수학적 토대는 **변분 원리(Variational Principle)**다. 임의의 시험 상태 $∣ ψ ⟩$ 에 대해 다음 부등식이 항상 성립한다.

$E_{0} \leq ⟨ ψ ∣ \hat{H} ∣ ψ ⟩$

여기서 $E_{0}$ 는 해밀토니안 $\hat{H}$ 의 최저 고유값이다. 어떤 시험 상태를 사용하더라도 그 에너지 기대값은 바닥 상태 에너지 이상이므로, 기대값을 최소화하는 최적화 문제로 변환할 수 있다.

앤사츠(Ansatz)

파라미터화된 양자 회로 $U (θ)$ 를 통해 시험 상태를 생성한다.

$∣ ψ (θ)⟩ = U (θ) ∣0 ⟩^{\otimes n}$

$θ = (θ_{1}, θ_{2}, \dots, θ_{m})$ 은 고전 최적화기가 조정하는 파라미터 벡터다. 앤사츠 설계는 VQE 성능에 결정적인 영향을 미치며, 대표적인 형태는 다음과 같다.

UCCSD: 단일·이중 여기(excitation)를 포함하는 유니터리 결합 클러스터 앤사츠로, 물리적 동기가 명확하다.
하드웨어 효율 앤사츠(HEA): 실제 양자 하드웨어 연결성에 맞게 회로 구조를 설계하여 오류를 줄인다.

기대값 추정

해밀토니안은 파울리 연산자의 선형 결합으로 표현된다.

$\hat{H} = k \sum c_{k} \hat{P}_{k}, \hat{P}_{k} \in {I, X, Y, Z}^{\otimes n}$

각 파울리 항의 기대값을 반복 측정하여 총 에너지 기대값을 계산한다.

$E (θ) = k \sum c_{k} ⟨ ψ (θ) ∣ \hat{P}_{k} ∣ ψ (θ)⟩$

파라미터 이동 규칙

파라미터에 대한 기울기는 **파라미터 이동 규칙(Parameter Shift Rule)**으로 양자 회로에서 직접 계산할 수 있다.

$\frac{\partial E}{\partial θ _{i}} = \frac{E ( θ + \frac{π}{2} e ^ _{i} ) - E ( θ - \frac{π}{2} e ^ _{i} )}{2}$

이를 이용하면 유한 차분 근사 없이 정확한 기울기 정보를 얻어 경사 하강법 계열 최적화기를 적용할 수 있다.

최적화 루프

VQE의 전체 흐름은 다음과 같다.

초기 파라미터 $θ^{(0)}$ 설정
양자 회로 $U (θ)$ 실행 → $E (θ)$ 측정
고전 최적화기(COBYLA, SPSA, Adam 등)로 $θ$ 갱신
수렴 조건 만족 시 종료, 그렇지 않으면 2로 반복

예시·응용

수소 분자(H₂)의 바닥 상태 에너지

STO-3G 기저 함수로 표현한 H₂의 해밀토니안은 2큐비트 파울리 연산자의 합으로 나타낼 수 있다. Qiskit을 활용한 간략한 구현 예시는 다음과 같다.

from qiskit.circuit.library import TwoLocal
from qiskit.primitives import Estimator
from qiskit_algorithms import VQE
from qiskit_algorithms.optimizers import COBYLA
from qiskit.quantum_info import SparsePauliOp

# H₂ 해밀토니안 (STO-3G, Jordan-Wigner 변환 후)
hamiltonian = SparsePauliOp.from_list([
    ("II", -1.0523732),
    ("IZ",  0.3979374),
    ("ZI", -0.3979374),
    ("ZZ", -0.0112801),
    ("XX",  0.1809312),
])

# 하드웨어 효율 앤사츠
ansatz = TwoLocal(num_qubits=2, rotation_blocks="ry",
                  entanglement_blocks="cx", reps=1)

# VQE 실행
vqe = VQE(estimator=Estimator(), ansatz=ansatz,
          optimizer=COBYLA(maxiter=300))
result = vqe.compute_minimum_eigenvalue(hamiltonian)

print(f"바닥 상태 에너지: {result.eigenvalue:.6f} Ha")
# 참값: -1.137270 Ha (FCI 기준)

바렌 플래토 문제

앤사츠의 깊이와 큐비트 수가 증가할수록 손실 함수의 기울기가 지수적으로 감소하는 바렌 플래토(Barren Plateau) 현상이 나타난다. 이를 완화하기 위해 국소적 손실 함수 사용, 레이어별 학습(LBFGS), 또는 물리적으로 동기화된 앤사츠 선택 등의 전략이 연구되고 있다.

주요 응용 분야

양자 화학: 분자 바닥 상태 에너지, 반응 경로 및 전이 상태 탐색
재료 과학: 강상관 전자계, 촉매 활성 부위 모델링
조합 최적화: QAOA(Quantum Approximate Optimization Algorithm)와 연계한 최대 컷·포트폴리오 최적화

정리

VQE는 변분 원리를 기반으로 파라미터화된 앤사츠의 에너지 기대값을 반복적으로 최소화하는 하이브리드 알고리즘이다. 회로 깊이 절감을 통해 NISQ 장치에서 실용적으로 동작하지만, 측정 오버헤드·바렌 플래토·앤사츠 표현력 한계 등 해결해야 할 과제가 남아 있다. 이러한 한계를 극복하기 위한 오류 완화 기법과 적응형 앤사츠 연구가 활발히 진행 중이며, VQE는 양자 이점을 가장 먼저 실현할 가능성이 높은 알고리즘 중 하나로 평가받고 있다.

Summary

핵심 정리

01변분 원리에 따라 임의의 시험 상태의 에너지 기대값은 바닥 상태 에너지 이상이며, 이를 최소화함으로써 바닥 상태를 근사한다.
02파라미터화된 양자 회로(앤사츠)가 시험 상태를 생성하고, 고전 최적화기가 파라미터를 반복 갱신하는 하이브리드 구조를 갖는다.
03해밀토니안을 파울리 연산자의 선형 결합으로 분해하여 각 항의 기대값을 양자 회로로 측정·합산한다.
04파라미터 이동 규칙을 통해 근사 없이 정확한 기울기를 양자 회로에서 직접 계산할 수 있다.
05앤사츠 설계(표현력 vs. 회로 깊이)와 바렌 플래토 문제는 VQE의 실용성에 직접적인 영향을 미치는 핵심 과제다.
06NISQ 시대에 양자 화학·재료 과학·조합 최적화 등 다양한 분야에서 양자 이점을 실현하기 위한 선도적 알고리즘이다.

Exercises

연습문제

Q1변분 원리 $E_0 \leq \langle \psi | \hat{H} | \psi \rangle$가 성립함을 보여라. 단, $\hat{H}$의 고유값을 $E_0 \leq E_1 \leq \cdots$, 대응 고유상태를 $|e_k\rangle$로 표기하고 $|\psi\rangle = \sum_k \alpha_k |e_k\rangle$으로 전개하라.
힌트 보기
$\langle \psi | \hat{H} | \psi \rangle = \sum_k |\alpha_k|^2 E_k$임을 먼저 확인하고, $E_k \geq E_0$와 $\sum_k |\alpha_k|^2 = 1$을 활용한다.
해설 보기
$\langle \psi | \hat{H} | \psi \rangle = \sum_k |\alpha_k|^2 E_k \geq \sum_k |\alpha_k|^2 E_0 = E_0 \cdot \sum_k |\alpha_k|^2 = E_0$. 등호는 $|\psi\rangle = |e_0\rangle$일 때 성립한다.
Q2파라미터 이동 규칙을 이용하여 $E(\theta) = \langle \psi(\theta) | \hat{H} | \psi(\theta) \rangle$의 기울기 $\partial E / \partial \theta$를 추정하려 한다. $\theta = 0$일 때 $E(+\pi/2) = -0.8$, $E(-\pi/2) = -0.4$라면 기울기 값은 얼마인가?
해설 보기
파라미터 이동 규칙에 의해 $\partial E / \partial \theta = \bigl[E(\theta + \pi/2) - E(\theta - \pi/2)\bigr] / 2 = (-0.8 - (-0.4)) / 2 = -0.2$.
Q3하드웨어 효율 앤사츠(HEA)와 UCCSD 앤사츠의 장단점을 표현력(expressibility)과 회로 깊이(circuit depth) 측면에서 비교하라.
힌트 보기
UCCSD는 페르미온 물리학에서 유도되어 화학적 타당성이 높지만 회로가 깊다. HEA는 하드웨어 연결성에 최적화되어 깊이가 낮지만 표현력이 제한될 수 있다.
해설 보기
UCCSD는 단일·이중 여기를 포함하여 화학적으로 의미 있는 상태 공간을 탐색하므로 표현력이 높고 결과가 정확하지만, 회로 깊이가 분자 크기에 따라 급격히 증가하여 현재 NISQ 장치에서 오류 누적 문제가 크다. HEA는 게이트 수와 깊이를 하드웨어에 맞게 줄여 오류를 억제하지만, 물리적 동기가 없어 바렌 플래토에 취약하고 특정 문제에서 표현력이 부족할 수 있다. 실용적 선택은 대상 시스템의 크기와 사용 장치의 오류율에 따라 결정된다.