Ex) Article Title, Author, Keywords
Ex) Article Title, Author, Keywords
New Phys.: Sae Mulli 2024; 74: 1072-1079
Published online October 31, 2024 https://doi.org/10.3938/NPSM.74.1072
Copyright © New Physics: Sae Mulli.
Taeung Kim, Ara Go*
Department of Physics, Chonnam National University, Gwangju 61186, Korea
Correspondence to:*arago@jnu.ac.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/4.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Hamiltonian-based impurity solvers for dynamical mean-field theory (DMFT) approximate a continuous hybridization function with a finite set of effective bath orbitals to keep computational costs manageable. This process involves minimizing a cost function that quantifies the difference between the hybridization function of the continuous bath and that of a finite number of bath orbitals. However, as the number of effective bath orbitals increases, minimizing a multi-dimensional cost function becomes increasingly complex, and the computational expense of optimizing bath parameters escalates. To address these challenges, we employ a machine learning approach using supervised learning to replace computationally intensive tasks. We test various features and labels to identify efficient machine-learning models capable of bypassing the time-consuming bath fitting procedure.
Keywords: Machine learning, Bath fitting, Dynamical mean-field theory
동적 평균장 이론(dynamical mean-field theory, DMFT)에서 해밀토니안 기반의 불순물 풀이개(impurity solver)는 계산비용을 관리 가능한 수준으로 유지하기 위해 연속적인 혼성함수(hybridization function)를 유한한 유효 저장소로 환원한다. 이 과정은 연속 혼성함수와 유한한 수의 저장소 궤도의 혼성함수를 정량적으로 나타내는 비용함수를 최소화하는 방식으로 이루어진다. 다만 유효 저장소의 수가 증가함에 따라 다차원 비용 함수의 최소화 문제가 복잡해지고 최적화된 매개변수를 찾기 위한 계산 비용이 더욱 증가한다. 우리는 이러한 문제의 해결방안으로 계산 집약적인 작업을 대체하기 위해 지도 학습을 통한 기계 학습 접근 방식을 도입한다. 본 논문에서는 여러 속성과 꼬리표를 시험하여 시간 소모가 큰 저장소 맞춤 과정을 우회할 수 있는 효율적인 기계 학습 모형을 식별한다.
Keywords: 기계 학습, 유효 저장소 맞춤, 동적 평균장 이론
기계 학습은 계산 분야에서 계산자원을 절감할 수 있는 강력한 도구로 응집물질물리 분야에서도 널리 활용되고 있다[1-6]. 한편 동적 평균장 이론[7, 8]과 그 확장인 송이 동적 평균장 이론(cluster dynamical mean-field theory, CDMFT)[9-14]은 강상관 전자계를 다루기 위한 일반적 접근법으로 자리 잡았으나, 상호작용으로 인한 필요 계산자원 증가가 보다 넓은 범위에 대한 응용을 가로막고 있는 상태이다. 따라서 최근 기계 학습을 활용하여 동적 평균장 이론의 효율을 개선하려는 시도 역시 이어지고 있다[15-19]. 동적 평균장 이론에 대한 기계 학습 연구는 불순물 풀이개(impurity solver)를 개선하는 데 중점을 두는 경우가 많으나, 본 연구에서는 유효 저장소 맞춤 개선을 다루고자 한다.
격자계에 대한 동적 평균장 이론은 무한한 공간에서 상호작용하는 다체문제를 국소 불순물과 이를 둘러싼 유효 저장소로, 즉 불순물 모형으로 대응시킨다. 이 불순물 모형은 본래의 격자계에 비해 현저히 작은 수의 자유도를 가지지만 여전히 상호작용하는 다체문제이므로 이를 효과적으로 다룰 수 있는 방법론, 예를 들면 정확한 대각화(exact diagonalization, ED)[12, 20]와 양자 몬테 카를로 알고리즘(quantum Monte Carlo algorithm, QMC)[21, 22]과 같은 불순물 풀이개가 필요하다. 불순물 모형의 해는 격자에 대한 병진 운동 대칭성이 만족된다는 가정 아래 유효 저장소를 갱신하는 과정에 이용되며, 이러한 과정이 자체모순없는 해를 얻을 때까지, 달리 표현하면 유효 저장소가 더 이상 유의미하게 변하지 않을 때까지 반복된다. 유효 저장소를 갱신하는 방식은 불순물 풀이개에 따라 다르다. 해밀토니안 기반 불순물 풀이개의 경우 계산에 포함할 수 있는 유효 저장소 궤도 수가 제한되므로, 이 갱신 과정에서 본래는 연속적인 유효 저장소 혼성함수를 유한한 수의 궤도로 나타내야 한다. 일반적으로 연속 혼성함수와 유한한 궤도로 표현되는 혼성함수 사이의 차이를 정량화하여 비용함수를 정의한 뒤 해당 비용함수를 최소화하는 방식으로 다음 회차를 위한 유효 저장소 매개변수를 추출하는데, 이 과정을 유효 저장소 맞춤이라고 한다[23-25].
이 비용함수는 많은 국솟점을 가지는 비선형 다변수함수이기 때문에, 비용함수 최소화 과정이 초기 저장소 매개변수 추정값에 크게 의존하게 된다. 최적 조합을 찾는 과정에 많은 반복 계산이 필요함에 따라 높은 계산비용이 발생하는데, 유효 저장소 매개변수의 수가 증가할수록 국솟점의 수가 증가하여 기대 계산비용 역시 빠르게 증가한다. 따라서 불순물 풀이개를 개선하여 보다 많은 수의 궤도를 불순물 모형에 포함할 수 있게 된다고 하더라도, 이 저장소 맞춤 과정을 효율적으로 수행할 수 있어야만 불순물 풀이개의 성능을 효과적으로 활용할 수 있다.
저장소 맞춤, 즉 혼성함수로부터 유효 저장소 매개변수를 추출하는 과정은 앞서 기술한 바와 같이 높은 계산비용을 요구하는 문제이지만, 주어진 저장소 매개변수로부터 혼성함수를 계산하는 과정은 단순 연산의 조합에 불과하다. 본 연구에서는 특정 제한조건 하에 무작위로 생성된 유효 저장소 매개변수로부터 혼성함수를 계산하여 자료집합을 구성하고, 이 자료집합을 통해 훈련시킨 모형이 시험집합에 대해 우수한 성능을 보이기 위한 조건을 특정한다. 이를 위해 랜덤 포레스트(random forest), 선형회귀 등의 다양한 기계 학습 방법론을 시도하였으나, 본 논문에서는 그중 가장 우수한 성능을 보인 지도 학습의 커널 능형 회귀(kernel ridge regression, KRR) 모형[16, 17]을 다룬다.
논문의 구성은 다음과 같다.
양자 불순물 모형의 유효 저장소 혼성함수는 아래와 같이 기술된다[26-28].
여기서
동적 평균장 이론에서는 자체 모순 없는 해를 구하기 위해 국소 격자 그린함수로부터 추출한 혼성함수가 불순물 모형의 혼성함수와 충분히 가까워질 때까지 지속적으로 혼성함수를 갱신한다.
물리적 직관에 따라 설정한 초기 저장소 매개변수에 대해 양자 불순물 모형을 풀어 자체 에너지를 얻고, 해당 자체 에너지가 격자의 국소 자체 에너지를 대체한다는 가정 하에 격자 그린함수를 아래와 같이 계산한다.
이때
이렇게 계산된 국소 격자 그린함수로부터 다이슨 방정식(Dyson's equation)을 통해 상호작용 없는 격자 그린함수를 얻을 수 있다.
이때
이 혼성함수는 격자로부터 계산된 것으로 격자 내의 무한히 많은, 연속적인 저장소 전자궤도의 영향을 반영하고 있다. 만약 동적 평균장 이론의 자체모순 없는 해를 얻었다면, 위 식의 격자 혼성함수는 Eq. (1)의 불순물 혼성함수와 충분히 가까워야한다. 그렇지 못하면 유효 저장소 맞춤으로, 다시 말해 위 혼성함수로부터 불순물 매개변수를 추출하는 것으로 자체모순 없는 해를 얻기 위한 다음 회차의 동적 평균장 이론 계산을 시작한다[9, 29]. 이때 동적 평균장 이론의 가정에 따라 불순물 모형과 격자의 국소 자체에너지가 동일하다면 격자 혼성함수와 불순물 혼성에너지의 차는 상호작용 없는 그린함수의 차와 같다. 그러므로 유효 저장소 맞춤은 아래와 같이 정의된 비용함수
유효 저장소 맞춤을 거쳐 얻어낸 저장소 매개변수로 불순물 모형을 구성하고, 불순물 풀이개로부터 새로이 얻은 자체 에너지로 Eq. (2)로부터 저장소 맞춤까지의 과정을 충분히 수렴된 해를 얻을 때까지 반복한다.
일반적으로 Eq. (6)는 다수의 국솟점을 가지기 때문에 경사 하강법 계열 방법으로 저장소 매개변수를 추출하는 과정은 상당한 계산 비용을 소모한다. 반면 저장소 매개변수가 주어졌을 때 Eq. (1)을 통해 혼성함수를 구하는 과정은 단순 사칙연산의 조합이다. 따라서 뒤의 과정을 통해 충분히 큰 자료집합을 구성하고 기계 학습 모형을 훈련시킴으로써 앞의 과정을 보다 효율적으로 수행한다면 기존 동적 평균장 이론의 효율을 크게 개선시킬 수 있다.
우리가 훈련시킬 모형의 목적은 혼성함수로부터 유효 저장소 매개변수를 추출하는 것이다. 이때 기계 학습에서 사용되는 m번째 훈련 표본에 대한 속성을
커널 능형 회귀는 일반적으로 시험 표본의 속성
m은 훈련 표본을 나타내고, 계수
여기서
훈련 표본 m에 대한 계수
여기서
유효 저장소 매개변수와 혼성함수 사이에는 다음과 같은 합-규칙(sum-rule)이 성립해야 한다[23].
마츠바라 그린함수는 n이 무한대인 극한에서 n이 증가함에 따라
불순물-저장소 혼성 세기 V와 오비탈 에너지 ε는 각각 [0, 0.75] 및 [-3, 3]의 범위 내에서 분포하도록 설정하였다. 이러한 에너지 값들은 물론 동적 평균장 이론을 적용하는 대상 계에 따라 크기가 달라질 수 있다. 만약 기계 학습 모형을 적용코자 하는 대상 혼성함수의 에너지 분포가 훈련집합과 다르다면, 먼저 에너지 눈금을 일괄 조정하여 에너지 분포 범위를 일치하게 한 뒤 Eq. (11)에 따라 V의 값을
본 연구에서는 저장소 매개변수 V와 ε을 다양한 조건으로 생성하여 해당 자료집합에 대한 기계 학습의 성능을 시험하였다. 저장소 매개변수는 크게 표본-의존적(sample-dependent), 또는 표본-비의존적(sample-independent)인 경우로 분류되며, 이는 Fig. 1에서 확인할 수 있다. 에너지 ε는 표본-의존적 유형에서 추가적으로 세가지 유형으로 나뉜다: 첫 번째 유형(Fig. 1(a,e))에서는 가장 낮은 에너지를 임의로 설정하고 나머지 에너지가 일정한 간격을 유지하도록 한다. 이때 최고 에너지와 최저 에너지 사이 간격을 3으로 설정하였다. 두 번째 유형(Fig. 1(b,f))에서는 최고 에너지와 최저 에너지를 임의로 설정한 후, 나머지 에너지들이 이 두 값 사이에 등간격으로 분포하도록 한다. 마지막 유형(Fig. 1(c,g))에서는 모든 에너지가 -3과 3 사이에서 무작위로 분포된다. 불순물-저장소 혼성 세기와 에너지가 모두 표본-비의존적인 경우는 모든 표본이 같은 꼬리표를 가져 기계 학습의 대상이 될 수 없으므로 다루지 않는다.
기계 학습 모형에서 사용할 속성으로는 1. 허수진동수에서의 혼성함수(
τ는 허수 시간(imaginary time),
기계 학습에서는 개별 표본 결과를 검토하는 것보다는 통계적 성능 지표를 통해 모형의 일반화 능력을 평가하는 것이 중요하다. 가장 흔히 사용되는 성능 지표 중 하나인 평균 제곱 오차(mean squared error, MSE)는 다음과 같이 정의된다.
여기서 n은 총 학습 표본의 개수,
이는 목표값
Equation (1)을 사용하여 예측된 유효 저장소 매개변수로 계산된 혼성함수의 정확도를 평가하기 위해, 각 표본에 대한 오차의 절대값 제곱의 평균(mean of absolute squared error)을 다음과 같이 정의한다.
이는 유효 저장소 맞춤에서 일반적으로 사용되는 비용 함수의 정의와 같다.
Figure 1에서 분류된 불순물-저장소 혼성 세기 V와 오비탈 에너지 ε의 유효 저장소 매개변수 조합에 대한 기계 학습 성능을 Fig. 1에서 정량적으로 확인할 수 있다. Figure 1(a–g)에서 묘사된 자료집합을 각각 대응되는 알파벳을 이용하여
하지만 ε이 무작위로 분포되는
특히
본 연구에서는 동적 평균장 이론의 유효 저장소 맞춤 과정을 기계 학습으로 대체 가능한지 검토했다. 단일 궤도와 7개의 유효 저장소를 갖는 경우에 대한 계산을 수행하였으며, 유효 저장소의 에너지가 규칙적으로 분포된 경우에는 불순물-저장소 혼성 세기와 무관하게 훈련 표본의 수가 증가할수록 성능이 향상되었다. 유효 저장소의 에너지 분포가 규칙적인 경우(
이러한 한계를 극복하기 위한 방안으로 두 방향으로의 후속 연구를 추진중이다. 한 가지는 보다 큰 자료집합에 대해 효율적으로 기능함이 알려져 있는 딥러닝 기법(deep learning)을 이용하여 기계 학습 모형을 구축하는 것이고, 다른 하나는 무작위로 생성된 자료집합 대신 물리적 상황에 걸맞게 최적화된 유효 저장소 매개변수를 기반으로 기계 학습 모형을 훈련시키는 것이다. 본 연구의 결과를 기반으로 딥러닝 기반 모형을 위한 자료집합에는 혼성세기 V에 비해 저장소 에너지 ε의 다양성을 보완하고, 최적화된 유효 저장소 매개변수 자료집합은 최대한 물리적으로 유사한 혼성함수들로 구축할 계획이다.
저장소 궤도 수가 증가함에 따라 동일 성능을 달성하기 위해 필요한 훈련 자료의 수가 증가함은 자연스럽다. 다만 훈련 자료 생성에 필요한 계산이 소수의 단순 사칙연산에 불과하기 때문에, 현실적으로 동적 평균장 이론에서 다룰 수 있는 정도의 범위에서는 궤도 수 증가가 자료집합 생성과 훈련에 소모되는 자원에 큰 영향을 주지 않는다. 기계학습 모형의 예측 결과는 동적 평균장 이론에 직접적으로 사용하기에는 정밀도가 다소 부족하지만, 경사하강법 계열의 최적화 방법을 위해 합리적인 초기조건을 제공하여 반복계산을 회피케 하는 데에는 충분하다. 따라서 향상된 방법론은 더욱 많은 수의 저장소 궤도를 포함한 동적 평균장 이론 계산의 효율을 크게 높일 것으로 기대된다.
이 논문은 전남대학교 학술연구비(과제번호: 2021-2367)와 한국연구재단 우수신진연구(NRF-2021R1C1C1010429) 지원에 의하여 연구되었습니다.