이 연구의 핵심적인 동기는 색상 필터의 분광 정보가 없는 상태에서 이미지 처리의 손실 압축 과정 중에 이상치 (outlier)가 평균화로 손실되는 것과 기계 학습의 변칙 (anomaly) 판별 능력을 이용하여 이미지 분광 반응을 재구성 및 추론하는 것이다. 선행 연구에서 상용 디지털 카메라로 사진을 획득 후 내장형 시스템과 신경망 응용, 이미지 픽셀 분석을 통해서 푸른 가시광선 영역의 색조 (hue)와 파장 (wavelength) 간의 관계를 조사하였다[1, 2]. 이 선행 연구에서 이미지 픽셀 분석은 회절격자, 단일 파장 레이저, 통계적 방법론을 적용한 오프라인 기반 이미지 픽셀 분석을 하였다.

반도체 공정 기술이 고도화되면서 이미지 센서의 광학 요소 공정 기술도 같이 고도화 되었다[3-8]. 3색 컬러 필터는 사람의 시각 반응을 모방한 상용 상보적 금속 산화물 반도체 (complementary metal oxide semiconductor, CMOS) 이미지 센서의 색상 응답에서 중요한 하드웨어적 고려 요소이고, 요구된 색 변환과 샘플링들은 센서의 소프트웨어적 고려 요소이다[9, 10]. 컬러 이미지 대다수는 디스플레이 장치 (terminal display)에서 보기 때문에, 빨강 녹색 파랑 (red green blue, RGB) 또는 표준화된 RGB 색 공간에서 이미지 파일을 저장하기 위해서 정보 여유도 (redundancy) 성질을 이용한다[11, 12]. 정보 여유도는 조합론 응용인 코딩 이론과 확률론 및 통계의 응용인 패턴 인식에서 중요한 주제이다. 여유도 이용 문제는 이미지 처리에 대한 성능 (performance)과 질(quality)의 상충 (trade-off)의 최적화 문제이다[13-16].

초기 컴퓨터 비전의 이미지 분류는 컴퓨터 계산 자원의 한계로 실시간 응용이 어려웠다. 반도체 집적 기술의 발전과 함께 컴퓨터 계산 기술의 발전으로 응용 연구가 수월해졌다. 심층 합성곱 신경망이 이미지 분류에 적합한 신경망 중의 하나이고, 실시간 응용성 연구가 되었다[17]. 자연어 처리 부분에서 제안된 트랜스포머 (transformer)가 컴퓨터 비전에 응용되고 있다[18, 19]. 예를 들어 객체 탐지 분야에서 비전 트랜스포머의 경우, 심층 합성곱 신경망으로 미리 추출된 이미지 집합들이 정보의 복호화/압축 (encoder) 및 복원/해석 (decoder) 구조를 통해 병렬 예측이 가능하여, 기존의 객체 탐지보다 특징 추출과 예측이 동시에 이루어진다. 트랜스포머의 핵심 발상은 2가지이다. 첫째는 정보의 복호화 및 복원 과정에 대한 자기 집중 (self-attention) 구조, 둘째는 그 구조에 대한 데이터의 선행 학습(pre-train)이다. 최근 이미지 신호 프로세서 (image signal processor, ISP) 모듈에서 심층 합성곱 신경망이 적용되고 있다[20]. 심층 합성곱 신경망에 대한 자세한 내용은 총설 논문을 참고할 수 있다[17, 21].

현대적인 CIE 색 공간 등장은 1920년대 후반 이후 색 대응 실험에서 표준 관찰자를 정의한 이후이다[22]. 이미지 처리 분야에서 국제 조명 위원회의 CIELab 표준 색 공간과 비슷하지만 색 공간 간의 변환에 효율적인 YP_bP_r 혹은 YC_bC_r 산업 표준 색공간이 선호된다[22]. 각 가시광선에 대해서 인간의 고유한 색조 반응이 존재한다는 견해에 따라 CMOS 이미지 센서와 ISP에서 인간의 시간 인지 모델이 구현되었다고 가정한다[23].

상용 CMOS 이미지 센서를 이용한 이미지 기반 분광 분석은 센서의 스펙트럼 반응 정보가 필요하다. 상용 CMOS 이미지 센서의 스펙트럼 응답 특성은 제조사가 사용자에게 제공하지 않는다. 레이저 다이오드 선원 혹은 가스 방전 램프 선원과 결합한 회절격자 기반 광학계가 분석 화학 분야에 많이 자주 이용되고 있다[24]. 이미지 기반 분광 분석을 위해, 천문학에 사용되고 있는 가시광선 영역 파장 대비 RGB 코드를 싱글 보드 컴퓨터에 발광다이오드 (light emitting diode, LED) 장착 및 프로그래밍하였다[25, 26]. RGB의 세기 제어 가능 LED를 기준 조명으로 이용하여 심층 합성곱 신경망에 쓰일 훈련 이미지를 생성하였다. 선행 연구와 다르게 색조와 파장 간의 관계식 없이, 훈련 이미지를 학습한 심층 합성곱 신경망이 액체섬광검출용액 (liquid scintillator, LS)의 형광 이미지를 검정하여 나온 판별 점수 (discrimination score)로 스펙트럼 응답의 상관관계를 확인하였다.

1. 이미지 분류를 위한 데이터 생성

아두이노 기본형 (Arduino Uno) 보드의 범용 입출력 포트 (general purpose input and output, GPIO) 보호를 위해, 하드웨어적으로 330 Ω 종단 저항이 접속된 브레드보드 (breadboard)와 GPIO 간의 점퍼선으로 연결 후, 브레드보드에 5 mm 크기의 4극 적녹청 (red-green-blue, RGB) LED 소자를 연결하였다. 소프트웨어적으로 가시광선 파장 대비 RGB 표를 아두이노의 전용 통합 개발 환경인 스케치를 이용하여 C 언어 기반 코드로 구현하였다. 아두이노 보드의 펌웨어에 RGB 코드를 적재 및 실행하여 LED 색을 생성하였다. 암막 틀과 재질은 RGB LED 소자에서 방출된 빛이 확산 반사 (diffuse reflectance) 하여 카메라에 도달하도록 설계하였다. 아두이노, RGB LED 표준 소자 혹은 표면 장착 기구형 (surface mount device, SMD) RGB LED, 암막 틀, 카메라, 그리고 기타 보조 기구를 Fig. 1과 같이 배치하였다. 가시광선 파장 380 nm – 650 nm을 51개로 나누고, 각 가시광선 파장에 해당하는 RGB 색은 아두이노의 GPIO에 연결된 각 LED 소자의 전류 및 전압 세기를 조절하여 생성하였다. 아두이노를 이용하여 생성된 RGB 컬러의 파장에 대한 검증을 위해, 색도계 (colorimeter)와 375, 405, 440 nm인 3개의 레이저 모듈을 사용하였다. 또한, 회절격자 (830 lines/mm) 를 이용하여 아두이노 파장을 검증하였다. 위 방법들을 통해, 각 색상에 해당하는 파장을 생성하였다. Figure 1과 같은 구성에서 훈련 이미지 데이터를 획득하였고, 실제 훈련용 이미지 배열의 한 예로 Fig. 2로 나타내었다. 카메라에 내장된 이미지 신호 프로세서가 수행하는 이미지 처리 영향을 보기 위해, (예를 들어, 원본 (Raw) 이미지와 손실 압축 방법의 표준인 Joint Photographic Expert Group (JPEG)으로 처리된 이미지 간의 차이), 노출 시간을 10초, 5초, 2초, 1초, 0.5초, 그리고 0.2초로 하여 이미지를 획득하였다.

Figure 1. (Color online) Schematic of taking LED digital images for training. Black foam was used as an L-shaped wall. In order to prevent external or stray background light from entering the camera lens, the camera was positioned at 90 degrees to the axis of the LED source.

Figure 2. (Color online) Some of the actual photographed LED images are shown. The wavelength range is from 380 nm to 645 nm.

2. 심층 합성곱 신경망 설정 및 데이터 학습

심층 합성곱 신경망 (deep convolution neural network, CNN)의 모델은 마이크로소프트 연구자들이 연구한 잔차 신경망 (Residual neural Networks, ResNets)을 사용하였다[27]. 잔차 신경망을 사용한 이유는 잔차 신경망은 최신 CNN의 기본적 구조로 이용되며 비전 트랜스포머에 이식되어 호환성이 좋고, 개인 컴퓨터에서 학습된 신경망을 싱글 보드 컴퓨터 (single board computer) 혹은 프로그래밍 가능 집적 회로 (field programmable gate array, FPGA)에 신경망 교환 패키지 (open neural network exchange, ONNX)를 이용하여 효율적으로 이식할 수 있기 때문이다[19, ]. Figure 3은 학습시킨 신경망을 신경망 교환 패키지로 저장 후 시각화 도구를 이용하여 나타낸 입출력 구조이다[29, 30]. 신경망의 입력 텐서는 [24, 3, 1068, 712]인 차원을 가지며, 여기서 24는 일괄 입력 수 (batch size), 3은 RGB 채널, 1068 × 712는 이미지 해상도를 나타낸다. 신경망의 출력 행렬은 [24, 46] 차원을 가지며, 24는 일괄 입력 수, 46은 분류 개수이다. 주어진 전산 자원을 고려하여, 가공되지 않은 (Raw) 이미지 데이터를 JPEG 파일로 변환하고, RGB 픽셀 정규화 후 학습 데이터로 사용, 심층신경망 학습 패키지는 파이토치 (Pytorch)를 사용하였다[32, 33]. Python 데이터 개발 환경에서 구동된 잔차 신경망의 은닉층은 50개 (ResNets50), 학습 일괄 입력 이미지 (batch) 수는 24, 분류할 라벨은 46개, 학습 횟수 (epoch)는 40회, 최대 학습률은 0.005, 가중치 손실은 0.0001, 기울기 크기는 0.5, 손실 함수는 다중 분류를 위한 교차 엔트로피 (cross entropy) 함수, 최적화 함수는 1차 미분 형태인 적응형 운동량 추정 알고리즘 (Adagrad+RMSProp, Adam), 마지막 추론 단계에서 활성화 함수는 비선형 함수 형태인 척도 조정된 지수 선형 함수 (scale exponential linear unit, SELU)를 사용하였다[32-35].

Figure 3. (Color online) The trained deep convolutional neural network was saved as a neural network exchange package for porting implementation to the Internet of Things and embedded systems. The overall structure was visualized by reading the neural network exchange format. The input tensor of the neural network has dimensions [24, 3, 1068, 712], where 24 is the batch size, 3 is the RGB channel, and 1068 × 712 is the image resolution. The output matrix of the neural network has dimensions [24, 46] where 46 is the number of classifications.

3. 검정 데이터 및 학습된 심층 합성곱 신경망

검정 및 검증 이미지 데이터들은 LS의 방출된 빛들을 촬영한 이미지들이다. 이 이미지 생성에 사용된 LS의 용매는 선형알킬벤젠 (linear alkyl benzene, 약칭 LAB, C_nH_2n+1-C₆H₅, n = 10–13), 초순수, 그리고 2-에톡시에탄올 (2-Ethoxyethan-1-ol or ethylene glycol ethyl ether, 약칭 EGEE, C₄H₁₀O₂)을 이용하였다. 또한 사용된 LS의 형광체 (fluor)로 2,5-디페닐 옥사졸 (2,5-diphenyloxazole, 약칭 PPO, C₁₅H₁₁NO), 1,4-비스(5-페닐-2-옥사졸릴)벤젠 (1,4-bis(5-phenyl-2-oxazolyl)benzene, 약칭 POPOP, C₂₄H₁₆N₂O), 1,4-비스(2-메틸렌 틸)벤젠 (1,4-bis(2-methylstyryl)benzene, 약칭 bis-MSB, C₂₄H₂₂), 그리고 6-카르복실 플루오레세인(6-Carboxyfluorescein, 약칭 6-FAM, C₂₁H₁₂O₇) 들을 사용하였다. Figure 4는 검정 및 검증 이미지 데이터 중에서 형광체인 PPO 와 bis-MSB를 2-에톡시에탄올 용매에 용해 및 분산시킨 LS에 9 MeV 전자선을 주입하여 푸른색 빛이 나온 이미지이다. Figure 5(a), 5(b)는 Fig. 4에서 예로 보인 형광 이미지를 학습된 심층 합성곱 신경망에 입력하여, 각 신경망의 은닉층마다 필터링과 학습 진행 양상을 신경망 시각화 패키지를 이용하여, 신경망의 은닉층 일부로 처음과 끝부분을 예로 보인 것이다[31].

Figure 4. (Color online) After dissolving and dispersing the PPO and bis-MSB in 2-ethoxyethanol solvent, 9 MeV electron beam was injected to emit blue light.

Figure 5. (Color online) As an example, the fluorescence image shown as an example in Fig. 4 is input to the trained deep convolutional neural network, and the filtering and learning progress for each hidden layer of each neural network was shown in the beginning and end of the hidden layer of the neural network.

심층 신경망 사용되는 각 용어에 대한 설명은 다음을 참고할 수 있다[36-41]. 합성곱 계층은 입력 데이터와 필터 특징이 구현된 연산 핵(kernel) 간의 합성곱으로 입력의 특징 추출하며, 그 출력을 특징 맵 또는 사상 (feature map)이라고 불린다. Figure 5(a), 5(b)에서 은닉층의 특징 맵의 원소인 8개 출력 이미지 각각은 학습 주기에서 형성된 이미지이다. 총학습 주기를 40개를 설정하였고, 하나의 예로 8개의 학습 주기 동안 각 학습 과정의 특징 맵을 나타낸 것이다. 합성곱의 특징은 이산 수학적으로 입력 배열과 연산 핵의 배열이 중첩된 각 배열 구간의 곱한 후 그 총합이고, 연속 수학적으로 중첩된 정의역에서 두 함수의 곱한 값의 적분이다. 그 중첩 범위의 이동 크기를 스트라이드 (stride)라고 부르며, 합성곱 연산 핵의 병진 이동을 결정한다. 합성곱의 연산 순서를 변경하면 통계학 및 신호 처리 분야에서 교차 상관 (cross-correlation) 혹은 슬라이딩 내적 (sliding inner-product)이다[42-44]. 입력 데이터 주변을 특정 값으로 채우는 것을 패딩 (padding)이라 부르며 필터의 크기, 필터의 이동 범위인 스트라이드가 클수록, 패딩의 폭이 작아질수록 출력 데이터의 크기는 줄어든다. 풀링 (pooling)은 입력과 커널 간의 합성곱의 출력 값을 최대 (maximum sampling) 혹은 평균 추출 (average sampling) 여부에 따라, 최대 풀링 (max pooling) 혹은 평균 풀링 (average sampling)이라고 부른다. 커널 이동 범위 크기인 스트라이드 값과 풀링 크기 값이 같으면, 출력 데이터의 모든 원소를 중복 없이 순회하여 추출할 수 있다. 활성화 계층은 활성화 함수라고 불리며, 입력 (domain)과 출력 (codomain) 간의 관계 및 사상을 뜻하는 함수에 문턱값 개념을 강조하기 위해 활성화 함수라고 부른다. 잔차 신경망의 활성화 계층에서 합성합 계층까지 구조 때문에, 잔차 연결 (residual connection) 구조가 다른 신경망 구조와 구별되며, Fig. 5(a), 5(b)의 단계별 특징 맵을 보는 것과 같이 특징들이 잘 보존됨을 알 수 있다. Figure 5(a)에서 최대 풀링 (MaxPool) 계층에서 학습 경로가 2가지로 분기된다. 분기된 왼쪽 경로는 바로 합성합 계층으로 가고, 또 다른 분기된 오른쪽 경로는 합성곱 >> 활성화 >> 합성곱 계층을 거쳐서 합성합 계층으로 가며, 그 합성합 계층에서 다시 분기된 2개 입력을 합하여 출력한다 (사각 네모 안에 1이라고 표시). Figure 5(b)의 왼쪽 초기 입력단 신경망 구조에서 보인 특성 맵은 합성합 계층에서 출력된 데이터가 다시 활성화 계층에서 입력되어, 정해진 활성화 함수에 따라 출력된 것이다. 완전 연결 계층 (fully connected layer)은 합성곱 계층에서 필터링된 데이터의 특징들을 계층 간 이분 그래프 (bipartite graph) 형식으로 비선형 회귀 분석하는 것으로 볼 수 있다. 심층 신경망 패키지에서는 완전 연결 계층을 조밀 (dense) 혹은 선형 (linear) 계층이라 부르며 바로 뒤에 활성화 계층이 붙는다. 평탄화 (flatten) 계층은 심층 신경망의 자료 구조인 텐서 및 행렬 같은 다차원 배열을 1차원 배열로 만들어주는 계층이다. 자료 구조의 구현 관점에서 1차원 배열과 다차원 배열은 동등하지만, 차원이 높아지면 계산 복잡도가 높아진다. 일반 행렬 연산 (general matrix to matrix multiplication, GEMM) 계층은 과학 계산용 기초 선형 대수학 서브 프로그램 (basic linear algebra subprograms, BLAS) 중의 하나인 행렬 연산 패키지 (GEMM)가 내장된 계층을 말한다.

4. 분자 분광 스펙트럼 이해 및 학습된 신경망의 예측 결과

Figure 6은 LED 이미지 데이터를 학습한 잔차 신경망이 Fig. 4에서 예로 보인 형광 이미지에 대한 분류 결과를 보인 것이다. 분자 분광광도계로 용매는 LAB, 형광체는 PPO 및 bis-MSB 조합으로 구성된 LS를 측정하였고, 그리고 Fig. 7은 Fig. 6에서 보인 분류 점수를 실제 자외선 및 가시광 분자 분광광도계 (Varian Cary Eclipse, Xe 램프의 시간 분해능의 반치폭은 2 마이크로 초, 최대 순간 등가 출력은 75 kW) 및 UV quartz 10 ml cuvette을 이용하여 얻은 측정 데이터의 척도를 같게 하여 비교한 것이다. LS의 용매와 형광체의 구성은 형광체의 탈 여기 과정 중에서 비 복사 및 복사 전이 과정 중 형광 전이를 우선적 고려하여 구성한다. LAB+PPO+bis-MSB 분광 측정 데이터와 EGEE+PPO+bis-MSB 형광 이미지 기반의 신경망 예측 파장 간의 차이는 약 10 nm 정도이다. 중성미자 검출에서 사용되는 LS의 용매와 용질/형광체에 특성과 그 스펙트럼 해석, 밀도 범함수 코드에 관한 내용은 다음 문헌을 참조할 수 있다[45-50].

Figure 6. (Color online) The classification score for the fluorescent image shown in Fig. 4 as an example of the residual neural network trained on LED image data. The result is ``score for label: tensor ([-1.72, 5.40, 10.31, 12.66, 15.53, 18.77, 20.25, 13.26, 5.67, 6.20, 0.86, -1.72, -1. 72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1. 72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72, -1.72], device=cuda:0, grad_fn=〈EluBackward0〉)".

Figure 7. (Color online) The classification score shown in Fig. 6 was compared with the emission spectrum data of the actual UV-visible molecular spectrometer by adjusting the scale.

이 논문은 이미지 기반 분광 분석을 위한 CNN의 응용성을 제안하고 확인하는 것이다. 실증적인 예로, 상용 CMOS 이미지 센서를 사용하여 LS의 형광 이미지를 획득하고, 이 이미지를 학습하여 한 번도 보지 않은 LS의 형광 이미지의 최고점 파장을 실제 분광 데이터 대비 10 nm 이내 수준으로 분류하였다. 이 결과는 많은 의미를 함의한다. 첫째로, 회절격자 및 레이저로 주어진 파장을 생성하여 주어진 파장에 대한 카메라 색 반응의 이미지 데이터로, 역문제 응용으로 상용 CMOS 이미지 센서의 컬러 필터에 대한 분광 반응을 재구성할 수 있는 실마리를 제공한다. 둘째로, 이 연구에서 사용된 시각화 패키지를 이용하여 신경망 학습 이해를 좀 더 심화 할 수 있다. 셋째로 계산 자원이 확보된 내장형 시스템에 비전 트랜스포머 이식 가능성 확인하였다. 넷째로 실제 중성미자 실험 운용상, LS 스펙트럼에 영향을 줄 수 있는 불순물 존재하는 경우, 그 LS의 이론적 밀도 범함수를 연구하여야 한다. 이러한 사실을 바탕으로 비전 트랜스포머가 이식된 내장형 시스템 구현과 그 최적화 연구가 필요하며, 이에 대한 연구를 착수하였다.

이 논문은 2018, 2020, 2021년도 정부 (교육부)와 2022년도 정부 (과학기술정보통신부)의 재원으로 한국연구재단의 기초연구사업 (2018R1D1A1B07051126), 지역 우수 과학자사업 (2020R1I1A3066835), 중견연구사업 (2022R1A2C1006069), 중점연구소지원사업 (2021R1A6A1A03043957), 선도연구센터 (2022R1A5A1030700) 및 전남대학교 연구자역량고도화사업 지원을 받아 수행된 연구입니다.