Ex) Article Title, Author, Keywords
Ex) Article Title, Author, Keywords
New Phys.: Sae Mulli 2024; 74: 69-83
Published online January 31, 2024 https://doi.org/10.3938/NPSM.74.69
Copyright © New Physics: Sae Mulli.
Taejin Byun1, Jeongwoo Park2*
1Department of Science Education, Gwangju National University of Education, Gwangju 61204, Korea
2Elementary Education Research Institute, Jeju National University, Jeju 63294, Korea
Correspondence to:*jeongwooid@jejunu.ac.kr
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
This study aimed to extract the characteristics of domestic research related to HMD through literature research and to derive implications for the use of HMD in physics education. A total of 161 papers were retrieved through a keyword search of the database, and 120 papers were selected for analysis based on abstract review. As a result of the study, HMD-related papers could be classified into three types: technical element related to HMD, effect and influence using HMD, and development and application of contents utilization with HMD. The technical elements related to HMD involve physical improvements, such as optical design, and software improvements, such as increased processing speed. The Effect and influence using HMD include positive effects, such as improved long-term memory based on a sense of presence, and negative effects, such as motion sickness. In terms of the development and application of contents utilization with HMD, we found information regarding the transition to the virtual world and the effects of developing and applying content for education and training.
Keywords: HMD, Head Mounted Display, Augmented Reality, Virtual Reality, Physics Education
본 연구에서는 문헌 연구를 통해 HMD 관련 국내 연구의 특징을 도출하고 HMD의 물리교육 관련 활용을 위한 시사점을 도출하고자 하였다. 논문 데이터베이스의 키워드 검색을 통해 161편의 논문이 검색되었으며 초록 검토를 통해 선정된 총 120편의 논문이 분석되었다. 연구 결과 HMD 관련 논문은 HMD 관련 기술적 요소, HMD 사용에 따른 효과와 영향, HMD 활용 콘텐츠 개발 및 적용과 관련된 3가지 유형의 논문으로 분류할 수 있었다. HMD 관련 기술적 요소에서는 광학적 디자인 등의 물리적 개선과 처리 속도 향상 등의 소프트웨어적 개선이, HMD 사용에 따른 효과와 영향은 실재감을 바탕으로한 장기기억향상 등의 긍정적 영향과 멀미 등의 부정적 영향이, HMD의 활용 콘텐츠에서는 가상세계로의 전환과 교육 및 훈련용 콘텐츠 개발과 적용 효과에 대한 내용을 찾아볼 수 있었다.
Keywords: HMD, 헤드마운트 디스플레이, 증강현실, 가상현실, 물리교육
최근 기술의 발달은 교육의 환경을 다양하게 변화시키고 있다. 이와 같은 교육과 기술의 융합은 에듀테크(EduTech)라는 용어를 통해 강조되고 있는데, 에듀테크는 교육적 활용을 목적으로 설계되었거나 교육 목표 달성에 적합한 하드웨어, 소프트웨어, 서비스를 포함하는 기술 전반을 의미한다[1]. 4차 산업혁명이라고 불리는 최근 주목받고 있는 기술인 인공지능(Artificial Intelligence; AI), 사물인터넷(Internet of Things; IoT), 빅데이터 활용 기술, 가상현실(Virtual Reality; VR) 및 증강현실(Augmented Reality; AR) 등의 기술들이 주목받고 있으며, 이러한 기술이 교육에서도 여러 혁명적인 변화를 가져올 것으로 기대하고 있는데[2,3], 이 중 AR와 VR은 특히 교실 현장의 변화에 큰 영향을 줄 것으로 기대되고 있다[4,5]. AR 및 VR은 시공간적 한계를 극복하여 학습자의 경험을 확장 시켜줄 수 있으며[6,7], 다양한 표상을 선택적으로 동시에 제공할 수 있다는 점에서 학습자의 이해를 도울 수 있다[8,9].
AR와 VR의 교육적 활용에 대한 관심은 정부 정책에서도 찾아볼 수 있다. 교육부에서는 AR 및 VR을 이용한 과학 및 융합 탐구 활동이 가능한 지능형 과학실을 2024년까지 전국에 보급하겠다는 계획을 발표하는 등 다양한 환경적 기반 마련을 위해 노력하고 있다[10]. 또한, 2016년에는 게이미피케이션을 적용한 과학콘텐츠 온라인 플랫폼인 ‘사이언스 레벨업(http://www.sciencelevelup.com)’을 개발하고, 2018년에는 디지털 교과서 내에 AR 및 VR 콘텐츠가 탑재되는 등 AR 및 VR을 활용한 교육자료 개발이 활발하게 이뤄지고 있다[11,12]. 이러한 관심도 증가와 정책적 지원에도 불구하고 개발된 관련 콘텐츠를 구체적으로 들여다 보면 여전히 한계를 발견할 수 있다. 국외 과학교육 관련 AR 및 VR 연구의 대부분은 AR 및 VR의 원리나 사용 방법을 단순히 소개하거나 자신이 개발한 AR 및 VR 과학교육 콘텐츠를 소개하는 수준의 연구가 주로 수행되고 있으며, 이것은 국내도 크게 다르지 않다[13-15]. 국내의 과학교육 관련 AR 및 VR 관련 연구의 동향을 조사한 연구에 따르면 국내의 AR 및 VR 관련 과학 교육 연구는 과학 내 영역별 연구가 불균등하게 수행되고 있음이 확인되는데, 물리나 화학 영역이 지구과학이나 생물 영역보다 상대적으로 적게 연구되었음을 보고하고 있다[15].
AR 및 VR의 장점으로 주로 언급되는 것은 몰입감, 흥미도, 입체적 관찰 등이 있다[16-18]. AR 및 VR 콘텐츠는 PC, 스마트 기기 및 HMD(Head Mounted Display)의 장비를 이용해 실행될 수 있으며, 최근에는 PC보다는 스마트 기기나 HMD를 사용해 주로 실행되고 있다. 이중 HMD는 사용자가 머리에 착용하고 콘텐츠를 경험할 수 있게 해줄 수 있는 장비이며, 크게 VR-HMD와 AR-HMD 장비로 구분할 수 있다. VR-HMD의 경우 화면을 통해 가상공간에 대한 몰입감을 제공해주는 장점이 있는 동시에 주변 시야를 차단함으로써 필연적으로 생성되는 문제점이 있다. 반면 AR-HMD의 경우 반투명한 스크린을 통하여 실제 물체에 가상의 물체를 겹쳐 보여주기 때문에 높은 실재감을 제공하고 앞서 언급한 문제점을 해결할 수 있어 많은 기대를 받고 있다. HMD의 상대적으로 낮아진 가격은 학교 현장의 HMD 보급에 도움을 주고 있으며[10], HMD에 대한 관심이 과학교육에서 증가하고 있음을 확인할 수 있다[15].
하지만 실제 교실현장에서는 AR 및 VR을 구현하는 장치로 태블릿이나 스마트폰과 같은 스마트 기기를 주로 사용하고 있다[19,20]. 그 이유는 HMD 기기가 스마트 기기에 비해 학교에서의 보급이 아직 충분치 못하며, 교사의 HMD 관련 경험이 구글 카드보드와 같은 과거의 낮은 해상도 제품에 국한되었기 때문이다[19]. 또한, 한글로 된 콘텐츠를 선호하는 국내 교사의 특징을 고려하였을 때, 부족한 HMD 한글 콘텐츠 역시 학교 보급률을 낮추는 이유가 되었을 것으로 짐작할 수 있다.
HMD 관련 물리교육 콘텐츠는 국외 연구에서도 충분하지 않음을 확인할 수 있다. 물리교육 관련 국외 주요 학회지인 American Journal of Physics (AJP), European Journal of Physics (EJP), Physical Review Physics Education Research (PRPER), The Physics Teacher (TPT)에서 HMD로 논문을 검색한 결과, HMD 관련 논문은 PRPER과 EJP에서 각각 한 편씩 확인할 수 있었다1. PRPRE에서 검색된 논문은 AR-HMD의 사용이 전기회로 문제 풀이에 영향을 주는지 확인한 논문이며[21], EJP의 한 편은 평소에 가보기 어려운 핵 물리학 실험실을 VR-HMD로 구현해 놓은 개발 자료를 소개한 논문이었다[22]. 이처럼 아직 HMD관련 물리교육 논문은 부족하며 개발을 위해 다양한 다른 분야의 연구를 우선 참고할 필요가 있다. 이에 본 연구에서는 문헌 연구를 통해 HMD 관련 국내 연구의 경향과 특징을 도출하고 물리교육 연구에서 HMD의 활용을 위한 시사점을 도출하고자 하였다.
본 연구는 국내 HMD 관련 연구를 분석하여 과학교육과 관련한 시사점을 얻고자 하는 목적에 맞춰 이루어졌으며, 연구 대상이 되는 논문 선정은 2단계로 이루어졌다. 1단계는 데이터베이스 검색 단계로, 한국학술지인용색인(KCI)에서 키워드를 ‘HMD’로 설정하고, 주제 분류에서는 사회과학, 자연과학, 복합학으로 제한하였다. 또한 학술지 수준을 고려하여 KCI 등재지만 대상으로 하여 논문을 추출하였다. 이러한 과정을 통해 총 161편의 논문이 추출되었다. 2단계는 본 연구과 관련성을 확인하기 위한 초록 및 본문 검토가 이루어졌다. 연구진은 161건의 논문의 초록을 읽고, 본 연구가 관련성이 낮은 논문을 연구 대상에서 제외하였다. 예를 들어 HMD3125T(박테리아 균주), HMDST(화합물) 관련 논문은 HMD라는 키워드 때문에 추출되었을 뿐 본 연구와 무관하기에 제외하였고, 키워드나 초록에 HMD라는 용어가 포함되었지만, 초록이나 본문 내용에서 HMD에 대해 거의 다루지 않고 시사점에서만 HMD의 활용 가능성을 언급한 논문들이 몇 편 존재하였다. 이러한 과정을 통해 최종 120편의 논문이 연구 대상에 포함되었다. 연구대상 논문은 Appendix에서 확인할 수 있다.
본 연구에서 분석은 근거 이론(grounded theory)에 기반하여 반복적 비교(constant comparison)과 개방형 코딩(open coding)에 의해 이루어 졌다[23]. 근거 이론은 질적 연구 방법론의 하나로 수집된 자료를 근거로 이론적 체계, 과정, 실행 등을 설명하는 연구 방법으로 새로운 분야를 탐색하는 데 적합하다[24]. VR-HMD 장치인 Gear VR이 2014년에 출시되었고, AR-HMD 장치인 HoloLens가 2016년에 출시된 것을 고려하면 HMD와 교육에 관련된 연구는 초창기라고 할 수 있고[15], 기존에 참고할 만한 분석틀이 부족하기에 근거 이론을 기반으로 연구를 수행하기에 적합하다.
분석 과정은 Fig. 1과 같다. 분석은 3단계로 이루어졌는데, 1단계 주제어 추출, 2단계 1차 유목화 및 주제 추출, 3단계 2차 유목화 및 주제 명명의 3단계로 수행되었다. 각 단계에서는 과학교육 전문가 2인이 독립적으로 분석을 수행하고, 화상 회의를 통해 상호 교차 검토를 수행하였다. 이때 이견이 있을 경우 합의에 이를 때까지 논의를 거쳐 최종 분석 결과를 도출하였다. 1단계 분석인 주제어 추출에서는 제목, 초록, 키워드 등에 제시된 디자인, 광학 시스템, 멀미 등 주제어를 추출하였다. 2단계 분석인 1차 유목화 및 주제 추출에서는 사용성 향상, 긍정적 영향, 직업 교육 등의 주제로 유목하였다. 3단계 분석인 2차 유목화 및 주제 명명에서는 크게 3가지 유형으로 유목화하는 데 합의하고, HMD 관련 기술적 요소, HMD 사용에 따른 효과와 영향, HMD 활용 콘텐츠 개발 및 적용으로 명명하였다.
각 영역별 분석에 앞서서 전반적인 연구 경향을 살펴보면 Table 1과 같다. 연도별 경향을 보면 2009년에 콘텐츠 개발과 적용 영역의 논문이 2편 나온 이후로 2010년에는 0편, 2011년에는 2편, 2012년 1편, 2013년 1편, 2014년 1편, 2015년 3편으로 HMD와 관련된 국내 논문이 간헐적으로 생산된 것을 확인할 수 있다. 2016년 8편을 기점으로 관련 논문의 수가 많이 증가하는 것을 확인할 수 있는데, 2021년 한 해를 제외하고는 10편 이상의 논문이 꾸준히 생산되는 것을 볼 수 있다(2023년 데이터는 데이터 수집 시점이 6월임을 감안하면 약 20편이 될 것으로 예상된다). 2021년도에서 논문 편수가 상대적으로 적은 연유에 대해 연구진은 2020년–2021년 기간 코로나19 팬데믹으로 인한 대면 활동 축소와 온라인 수업이 그 까닭으로 추정하였다. HMD 기기의 가정 보급률 등을 고려하면 이 시기에는 연구 활동이 위축되었을 것이라 판단되었다. 영역별 논문 편수를 보면 HMD 관련 기술적 요소 연구가 27편(22.5%), HMD의 효과와 영향 연구가 20편(16.7%)인 반면, HMD 관련 콘텐츠 개발과 적용이 73편(60.8%)으로 절반 이상의 비중을 차지하였다.
Table 1 . Trend of research based on HMD.
Category \ Year | ’09 | ’10 | ’11 | ’12 | ’13 | ’14 | ’15 | ’16 | ’17 | ’18 | ’19 | ’20 | ’21 | ’22 | ’23 | Sum | % |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Technical element | 1 | 1 | 2 | 5 | 4 | 5 | 4 | 1 | 2 | 2 | 27 | 22.5 | |||||
Effect & influence | 1 | 2 | 2 | 4 | 4 | 2 | 4 | 1 | 20 | 16.7 | |||||||
Development & application | 2 | 1 | 1 | 2 | 4 | 9 | 14 | 8 | 8 | 7 | 11 | 6 | 73 | 60.8 | |||
Sum | 2 | 2 | 1 | 1 | 3 | 8 | 16 | 22 | 17 | 14 | 8 | 17 | 9 | 120 | 100.0 |
전체 연구 대상 논문에서 HMD 관련 기술적 요소로 분류된 논문은 총 27편이었다. 27편을 다시 하위 주제로 구분하면 사용성 향상을 위한 연구 7건, 소프트웨어적 개선 연구 11편, 하드웨어적 개선 연구 9건으로 나타났다(Table 2). 소프트웨어적 개선 연구와 하드웨어적 개선 연구 모두 실제 세계와 가상세계 간의 간극을 메우기 위한 기술적 요소이기에 기술적 향상의 중심은 사용성보다 소프트웨어적이나 하드웨어적으로 HMD 기기를 통해 보여주는 영상이 보다 실재감 있게 구현하는 데 목적이 있다고 볼 수 있다.
Table 2 . Technical element related to HMD (n = 27).
Sub category (No. of Articles) | Theme | Articles |
---|---|---|
Usability improvement (7) | Design | \#53, \#68, \#84, \#114 |
Sensor | \#25 | |
Input type | \#36, \#82 | |
Software improvement (11) | Distance perception | \#14, \#56, \#81, \#94, |
Motion perception | \#64 | |
Color perception | \#102 | |
Character recognition | \#20 | |
LED control | \#113 | |
Graphics enhancement | \#19, \#29, \#72 | |
Hardware improvement (9) | Optical system | \#7, \#10, \#26, \#34, \#50, \#87 |
LCD viewing angle | \#111 | |
Holography | \#6 | |
Other (literature research) | \#66 |
주제별로 보다 구체적으로 살펴보면 사용성 향상을 연구는 디자인을 수정하여 사용자의 편의성을 향상시키거나 타 기기와 간섭을 줄이는 연구가 4편, 센서를 추가하는 연구가 1편, 입력 방식을 개선하는 연구가 2편 수행되었다. 예를 들면 HMD 제품이 세계 사용자들을 대상으로 표준화된 규격으로 개발되기에 국내 사용자를 위한 한국인 두상 형태를 고려하여 제품을 개발하고 평가한다든지, 눈 깜빡임일 때 발생하는 신호를 이용하여 손을 사용하지 않는 HMD용 키보드 개발이 여기에 해당한다.
소프트웨어적 개선은 거리, 움직임, 색, 문자 인식 등 인간의 인식과 관련한 연구를 통해 파라미터를 제안하는 방식의 연구이다. 거리 인식과 관련된 연구가 4편으로 많은 부분을 차지하고, 그다음으로 그래픽 품질 향상에 3편의 연구가 수행되었다. 이 외에도 움직임에 관한 연구가 2편, 색상과 문자 인식, LED 제어에 대한 연구가 1편씩 존재하였다. 거리 인식과 그래픽 향상, 움직임에 대한 연구가 많다는 것은 현재의 HMD 장치가 보여주는 화면이 현실세계에서 우리의 두 눈으로 볼 때와의 차이를 줄이고자하는 노력이라 볼 수 있다.
하드웨어적 개선은 광학적 시스템에 대한 연구가 6편으로 가장 많고, LCD의 시야각, 홀로그래피, 기타 문헌연구가 1편씩 있었다. 광학적 시스템 연구는 렌즈를 비롯한 HMD 설계에 관한 연구가 주를 이루었다. 하드웨어적 향상 관련 연구로 분류된 논문을 정리하면서 발견한 특징 중 하나는 해당 연구가 모두 한국광학회에서 출판하는 저널(Current Optics and Photonics, Korean Journal of Optics and Photonics)에 실린 논문이었다. 다른 학술지에서는 하드웨어 요소와 관련된 연구가 발행되지 않았다는 의미이기도 하다.
전체 연구 대상 논문에서 HMD 사용에 따른 효과와 영향으로 분류된 논문은 총 20편이었다. 20편을 다시 하위 주제로 구분하면 긍정적 영향이 8편, 부정적 영향이 11편이며, 기타로 분류한 것이 1편 있었다(Table 3). 긍정적 요소는 실재감(presence), 기억력, 과제수행시간, 몰입, 사회적 자의식, 학습 동기, 재관람 등을 주제로 연구가 수행되었고, 부정적 영향에서는 멀미, 눈의 피로, 목 통증 연구가 수행되었다.
Table 3 . Effect and influence using HMD (n = 20).
Sub category (No. of Articles) | Theme | Articles |
---|---|---|
Positive (8) | Presence | \#60, \#116 |
Memory | \#45, \#58 | |
Task performance time | \#17, \#22 | |
Immersion, social consciousness, and learning motivation | \#42 | |
Re-viewing | \#101 | |
Negative (11) | Motion Sickness | \#12, \#39, \#49, \#77, \#105 |
Eye strain (fatigue, dryness, conditioning) | \#4, \#31, \#57, \#62, \#100 | |
Neck pain | \#85 | |
etc. (1) | Paralinguistic behavior | \#103 |
긍정적 요소에서 나타난 주제를 몇 가지 살펴본 결과는 다음과 같다. 실재감에 관한 연구에서는 HMD 기기의 해상도가 사용자의 실재감 등에 어떤 영향이 있는지를 살펴보거나, VR 장비(Oculus Quest 2)와 AR 장비(HoloLens 2) 장비를 사용하여 아바타와의 협력 활동이 사회적 실재감에 어떤 영향을 주는지 분석하는 연구가 있었다. 기억력을 다룬 연구는 HMD와 e-러닝 조건을 비교하여 장기기억 효과를 검증하였는데, HMD 그룹이 낮은 기억감소율을 보였다. 과제 수행 시간에 있어서는 HMD 장비를 사용했을 때가 일반 모니터를 사용했을 때보다 과제 수행 시간이 긴 것으로 나타났다. 이는 HMD를 사용할 때 몰입감이 높아 탐색 활동에 오랜 시간이 소요되었기 때문으로 분석되었다. 해당 연구에서는 탐색에 소요되는 시간이 길게 나타난 반면, 동시에 학습자가 공간적 실재감과 사실성을 모두 높게 지각할 수 있다는 긍적적 요인도 발견하였다. 큐브 맞추기 안내 시스템을 태블릿과 HMD를 활용하는 연구에서는 HMD가 시간이 적게 소요되는 결과를 보였다. 이는 태블릿을 이용할 때 태블릿 터치와 실제 큐브를 맞추는 과정에서 손의 움직임에 시간 소요가 있었고, 반면 HMD를 이용하면 손이 자유로웠기 때문에 활용을 유기적으로 연결할 수 있어 시간 요소가 줄어든 것으로 보인다.
부정적 요소를 보면 목 통증과 관련된 연구 1편을 제외하면 멀미와 눈의 피로에 관한 연구가 절반씩 차지하였다. 트레드밀을 활용하여 보행 기반 가상현실 내비게이션 연구를 들여다보면, HMD를 착용한 대학생들은 실재감은 높았으나, 사이버 멀미 증세를 보였다. HMD를 착용하면 시간이 지날수록 동공 크기 변화 속도가 늦어져 시각적 피로를 가져오기도 한다.
전체 연구 대상 논문에서 HMD 활용 콘텐츠 개발 및 적용과 관련된 논문으로 분류된 것은 총 73편이었으며, 세 유형 중에 제일 많이 나타났다. Table 4와 같이 이 논문들은 가상공간으로의 전환, 직업 교육, 취미, 치료, 의학 교육, 학교 교육, 교사 교육, 훈련 등의 하위 주제로 구분할 수 있었다.
Table 4 . Development and application of contents utilization with HMD (n = 73).
Sub category (No. of Articles) | Theme | Articles |
---|---|---|
Transformation into virtual reality (15) | Tourism | \#8, \#11, \#30, \#55, \#61, \#90 |
Exhibition | \#5, \#67, \#74, \#86, \#92 | |
Real estate brokerage | \#107 | |
User experience (library, stadium, high-rise building) | \#46, \#51, \#63 | |
Vocational education (14) | Lathe (machining center) | \#24, \#43, \#104 |
Crane training | \#98, \#120 | |
Racing drone | \#47, \#118 | |
Flight simulator | \#115 | |
Cultivator | \#33 | |
Weld | \#93 | |
Read an electric meter | \#44 | |
Food serving | \#2 | |
Automobile maintenance | \#83 | |
Hair styling | \#110 | |
Hobbies (11) | Game | \#13, \#15, \#18, \#37, \#41, \#48, \#75, \#88, \#112 |
Indoor bike | \#28 | |
Karaoke room | \#21 | |
Medical treatment (10) | Depression | \#16, \#59, \#76 |
Anger control | \#9, \#65 | |
Gait | \#1, \#3 | |
Vision training | \#35 | |
Color vision deficiency | \#80 | |
Anxiety | \#117 | |
School education (8) | Instructional design principles | \#71, \#108 |
Educational platform | \#89, \#109 | |
Subject education | \#95, \#99 | |
Special education | \#79 | |
Fire Safety experience | \#27 | |
Medical education (6) | Medical diagnosis | \#119 |
Dental education | \#38, \#91 | |
Intravenous infusion | \#73, \#78 | |
CPR | \#96 | |
Teacher education (4) | Communication | \#52, \#69, \#70 |
Problematic behavior | \#32 | |
Training (4) | Military training | \#23, \#97 |
Police training | \#106 | |
Psychological skill training (baseball) | \#40 | |
etc. (1) | Video calling | \#54 |
가상세계로의 전환에 대한 연구는 15편이었으며 관광, 부동산 중개, 도서관 체험 등과 같이 실제 공간을 가상공간으로 전환에 옮겨 놓은 것, 그리고 전시와 같이 가상공간 내에 전시물을 배치하는 연구들이 있었다. 직업 교육과 관련된 연구는 14편이었고 크레인이나 경운기, 드론, 선반 등의 사용법을 안내하거나 용접, 정비, 서빙, 검침, 헤어스타일링 등을 실습해볼 수 있는 경험을 제공하는 등 기술 관련 교육이 주를 이루었다. 취미와 관련된 연구는 11편이 있었으며 대부분 게임과 관련된 연구들이었고 실내 자전거나 노래방 관련 연구도 일부 수행되었다. 치료와 관련된 논문은 10편이었으며, 우울감, 분노 조절, 불안 등 정신과 관련된 연구와 보행 능력, 비전테라피, 색각 등 신체와 관련된 연구들이 고루 수행되고 있었다. 학교 교육과 관련된 연구는 8편 있었으며, 수업 설계 원리 제안, 강의 플랫폼 개발, 특수 교육, 소방 교육 등 특정 교과 내용과 관련되지 않은 연구가 많았다. 학교 교육 관련 연구 중 교과 교육과 관련된 연구는 두 편이었는데. 이 중 한 편은 체육 교육에 관한 것이었고 나머지 한 편은 컴퓨터 교육과 관련된 것으로 360도 카메라를 사용한 영상 제작에 대한 연구였다. 의학 교육에 대한 연구는 6편이었으며 의과 대학생, 치과 대학생 및 간호사를 대상으로 한 정맥 주입, 심폐소생술 등의 임상 교육 관련 연구들이 있었다. 교사 교육과 관련된 연구는 4편, 훈련과 관련된 연구도 4편 있었으며 각각 면담, 문제행동 대처에 대한 연구와 군, 경찰, 야구선수의 심리 훈련에 대한 연구가 수행되었다.
HMD 활용 콘텐츠 개발 및 적용과 관련된 연구들에서 볼 수 있는 특징적인 것은 가상공간의 구성, 교육 또는 훈련, 치료와 관련된 논문들이 주로 수행되었다는 것이다. 단순히 실제 공간을 가상공간으로 옮기는 방식(가상세계로의 전환)과 상호작용 가능한 온전한 가상공간을 만드는 방식(취미, 교사 교육, 의학 교육 등) 연구들이 주로 수행되었다. 상대적으로 상호작용의 수준이 낮은 관광이나 전시 등과 관련된 가상세계로의 전환에 대한 연구(15편)가 다수 수행되었는데 이는 실제 공간인 관광지 등을 360도 카메라로 촬영하여 관찰자가 원하는 곳을 관찰할 수 있도록 만든 것이었다. 취미와 관련된 콘텐츠(11건)는 게임이나 실내 자전거 그리고 노래방 콘텐츠가 있었으며 가상의 물체와의 상호작용을 높게 구현하였다.
Table 4에 의하면 교육이나 훈련과 관련된 연구도 다수 수행된 것을 확인할 수 있다. 교육 및 훈련과 관련된 연구는 직업 교육(12건), 의료 관련 교육(6건), 교사 교육(4건), 군 및 경찰 훈련(3건) 등 성인을 대상으로 한 연구가 주로 수행되었으며, 초중고 학생을 대상으로 하는 학교 교육에 대한 연구도 8건으로 적지 않게 있었지만 교과 교육과 관련된 연구는 2건으로 매우 적게 나타났다. 이러한 교육과 훈련은 반복 수행을 통해 습득할 수 있는 기술과 관련된 것(조종법, 사용법, 면담 기술 등)을 주로 다루고 있는 것처럼 보이며, 이러한 경향은 치료 관련 연구에서 분노 조절 훈련이나 보행 및 시각 훈련 등 반복적 활동을 통한 치료에 대한 연구가 많이 나타난 것을 통해서도 확인할 수 있다.
본 연구에서 분류한 세 가지 영역 중 두 가지 영역의 주요 연구 주제는 실재감 향상 및 사용성과 관련이 있었다. HMD 관련 기술적 요소에 대한 연구에서는 소프트웨어와 하드웨어적 개선을 통해 HMD 장치가 보여주는 것과 현실 세계 사이의 간극을 줄여 실재감의 향상에 관심을 두고 있었으며, HMD 사용에 따른 효과와 영향에 대한 연구 영역에서 긍정적인 효과는 실재감에 기반한 것이 많았다. 또한 HMD 관련 기술적 요소에 대한 연구에서는 착용감 및 불편함을 보완하기 위한 사용성 개선에 대한 연구가 진행되고 있었으며, HMD 사용에 따른 효과와 영향에 대한 연구의 부정적인 효과는 주로 멀미나 눈의 피로 등 사용의 불편함과 관련이 있었다. 이처럼 HMD에서 실재감은 중요한 특징이며 관련 연구들은 비교적 최신의 HMD 기기(Oculus Quest 2, Hololens 2 등)을 대상으로 수행되었다. 그럼에도 불구하고 HMD 기기의 사용에서 여전히 멀미, 눈의 피로, 두상에 맞지 않음 등의 불편함을 호소하고 있어, 다양한 방식으로 기기 개선에 대해 연구되고 있고 점차 보완되고 있음을 확인할 수 있었다.
HMD 활용 콘텐츠의 개발 및 적용 부분의 연구 결과에 따르면 교육 및 훈련에 관한 다양한 연구들이 현재 진행 중임을 확인할 수 있었다. 이 영역에 해당하는 연구 방법은 한 명의 연구 참여자가 한 대의 HMD를 쓰고 연구자는 모니터를 통해 사용자가 보는 화면을 보는 방식으로 사용자와 연구자 간에 1대 1로 진행된 연구가 대부분이었다. 이러한 방식을 학교에서의 연구 또는 수업 적용과 연결시켜 보면, 교실 현장에서 HMD를 사용할 때 HMD를 사용하는 사람과 HMD 사용자의 공유된 시야를 모니터링하는 사람으로 이뤄질 수 있음을 의미한다. 이는 HMD 사용자의 학습을 확인하고 스캐폴딩하기 위한 교수자의 형성평가와도 관련이 있으며, 모둠활동을 위한 동료학습자와의 상호작용과도 관련이 있다. Class VR 등 교육적 목적으로 만들어진 몇몇 HMD에서는 교사의 중앙 제어가 가능하지만 학교 현장에 따라 다양한 종류의 HMD 기기가 보급되어 있는 현재의 교실 환경에서 중앙 제어 또는 다른 HMD를 활용한 모니터링은 현실적으로 어려운 면이 있다. 학습자가 수업에서 HMD를 사용하도록 한 몇몇 연구들에서 HMD는 개인 활동으로 활용되거나[25,26], HMD를 쓴 교사의 화면을 모니터에 보여주며 상호작용하는 시범 실험으로 활용되었다[27]. 일부 국외 연구에서는 HMD를 착용한 학습자가 가상 물체를 공유하며 상호 작용한 경우도 있지만 이것은 아직 초기 단계인 것으로 보인다[28]. 즉, 현재 교실 현장에서 HMD 기기는 개인 활동 또는 시범 실험으로 활용될 수 있으며 모니터로 HMD 사용자의 시야를 공유하는 시범 실험에서 의사소통 및 협업이 나타날 수 있음을 확인할 수 있다. 이 점을 고려하면 모둠에서 소수의 학생이 HMD를 사용하고 나머지 학생은 공유된 화면을 보는 형태로 모둠활동을 구성하는 것도 상호작용을 지원하며 HMD를 수업에 활용하는 한 방법이 될 수 있을 것이다.
교실 환경에서 사용할 때 또 하나 고려할 부분은 학교에 보급된 기기들이 HoloLens 2 등 AR 기반의 HMD 기기가 아닌 이상 VR 기반의 대부분 HMD 기기는 외부 시야가 차단된 상태에서 사용하게 된다는 점이다. 사용자의 외부 시야가 차단될 때, 자리 이동이나 움직임에서 안전하게 활동할 수 있는 안전 활동 반경이 제공되어야 하는데, 일반 교실 공간에서 사용하거나 여러 명의 학생이 동시에 활용할 때 외부 시야 차단에 대한 안전 확보가 HMD의 교육적 활용 관점에서 하나의 변수가 된다. 시야 차단에 의한 안전 문제는 AR 기반의 HMD를 사용하거나, 현재 개발되고 있는 기기들이 MR(Mixed Reality) 또는 XR(Extended Reality)을 표방하면서 HMD 기기를 장착한 상태에서 외부 카메라를 활용하여 시야를 제공하는 제품들이 하나 둘 씩 선보이고 있기에 곧 해결점을 찾을 수 있을 것으로 판단된다.
콘텐츠 측면만 보자면 물리교육 분야에서의 HMD 활용 연구는 아직 초기 연구 단계이며 제한적으로 진행되고 있는 것으로 보인다. 한국교육학술정보원(KERIS)에서 개발하여 디지털 교과서에 탑재하고 있는 실감형 콘텐츠는 모두 스마트 기기에서의 실행을 지원하는데, 이 중 VR 관련 콘텐츠는 ‘VR HMD 모드’를 지원하고 있다. 이 모드를 사용하면 학습자는 구글 카드보드와 같은 스마트 기기를 장착할 수 있는 HMD에 스마트 기기를 장착하여 VR 콘텐츠를 경험할 수 있다[29]. 구글 카드보드와 같은 스마트 기기 장착형 HMD는 초기에 낮은 비용으로 HMD를 보급 가능하게 함으로 HMD의 확산에 도움을 준 것은 명확하다. 하지만 전문 HMD 기기가 아닌 저품질의 HMD를 경험한 교사는 HMD의 낮은 실재감에 실망하여 HMD를 사용하는 것을 꺼려하기도 한다[19]. 2020년 교육부는 4차 교육종합계획을 발표하면서 중점과제 중의 하나로 ‘지능형 과학실’을 언급하였다[30]. 2024년까지 모든 학교에 지능형 과학실 구축을 위한 다양한 지원이 이루어지고 있으며, 이 지능형 과학실에서 학생들이 AR 및 VR을 활용하여 폭넓은 탐구 활동을 경험할 수 있는 것을 지향하기 때문에 학교의 상황에 따라 Class VR, VIVE, Oculus Quest 등 다양한 HMD 기기가 현장에 보급되고 있다[31]. 지능형 과학실 구성을 위한 사업을 통해 HMD 기기는 점차 현장에 보급되고 있지만, 물리교육 관련 HMD 활용 콘텐츠는 아직 그 수가 부족한 것으로 보인다. 지능형 과학실에서 활용할 수 있는 온라인 학습 콘텐츠를 제공하는 온라인 플랫폼 ‘지능형 과학실 ON’에 실감형 콘텐츠에 탑재되어있는 29개의 자료 중에 스마트 기기가 아닌 HMD를 사용하는 것은 ‘[VR] 생태조사 체험(해부편)’,‘[VR] 2050년 지구를 구하라’ 단 두 건에 불과했으며[32], 지능형 과학실 연계 예시 프로그램으로 개발된 10개 프로그램에서도 HMD를 활용한 탐구를 찾아보기는 어려웠다[33].
이와 같이 실재감 향상을 위서는 최신 HMD 기기를 물리교육에서도 활용할 필요가 있으며 다양한 종류의 HMD 기기가 현장에 보급되고 있는 것에 비해 콘텐츠의 개발은 아직 스마트 기기를 활용하는 수준에 머물러 있어 충분치 않은 것으로 보인다. 따라서 다양한 HMD 기기를 지원하는 형태로 물리교육 관련 콘텐츠들이 전환되고 개발될 필요가 있어 보인다.
본 연구에서는 물리교육에서 HMD 활용에 대한 시사점을 얻고자 국내 문헌을 중심으로 HMD와 관련 연구 문헌들을 살펴보았다. 국내 연구는 크게 HMD 관련 기술적 요소, HMD 사용에 따른 효과와 영향, HMD 콘텐츠 개발과 적용의 3가지 영역으로 구분이 가능하였으며, HMD 콘텐츠 개발 및 적용 연구가 전체 논문의 절반이 넘었다. 첫째, HMD 관련 기술적 요소는 디자인이나 입력 방식 등을 개선하는 사용성 향상 연구와 소프트웨어적 개선과 하드웨어적 개선으로 구분되었다. 소프트웨어적 개선은 거리 인식 부분과 그래픽 향상에 대한 연구가 많이 수행되었고, 하드웨어적 개선의 경우 광학 시스템에 관한 연구가 많이 수행되었다. 둘째, HMD 사용에 따른 효과와 영향은 크게 긍정적 요인과 부정적 요인으로 나눌 수 있었다. HMD의 긍적적 요소는 실재감이 핵심적 요소로 분석되었으며, 실재감 외에도 기억력이나 과제수행시간, 학습 동기나 재관람 여부를 분석한 연구들이 있었다. HMD의 부정적 요인은 주로 신체에 관한 것이었고, 멀미나 눈의 피로와 관계된 연구가 많았다. 셋째, HMD 콘텐츠 개발 및 적용 연구는 가상 세계로의 전환, 직업 교육, 취미, 의학적 치료, 학교 교육, 의학 교육에 관한 것들이었다. 하위 주제별로는 교육과 관련된 것이 많았으며, 그 중에서도 성인 대상의 재교육, 또는 직업 교육이 주를 이루었다. 이를 통해 HMD가 반복적 훈련을 통해 습득해야 하는 일에 효과적으로 적용될 수 있음을 알 수 있었다. 가상 공간의 구성과 관련된 연구도 다수 있었는데, 실제 존재하는 공간을 가상공간으로 옮겨 놓아 시공간의 제약을 넘어 자유롭게 볼 수 있도록 하거나, 상호작용성이 강조된 가상공간 구성을 구성하여 새로운 학습 또는 놀이 공간을 구성하였다.
이를 바탕으로 물리학 관점에서의 논의와 물리교육 관점에서의 논의를 하고자 한다. 물리학의 관점에서는 HMD 관련 기술적 논의의 목적지를 살펴볼 필요가 있다. HMD 관련 효과나 영향은 실재감이 핵심 키워드라고 상술하였는데, 기술 관련 연구 역시 사람의 감각, 인지 작용에 기반하여 HMD를 착용하였을 때 높은 수준의 ‘실재감’을 느끼는 데 목표를 두고 있음을 확인할 수 있었다. 물리학에서는 광학 영역에서 관련 연구가 수행되었고, 현재 사용 중인 장비의 하드웨어적 기술적 한계를 극복하고자 소프트웨어적 개선 역시 진행되고 있었다. 초기의 스마트폰을 활용한 VR-HMD 기기에 비해 최신의 기기(Oculus Quest 2, HoloLens 2 등)은 뛰어난 실재감과 몰입을 제공한다고 하나 여전히 보완해야 할 요소가 많다. HMD의 부정적 요인에 대한 연구는 정서적인 요인보다 신체적인 요소에 많았다는 것에 주목할 필요가 있다. 학교 수업 시간에 VR-HMD 기기를 학생이 장시간 사용할 때 어지러움을 호소하는 경우가 보고되고 있다[34]. 이러한 어지러움을 해결하는 방식으로 바깥의 현실 세계가 보이는 AR-HMD 방식으로 장치를 개발하거나, 화면의 해상도와 주사율을 높이고, 우리 신체의 움직임을 빠르게 감지하여 화면 전환 속도를 높이는 방식으로 진화하고 있는 것으로 판단된다. 현재 애플에서 개발하고 있는 VR-HMD 장치가 높은 해상도의 액정, 여러 개의 카메라와 고성능 프로세스를 활용하여 빠른 응답속도와 화면 전환이 기존의 HMD 기기들이 가진 어지러움이나 눈의 피로를 얼마나 줄여줄 수 있는지 관심이 가는 대목이다. 국내에서는 기술적 요인 연구가 화면(영상)에 집중되어 있는 것도 우리가 주목해야 할 부분이다. HMD 착용 시 실재감을 느끼게 해주는 요인은 시각 외에도 청각 요인이 중요함에도 불구하고, 우리나라 연구는 시각적 기술의 발전에 집중되어 있다. 마이크와 스피커 등의 음향 시스템과 관련된 HMD 기기의 청각적 요소와 관련된 연구도 추가적으로 수행할 필요할 것으로 판단된다.
교육적 관점에서는 물리교육에서의 연구가 적극적으로 진행되고 있지 않음을 우선적으로 말하고 싶다. 결과 부분에서 상술했듯이 콘텐츠 측면에서 교육 관련 콘텐츠는 많았으나, 직업 교육이나 의학 분야에 집중되어 존재하였다. 상호작용성이 강조된 가상공간은 메타버스 세계에서 학생들에게 새로운 학습 공간이나 놀이 공간을 제공해줄 수 있으며, 시공간적 한계를 넘어 과학적 현상에 대해 높은 수준의 실재감을 제공할 수 있다. 예를 들어 HMD와 동작을 인식할 수 있는 장치를 활용하면 무중력 공간인 우주에서 물체의 운동 실험을 구현해볼 수 있다. 연구 결과를 보면 학교 교육과 관련된 연구는 아직 플랫폼 마련이나 수업 개발에 대한 제안에 그치고 있으며, 물리, 화학 등 교과 교육 관련 콘텐츠는 거의 없는 것으로 나타났다. 반면 의학 분야는 높은 수요와 충분한 예산 지원의 영향인지 국내에서도 콘텐츠를 개발하고 있음을 알 수 있다. 따라서 물리교육에서도 HMD 기기에 효과적인 콘텐츠 주제를 발굴하고, 상호작용성과 현존감이 높은 콘텐츠 개발이 이루어져야 할 것이다.
이 성과는 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구입니다(No. RS-2023-00210720).
1 2023년 6월 6일 기준