npsm 새물리 New Physics : Sae Mulli

pISSN 0374-4914 eISSN 2289-0041
Qrcode

Article

Research Paper

New Phys.: Sae Mulli 2024; 74: 215-226

Published online February 29, 2024 https://doi.org/10.3938/NPSM.74.215

Copyright © New Physics: Sae Mulli.

Lesson Plan Development for Pre-Service Elementary School Teachers through Collaboration with AI: Focused on ChatGPT

AI와의 협업을 통한 초등예비교사의 물리 수업지도안 작성: ChatGPT를 중심으로

Hee Kyung Park1, Jeongwoo Park2*

1Department of Science Education, Seoul National University, Seoul 08826, Korea
2Elementary Education Research Institute, Jeju National University, Jeju 63294, Korea

Correspondence to:*jeongwooid@jejunu.ac.kr

Received: September 20, 2023; Revised: November 13, 2023; Accepted: November 29, 2023

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

In this study, collaboration between AI and pre-service teachers for the creation of lesson plans was analyzed. Fifteen elementary pre-service teachers were guided to select a physics topic and develop lesson plans, which were then revised using ChatGPT. The level of collaboration was assessed based on the students’ collaborative competency with AI, and changes and interactions were examined for each level. Pre-service teachers engaging in low-level collaboration displayed consensual interactions, with no modifications taking place. Those at the intermediate level of collaboration demonstrated responsive interactions, primarily resulting in structural changes. Prospective teachers engaged in high-level collaboration exhibited elaborative interactions, with changes observed in both the content knowledge and the pedagogical aspect of physics. Through this study, it was confirmed that the establishment of a colleague status in AI collaboration is essential, and AI can effectively assume the role of a peer teacher. Additionally, it was noted that a high-level collaboration with AI requires learners to have prior knowledge.

Keywords: Physics education, Artificial Intelligent(AI), Collaboration, Lesson Plan, ChatGPT

이 연구에서는 AI와 예비교사 간의 수업지도안 작성을 위한 협업을 분석하였다. 수업지도안을 작성해본 경험이 없는 초등예비교사 15명으로, 물리 주제를 선택해 수업지도안을 작성하도록 안내하고, ChatGPT를 사용하여 재작성하게 하였다. 협업 수준은 학생들이 AI와의 협업 역량에 따라 분석되었으며, 각 유형별로 무엇이 바뀌고, 어떤 상호작용이 나타났는지 살펴보았다. 낮은 수준의 협업을 한 예비교사들은 일방적 상호작용이 나타났으며, 수정이 일어나지 않았다. 중간 수준 협업을 한 예비교사들은 양방적 상호작용이 나타났으며, 주로 구조적인 측면의 변화가 나타났다. 높은 수준 협업을 한 예비교사들은 정교화적 상호작용이 나타났으며, 물리 내용 지식 측면의 변화도 나타났다. 이를 통해, AI와 협업 시 동료 지위 부여가 먼저 이루어져야 하며, AI가 동료 교사의 역할을 할 수 있음을 확인했다. 또한, AI와의 높은 수준 협업을 위해서는 학습자의 사전 지식이 필요함을 알 수 있었다.

Keywords: 물리교육, 인공지능(AI), 협업, 수업지도안, ChatGPT

수업은 학생들이 달성해야 하는 학습 목표를 바탕으로 학생들의 수준과 흥미, 활동 등을 고려해야 하는 고차원적 행위이며, 이러한 다양한 변수를 고려한 수업 계획은 좋은 수업의 핵심이라고 볼 수 있다[1]. 수업지도안은 교사의 수업 계획 및 실행에 직접적인 영향을 미치며, 수업을 어떻게 구성하고 진행할지에 대한 청사진을 제공하는 설계도 역할을 한다[2], 특히, 실전 경험이 많이 없는 예비교사들에게 교육 실습 등의 실제 수업에 앞서 가장 선행되는 것은 수업지도안을 작성하는 것이며[3], 이렇게 작성한 수업지도안은 수업의 최종 목표점에 도달하는데 가장 큰 영향을 주는 요소이다[4]. 하지만 수업지도안 작성에 대한 체계적인 지도의 부재 및 실제 수업과의 연계 부족으로 인해 예비교사들은 수업지도안 작성을 경력 교사에 비해 어렵게 느끼고 있다[1,3]. 또한, 수업지도안은 교사 집단에서 공유되는 문화적 실천의 산물이며, 개별 수업이나 개별 교사의 독특성을 넘어서는 문화적 공통성을 지니고 있기 때문에[2], 실전 경험이 많이 없는 예비교사에게는 더욱 어렵게 느껴질 수 있다. 예비교사들이 경력 교사와의 협업을 통해 수업지도안을 작성해볼 수 있는 시기는 주로 교육 실습 기간이지만[5], 지도교사에 따라 수업지도안 작성을 경험해보지 못하고 교육 실습 기간을 보내는 경우도 있다[6].

최근 Open AI가 생성형 인공지능 서비스 ChatGPT를 공개한 이후, 인간과 AI 간 협업의 긍정적 효과를 기대하는 연구가 늘어나고 있다[7,8]. 인간과 AI는 협업을 통해 서로의 능력을 향상시킬 수 있는데, 협력적 네트워크를 통해 공동의 목표를 달성하기 위해 상호의존적으로 과업을 수행할 때 더 효과적으로 과제를 수행할 수 있다[8-10]. 협업을 통해 좋은 결과를 얻기 위해서는 AI의 제안을 무조건 수용하거나 무시하기보다는 AI 출력물의 일부를 수정, 발전시키는 능력이 필요하다[11]. 이를 위해서는 AI의 특성에 대해 이해하고, AI를 도구가 아닌 협력할 수 있는 동료로 수용하는 태도가 필요하며, 무조건적인 수용보다는 반성적으로 성찰할 수 있는 능력이 필요하다[8]. AI는 사용자가 어떤 질문을 하느냐에 따라 그 내용과 형식이 크게 달라지기 때문에 적절한 질문을 할 수 있는 의사소통 역량이 필요하며[12,13], 따라서 사용자가 AI에 대한 기본적인 이해를 바탕으로 적절한 질문을 하는 것이 AI와의 협업에서 매우 중요하다[8].

최근 AI를 교육 현장에서 활용할 수 있는 방안에 대한 다양한 연구들이 진행되고 있다. 구체적으로는 교사의 수업을 지원할 수 있도록 AI를 자동 채점 도구로 활용하는 것에 대한 연구[14], AI를 활용하여 교사가 시험 문항을 개발하도록 한 연구[15, 16]와 같이 교사와 AI의 협업에 대한 연구가 있으며, 학습자가 AI와의 동료 학습을 통해 문제 해결을 할 수 있도록 적용한 연구[17] 등이 있다. 이처럼 AI와 교사 또는 AI와 학습자 간의 다양한 협업에 대한 연구들은 교사나 학습자가 AI와의 협업을 통해 효과적으로 문제 상황을 해결할 수 있음을 보여준다. 이와같이 경력 교사에게 지도받을 기회가 제한적인 예비교사들에게 많은 누적 데이터를 가지고 있는 AI는 쉽게 접근할 수 있는 동료이자 지도교사의 역할을 할 수 있을 것으로 기대된다.

이에 본 연구에서는 AI와 예비교사 간의 협업을 수업지도안 작성이라는 맥락에서 분석하고자 하였다. 이를 위해 AI와 예비교사의 협업을 통해 수업지도안을 개선하고 발전시켜나갈 기회를 제공하였으며, 이를 통해 예비교사와 ChatGPT의 협업 수준에 따른 유형별 특징을 알아보았다.

본 연구는 교육대학 1학년 15명을 대상으로 하였다. 이 학생들이 수강한 수업은 1학년 1학기 수업으로 이 학생들은 기존에 수업지도안을 작성하는 수업을 수강한 경험이 없었으며, ChatGPT를 사용해본 학생은 없었다. 총 2차시에 걸쳐 진행된 수업에서, 첫 차시에는 물리 교과에 해당하는 주제를 자유롭게 선택하여 수업지도안을 작성해보게 하였다. 연구 참여자들이 모두 수업지도안 작성의 경험이 없었기 때문에 교과서, 인터넷 검색 등을 참고하여 수업지도안 초안을 작성하도록 안내하였다. 수업지도안의 대상 학년급은 초등학교에서 고등학교 사이로 제한하였으며 성취기준 등을 따로 제공하지는 않고 인터넷 검색 등을 통해 정보를 얻도록 안내하였다. 수업지도안 초안은 약안으로 작성하도록 안내하였고 수업지도안의 분량은 제한하지 않았으며 형식은 인터넷 검색 등을 통해 찾도록 안내하였다. 이후 두 번째 차시에는 ChatGPT를 이용하여 기 작성한 수업지도안을 수정 보완하여 재작성하게 하였다. 이후 두 지도안을 비교하여 과제로 제출하게 하였다. 과제에는 첫째, 수정 전, 후의 수업지도안을 비교하여 변경한 내용을 표시하도록 하였으며, 둘째, 수정 과정에서 ChatGPT를 어떻게 이용하였는지 구체적으로 작성하게 하였고, 셋째, 수업지도안 수정 경험을 바탕으로 ChatGPT에 대한 자신의 생각을 자유롭게 적도록 하였다.

ChatGPT와 예비교사 간의 협업은 선행연구에서 제안한 인간-AI 협업 역량의 분석틀을 재구조화하여 분석하였다[8]. Song & Cho[8]는 선행연구를 바탕으로 인간-AI 헙업 역량을 5가지로 분류하여 제안하였다. 본 연구에서는 이 5개 역량을 유사한 것끼리 유목화하여, Table 1과 같이 동료 지위 부여, 사용법 이해, 비판적 수용의 3개 요소로 재구조화 하였다. Table 1의 분석 요소 중 몇 개의 요소가 드러났는지에 따라 AI와의 협업 수준을 분석하였으며, 요소가 많이 드러날수록 높은 수준의 AI 협업으로 판단하였다.

Table 1 . Elements of human-AI collaboration competency (revised from Ref. 8).

This articleSong & Cho [8]
ElementElementExplanation
Giving colleague statusAttitude of acceptance as a cooperative colleagueThe competency to accept AI as a collaborative partner, not just a tool, and build trust, solidarity, and a sense of belonging.
Understanding how to useUnderstanding the characteristics of AIThe competency to analyze and understand the characteristic of AI.
CommunicationThe competency to express thoughts in a way that AI can understand, and to correctly interpret AI to form shared understanding.
Critical acceptanceTask performanceThe competency to constructively adjust tasks by reflecting AI’s suggestions.
Evaluation and reflectionThe competency to critically reflect on collaborative activities with AI.


수준별 특징은 수정한 부분과 상호작용의 두 측면에서 분석하였다. 수정한 부분의 분석을 위해서는 구조의 변화에 초점을 맞추어 분석을 수행하였으며, 그 밖에 서술 방식의 변화가 있는지를 추가적으로 확인하였다. 구조의 변화는 수업지도안이 주로 도입, 전개, 정리의 세 단계로 주로 구분된다는 연구[2,3]와 문헌연구를 바탕으로 수업지도 안의 요소 10개(선수 학습 확인, 학습 목표 제시, 학습 동기 유발, 내용 일관성, 시간 배분, 교수 학습 모형, 교수 학습 방법, 교사 학생 상호작용, 학습 내용 정리, 학습 평가)를 제안한 연구[18]를 참고하여 분석하였다. 본 연구에서는 실험을 수행하는 물리 수업의 특징에 따라 앞의 선행연구에서 언급하지 않은 실험 준비물 및 유의 사항 안내라는 요소를 추가하여 분류하였다. 또한 예비교사의 수업지도안에 서술의 변화가 일어난 경우에는 그 변화가 물리 내용 지식과 관련이 있는지 없는지에 따라 단순 문장의 표현 변화나 물리 내용 지식의 변화로 구분하여 분석하였다.

AI와의 상호작용은 AI가 동료 또는 선배 교사의 역할을 할 수 있을 것이라는 가정에 근거해 학생-학생, 교사-학생 간의 상호작용을 분석한 Hogan et al.[19]의 상호작용 분석틀을 활용하여 분석하였다 (Table 2). Hogan et al.[19]은 일방적(Consensual) 상호작용, 양방적(Responsive) 상호작용, 정교화적(Elaborative) 상호작용으로 협업을 나눈다. 각 상호작용의 유형은 Fig. 1과 같이 결과물 즉, 상호작용 공간(interaction space)에 어떤 사람의 의견이 기여하였는지에 따라 구분할 수도 있다. 일방적 상호작용의 경우, 질문자 한 명이 지식구성에 주도적인 기여를 하며, 다른 구성원은 수동적으로 받아들이는 역할을 하게 된다. 양방적 상호작용의 경우, 둘 이상의 발화자가 논의 내용에 기여하며 결과물에 대한 동등한 책임을 가지게 된다. 마지막으로 정교화적 상호작용은 양방적 상호작용과 달리 단순히 결과물에 서로 기여하는 것을 넘어서서, 상대방의 생각에 추가, 정정, 변증법적 교환 등을 통한 정교화된 상호작용이 추가된다는 특징을 지니고 있다. 본 연구에서는 일방적 상호작용을 본인의 생각이나 ChatGPT의 생각 중 하나의 의견만이 반영된 결과물을 구성한 경우로 보았으며, 양방적 상호작용은 추가적인 질문이나 비판 없이 예비교사 본인이 작성한 부분과 ChatGPT에 의해 작성된 부분이 병렬적으로 반영되거나, 추가적인 질문이나 비판 없이 ChatGPT의 의견이 전적으로 수용하여 결과물을 작성한 경우로 보았다. 마지막으로, 정교화적 상호작용은 추가적인 질문을 통해 ChatGPT의 의견에 대해 더욱 정교화하는 과정을 거치거나, ChatGPT의 의견을 비판적으로 수정하여 결과물에 반영한 경우로 판단하였다.

Figure 1. Type of interaction (Redrawn from Ref. 19); (a) Consensual interaction, (b) Responsive interaction (c) Elaborative interaction.

Table 2 . Type of interaction (Revised from Ref. 19).

Type of InteractionThis ArticleHogan et al. [19]
Consensual interactionChatGPT's opinions are not accepted, and only the opinions of the participants are reflected.Only one speaker contributed substantial statements to the discussion; another speaker responded to the initiating speaker by actively accepting.
Responsive interactionChatGPT's opinion was accepted uncritically, so that the participant's opinion and ChatGPT's opinion were reflected in parallel.Both participants were equally responsible for contributing to the substance of the discussion
Elaborative interactionAdditional questions and critical reception occur, ChatGPT's ideas are added or elaborated on the participant's thinking.Co-constructive additions, corrections, or dialectical exchanges were accrued.


모든 분석 과정은 과학교육 전문가 두 명이 각자 분석을 수행하고 분석 결과를 공유하여 분석 결과가 다를 경우 최종 합의에 이를 때까지 협의를 통해 공통적인 결과를 도출해냈다.

예비교사의 ChatGPT의 협업 수준을 분석한 결과는 Table 3과 같다. 낮은 수준의 협업이 2명 (13.3%), 중간 수준의 협업이 8명 (53.4%), 높은 수준의 협업이 5명 (33.3%)으로 나타났다. 동료 지위 부여와 사용법 이해, 비판적 수용을 모두 하지 못하는 낮은 수준의 협업은 상대적으로 적게 나타났으며, 동료 지위는 부여하였지만 사용법 이해와 비판적 수용을 하지 못한 중간 수준의 협업이 가장 많이 나타났다. 동료 지위 부여와 사용법 이해, 비판적 수용을 모두 한 높은 수준의 협업도 전체의 1/3 정도로 비교적 낮지 않게 나타났다.

Table 3 . Level of collaboration of pre-service teacher with AI.

Level of collaborationAllow status as a colleagueUnderstand how to useCritical acceptanceNo. of Participants
Low×××2 (13.3%)
Mid××8 (53.4%)
High5 (33.3%)


수정한 부분과 상호작용의 두 측면에서 분석한 각 협업 수준별 특징은 아래와 같다. 각 수준별 특징을 잘 드러내는 대표 사례를 중심으로 특징을 기술하였다.

1. 낮은 수준의 협업

낮은 수준의 협업에 해당하는 예비교사들은 ChatGPT에게 질문을 했으나, ChatGPT가 내놓은 의견을 무시했다. 결과물에는 예비교사가 스스로 작성한 내용만 반영되었기 때문에 처음 작성한 수업지도안에서 변경된 내용은 없었다.

예비교사 A는 도입 부분에는 흥미 유발을 위한 영상과 학습 자료를 넣었으며, 전개 부분에는 자석에 클립을 붙이는 실험을, 정리 부분에는 내용 정리와 관련된 내용을 포함시켜 구조적으로는 기본적인 구성을 갖춘 지도안의 초안을 작성하였다. 예비교사 A는 ChatGPT에 자신의 지도안을 복사하여 붙여넣기 한 뒤, 자신의 지도안을 수정해 달라고 요청하였지만 ChatGPT의 수정 의견은 받아들이지 않았다. 예비교사 A에게 ChatGPT는 자신이 쓴 온전한 문장을 오히려 부자연스럽게 바꾸는 자이며 부적절하다고 지적만 하고 대안은 제공하지 않는 자였다. 이처럼 예비교사 A는 ChatGPT에게 동료 지위를 부여하지 않았고 따라서 예비교사 A는 ChatGPT의 의견을 모두 무시하고 받아들이지 않았다. 이에 대한 예비교사 A의 응답은 다음과 같다.

예비교사 A: (ChatGPT로 수정을 했을 때) 단원 학습 목표는 오히려 부자연스러운 문장으로 바뀌었다. 오히려 (ChatGPT는 내가 쓴) 간결한 형식의 문장을 조금 더 길고 풀어쓴 문장으로 바꾸었다. (중략) ChatGPT는 내가 설정한 수업 예상 시간이 부적절하다고 지적만 할 뿐, 다른 대안을 내놓지 않았다.

예비교사 A가 ChatGPT의 의견을 무시한 것은 ChatGPT에 대한 불신에 근거한 것으로 보인다. 아래와 같이 예비교사 A는 ChatGPT가 왜 수정 의견을 주었는지 이해하지 못하였으며 따라서 ChatGPT를 신뢰하지 못한다고 이야기 하였다.

예비교사 A: 어떤 기준으로 부적절하다고 판단한 것인지 알 수 없었다... 신뢰도는 떨어지는게 사실인 것 같다.

여기에서 예비교사 A의 사용법 이해의 부족을 확인할 수 있는데, 만약 예비교사 A가 ChatGPT의 사용법을 이해하고 왜 부적절하다고 생각했는지, 더 나은 대안은 무엇이라고 생각하는지 등의 추가 질문을 이어나갔다면 예비교사 A가 원하는 적절한 대안을 얻을 수 있었을 것이다. 하지만 추가적인 대화는 나타나지 않았다.

이러한 신뢰의 부족은 이 유형의 다른 예비교사 B에게서도 찾아볼 수 있었다. 예비교사 B는 ChatGPT의 결과물은 출처를 제시하지 않아 신뢰할 수 없다고 여겼다. ChatGPT의 의견을 하나의 아이디어로 여기지 못했으며, 출처가 없는 자료에 대해 자신의 수업지도안에 수용할 생각을 하기보다는 ChatGPT를 신뢰할 수 없는 근거로 삼았다. 이에 대한 예비교사 B의 응답은 다음과 같다.

예비교사 B: 불명확한 출처와 없는 정보를 제공하는 등 신뢰성은 활용도에 비해 많이 부족하다고 판단된다.

이처럼 낮은 수준의 협업의 경우, 예비교사는 ChatGPT를 협업할 수 있는 동료로 보지 않고 불신의 대상으로 여기며 ‘동료 지위 부여’를 하지 못하고 무시했다. 또한, ChatGPT에게 추가 질문을 하거나 주고받는 대화를 진행하지 못하며 ‘사용법 이해’가 부족한 모습을 보였다. 따라서 ChatGPT의 의견에 대한 ‘비판적 수용’도 일어나지 않았다. 이 예비교사들은 자신의 초기 수업지도안을 유지했으며, 수정한 부분은 나타나지 않았다. 상호작용적 측면에서는 예비교사 본인의 생각만이 수업지도안에 반영되었기 때문에 일방적 상호작용이 나타난 것으로 볼 수 있다. Hogan et al.[19]의 일방적 상호작용에서는 응답자가 동의, 반복 등 수동적 응답을 했던 것과는 달리, 본 연구에서 ChatGPT는 수동적 응답이 아닌 적극적 의견 개진을 시도하였다. 하지만 결과적으로 질문자 즉, 예비교사가 ChatGPT의 의견을 일방적으로 무시함으로 인하여 ChatGPT의 의견은 최종 수업지도안 작성에 기여하지 못하였고 따라서 일방적 상호작용이 일어난 것으로 판단하였다.

2. 중간 수준의 협업

중간 수준의 협업의 경우, 예비교사는 ChatGPT의 의견을 묻고, 그 답변을 모두 수용하여 자신의 초안을 변경하였으며, 기존에 없던 내용일 경우에는 ChatGPT의 의견에 따라 새롭게 추가하여 결과물에 반영하였다. 중간 수준의 협업에 해당하는 8명의 예비교사의 수정한 부분에 대해 살펴보면, 구조의 변화 측면에서는 학습 동기 유발(5명), 교수 학습 방법(5명), 학습 내용 정리(6명), 시간 배분(3명), 실험 준비물 및 유의 사항(3명)에서 변화가 일어났고 서술 방식의 변화 측면에서는 문장의 표현 변화(4명)가 일어났다.1 이러한 수정 사항은 물리와 관련된 내용학적인 지식에 관한 것이 아니라 수업지도안 전반의 구조나 형식과 관련된 것이 대부분이었다.

예비교사 C는 Fig. 2(a)와 같이 수업의 주제와 직접적으로 관련이 적고 일반적인 내용이 주로 기술된 수업지도안을 작성하였다. 예를 들어 예비교사 C는 수업지도안의 교수·학습 활동에 해당하는 내용으로 ‘이번 시간에 학습할 내용 탐색하기’, ‘학습 목표 이해하기’ 등 어느 수업에 넣어도 될 일반적인 내용을 기록하였다. 예비교사 C는 ChatGPT에 자신의 지도안을 붙여 넣기한 뒤 자신의 지도안을 수정해 달라고 요청하였으며, 자신의 지도안에 대한 ChatGPT의 의견을 모두 받아들여 자신의 초안에 ChatGPT의 수정 내용이 추가된 수업지도안을 제출하였다.

Figure 2. Lesson Plan of pre-service teacher C; (a) pre lesson plan, (b) post lesson plan.

예비교사 C는 ChatGPT의 의견에 동의하였고, 아래와 같이 자신이 생각하지 못한 다양한 의견을 제시한 ChatGPT 능력에 감탄하며 ChatGPT의 의견을 전적으로 수용하여 수업지도안을 수정하였다. 따라서 예비교사 C는 ChatGPT에게 동료 지위를 부여한 것으로 보인다.

예비교사 C: ChatGPT에 내가 쓴 수업계획안을 넣고 수정하라고 입력하자 ChatGPT는 내가 예상하지 못했던 다양한 것들을 제시했다. (중략) 내가 짠 수업지도안의 세부적인 부분들을 채워주어서 이런 부분이 가장 놀라웠다. (중략) 실험내용을 ChatGPT가 추천한대로 추가했다.

예비교사 C는 ChatGPT가 방대한 정보를 학습하여 인간이 놓치는 것을 보충할 수 있다고 여기며 인간의 능력을 초월하는 존재로 보고 전적으로 신뢰하였다. 따라서 예비교사 C는 이러한 전적인 신뢰를 바탕으로 ChatGPT의 의견을 맹목적으로 수용한 것으로 보인다. 이에 대한 예비교사 C의 응답은 다음과 같다.

예비교사 C: ChatGPT의 말에 너무나도 중요한 부분을 놓쳤음을 깨닫고 이러한 내용도 추가적으로 수업지도안에 작성했다. (중략) ChatGPT는 인간의 머리가 기억하고 가지는 정보보다 방대한 양의 정보를 학습하고 사용하기 때문에 인간이 놓치는 부분들과 세부적인 것들을 보충하는데 큰 도움이 된다.

예비교사 D의 경우에서도 수업지도안의 구조적 수준에서의 수정이나 표현의 수정이 나타난 것을 확인할 수 있다 (Fig. 3). 예비교사 D의 사전 수업지도안에는 조별 활동이나 주의 사항에 대한 내용은 포함되어 있지 않았지만, ChatGPT의 의견에 따라 동기유발 내용을 구체적으로 추가하였으며, 학생 중심의 협동 활동과 실험 시 유의 사항을 추가하였다. 또한, 사전에 ‘수평의 원리’라고 적여있던 학습 목표는 ‘지렛대와 저울의 원리’로 표현이 수정되었으며, ‘적용할 수 있다.’는 ‘적용하여 무게와 수평을 측정할 수 있다.’로 표현이 더 구체화 된 것을 확인할 수 있다. 이처럼 수업지도안은 구조나 표현이 수정되었는데, 구조적으로는 누락된 부분을 채워 넣는 방식의 수정이 나타났으며, 표현은 더 구체화되는 방식으로 수정이 나타났다.

Figure 3. Lesson Plan of pre-service teacher D; (a) pre lesson plan, (b) post lesson plan (underlined and bold sentences represent modified parts).

예비교사 D도 ChatGPT에게 동료 지위를 부여하고 ChatGPT의 의견을 전적으로 수용하였다. ChatGTP의 의견을 전적으로 수용하였기 때문에 질문은 1회에 그쳤으며, 예비교사 C는 1회의 질문을 통해 얻은 ChatGPT의 의견을 전적으로 반영하지 위해 노력하였다. 하지만 자신이 ChatGPT의 수정사항을 잘반영하였는지 그리고 또 다른 수정사항은 없는지 등의 추가 질문을 하지 않았다는 점은 예비교사 D가 AI 사용법 이해와 관련된 역량을 갖추고 있지 않음을 보여준다. 이와 관련된 예비교사 D의 응답은 다음과 같다.

예비교사 D: 학습 목표가 추상적이라는 피드백을 받았다. 그래서 수정하였다. (중략) 도입부분 흥미 유발을 위해 ... 좀 더 구체화하여 무게 차이에 따른 경험을 제시할 필요가 있다는 지적을 받았다. (중략) 실험 준비물 등을 분실하지 않도록 대처 방안이나 주의사항을 추가하라고 하였다. (중략) 교사가 각 조별 역할과 책임에 대해 안내하는 항목을 추가하였고,... 또한, 마무리 단계에서 조장뿐만 아니라 다른 학생들도 자신의 의견과 배운 내용에 대해 이야기 나눌 수 있도록 항목을 추가하였다.

예비교사 D가 ChatGPT의 의견을 전적으로 수용한 것은 ChatGPT에 대한 신뢰에서 기인한 것으로 보인다. 예비교사 D도 예비교사 C와 같이ChatGPT를 매우 신뢰하며 완벽하다고 생각했는데, 그와 관련된 답변은 다음과 같다.

예비교사 D: ChatGPT의 가장 큰 장점은 어떠한 주제에 대해 한쪽에 치우친 대답이 아닌 그 주제를 다방면적으로 분석, 해결하는 시야를 제공한다는 것이다. (중략) 자세하고 완벽한 퀄리티의 지도안이 나왔다.

이처럼 중간 수준의 협업에 해당하는 예비교사들은 ChatGPT를 협력 가능한 동료로 인식하여 적극적인 협업을 이루어 내었기 때문에 AI 활용 역량 중 ‘동료 지위 부여’는 뚜렷하게 나타났다. 하지만, ChatGPT에게 추가 질문을 하거나 주고받는 대화를 진행하지는 않았다. 또한, ChatGPT를 매우 신뢰했기 때문에 ChatGPT의 오류 가능성에 대해서도 크게 고려하지 않았으며, ChatGPT의 의견을 맹목적으로 수용하였다. 따라서 ‘사용법 이해’를 바탕으로 한 ChatGPT의 활용은 찾아볼 수 없었으며 ‘비판적 수용’도 일어나지 않은 것으로 보인다. 이 예비교사들의 수업지도안의 수정은 누락된 수업지도안의 요소를 추가하는 구조적 수정과 기술을 구체와 하는 표현적 수정이 나타났다. 자신의 초기 수업지도안을 ChatGPT의 의견을 맹목적으로 수용하여 수정하였기 때문에 최종 수업지도안에는 초기 수업지도안에 있던 자신의 의견과 수용한 ChatGPT의 의견이 병렬적으로 포함되어 양방적 상호작용이 일어난 것으로 볼 수 있다. Hogan et al.[19]의 경우 양방적 상호작용에서 질문자의 질문 양상에 따라 응답자는 수동적 또는 능동적으로 기여할 수 있었는데, 예를 들어 양자 택일의 질문을 하는 경우 응답자는 수동적으로 기여하였고 개방된 질문을 하는 경우 응답자는 능동적으로 기여할 수 있었다. 본 연구에서 AI와의 중간 수준으로 협업한 학생들은 양자택일의 질문을 사용하지 않고 수정할 것을 알려달라는 등의 개방된 질문을 사용하였기 때문에 ChatGPT의 수동적 기여는 나타나지 않았고 능동적 기여만이 나타난 점이 특징적이라고 볼 수 있다.

3. 높은 수준의 협업

높은 수준의 협업에서 예비교사들은 ChatGPT의 의견을 모두를 받아들인 것이 아니라 자신의 생각을 바탕으로 취사선택하여 일부만을 받아들인 뒤, 최종 결과물을 만들어냈다. 또한, ChatGPT에게 질문한 뒤, 추가적인 의문점이 생겼을 경우 하나의 주제에 대해 추가 질문을 주고받으며 상호작용을 더욱 정교화하는 모습을 보였다. 이 유형에 속하는 4명의 예비교사의 변경사항을 살펴보면, 구조의 변화 측면에서는 학습 동기 유발(1명), 교수 학습 방법(1명)의 변화가 나타났고 서술 방식의 변화 측면에서는 문장의 표현 변화(1명), 물리 내용 지식의 변화(3명)가 나타났다.2

1명의 예비교사에게서 문장의 표현 방식 변경, 실생활과 연계한 동기 유발 추가, 학생 중심의 협동활동 추가가 나타났으며, 나머지 3명의 예비교사에게서 내용 지식 측면의 변화가 나타났다.

예비교사 E는 ChatGPT에게 동료의 지위를 부여하였으며 ChatGPT의 의견을 무조건 수용하기보다는 많은 수정사항 중 받아들일만한 내용과 그렇지 않은 내용을 구분하여 비판적으로 수용하였다. ChatGPT는 예비교사 E의 사전 수업지도안에서 수업 목표를 더 구체적으로 수정하기를 제안하였지만 예비교사 E는 그 의견을 받아들이지 않았다. 하지만 목표에 대한 세부적인 설명이 필요하다는 ChatGPT의 의견은 받아들여 수업지도안에 ‘수업 주안점’이라는 항목을 추가하여 구조를 수정하고 내용을 추가하였다. 결과적으로 Fig. 4에서 볼 수 있듯 사후 수업지도안의 수업 목표는 수정되지 않았지만, 수업 주안점은 추가된 것을 확인할 수 있다. 이처럼 예비교사 E는 ChatGPT의 의견을 무비판적 또는 맹목적으로 받아들인 것이 아니라 비판적으로 판단하여 그럴듯한 일부 의견은 받아들이고 그렇지 않은 것은 받아들이지 않았다. 이와 관련된 예비교사 D의 설명은 아래와 같다.

Figure 4. Lesson Plan of pre-service teacher E; (a) pre lesson plan, (b) post lesson plan.

예비교사 D: 수업 목표를 구체적으로 명시하면 좋다는 조언이 있었으나. (중략) 내가 보기에 수업 목표로서 적절하다고 생각해서 더 고치지 않았다. 하지만 목표에 대한 세부적인 설명이 필요하다는 점은 받아들였고 다른 수업지도안 양식을 참고하여 ‘수업 주안점’ 항목을 새로 개설하고 내용을 추가하였다.

예비교사 E는 ChatGPT의 의견을 수용하거나 수용하지 않는 데에 나름의 기준을 가지고 있었고 이를 아래와 같이 자세히 설명하였다. 예비교사 E는 자신의 사전 수업지도안에 없었던 것이나 깊이가 얕다고 생각되는 것에 대한 의견은 충분히 검토하여 수용하였다. 사전 수업지도안에 없었던 조별 활동을 추가하라는 조언을 받아들여 ‘학생들이 조를 이루어 온도계로 직접 고체, 액체, 기체의 온도를 측정해보자.’와 같이 조별 활동이 사후 수업지도안에 추가된 것을 Fig. 5에서 확인할 수 있다. 예비교사 E는 사전 수업지도안에도 학생 참여 증진과 관련한 지침은 있었다고 생각했지만, 그 깊이가 얕다고 판단하여 지침이나 질문을 추가하였다. 결과적으로 사후 활동지에는 Fig. 5에서 확인할 수 있듯 ‘왜 오차가 나왔는지 함께 이야기 해보자.’, ‘오차의 이유에 대해 교사가 지도한다.’와 같은 질문이나 지침이 포함되었다.

Figure 5. Post lesson Plan of pre-service teacher E (underlined and bold sentences represent modified parts).

예비교사 E: 학생참여 증진과 관련하여 지침과 질문을 추가하라는 조언이 있었고, 기존 활동의 깊이가 얕은 것 같다는 생각이 들었기에 받아들였다. (중략) 협력, 토론 활동을 추가하라는 조언이 있었다. 이전에는 조별 활동이 없었기 때문에 이 조언을 듣고 기존의 활동을 조별 활동으로 바꾸었다. 온도 측정 후 결과에 대해 토론하는 활동을 추가하였고, (중략) 미리 조원들과 결과를 예측해보고 실제 결과와 비교해보는 활동을 구성하였다.

예비교사 E는 스스로 판단하기에 이미 충분히 포함되었다고 생각되는 내용에 대한 ChatGPT의 의견은 받아들이지 않았다. ChatGPT는 활동을 확장하라는 의견을 제안하였고 예비교사 D는 활동을 확장하기 위해 어떤 활동을 추가해야 하는지 구체적으로 검토한 뒤 미반영하였다. 예비교사 D는 아래의 설명과 같이 이미 두 개의 활동으로 활동은 충분하며 열기구 등 실생활 관련 활동을 포함하는 것의 부정적 영향(시간 초과 및 학생의 피로감)을 충분히 고려하여 검토한 것을 확인할 수 있다.

예비교사 E: 활동을 확장하면 좋겠다는 조언이 있었지만 받아들이지 않았다. 만약 추가하게 된다면 실생활에 적용하는 부분을 확장하여 열기구를 직접 만들어보는 활동 등 실생활과 연관 짓는 것이 좋을 것 같았지만, 이미 두 가지 활동이 있었고, 활동을 추가하면 시간이 길어지고 학생들이 피로해질 것 같아 추가하지 않았다.

예비교사 E는 ChatGTP의 의견을 비판적으로 수용하였으며 그 의견을 절대적으로 신뢰하고 있지는 않았다. ChatGPT가 더 많은 정보를 가지고 있다는 것은 알지만, 그 정확성에 대해서는 의심하는 태도를 보이며 적절한 검토의 중요성에 대해 강조하고 ChatGPT에 대해 절대적으로 맹신하거나 의존하지 않았는데, 이는 아래의 응답에서 확인할 수 있다.

예비교사 E: 내가 쓴 지도안의 일부를 제공하고 수정을 부탁했는데, 양식은 그럴 듯 했지만 같은 활동이 여러개 적혀 있기도 했고, (중략) ChatGPT도 완벽할 수 없다는 것을 직접 체감하게 되었다. (중략) 이전의 대화를 기억할 수 있다는 특징이 일반적으로는 장점이라고 생각되지만, 경우에 따라서는 단점이 될 수도 있었다... 받아들일 부분은 받아들이는 것이 올바른 활용법인거 같다. ChatGPT는 인간보다 더 많은 지식을 가지고 있는 장점이 있으나... ChatGPT를 사용하는 사람의 적절한 검토와 좋은 내용을 골라내는 능력이 중요하다.

또한, 예비교사 E는 AI의 사용법을 이해하고 이를 활용하였다. 아래의 대화에서 예비교사 E가 ChatGPT가 기존의 질문들을 기억한다는 점을 알고 있음을 확인할 수 있으며 이를 이용할 수 있음을 알 수 있었다.

예비교사 E: ChatGPT는 대화형식이며 이전 대화를 기억한다. 따라서 답변을 보고 만족하지 못한다면 ‘이전 대화 중 어떤 부분을 추가 설명해줘’ 라는 요구를 할 수 있는 장점이 있다.

물리 내용 지식과 관련된 내용 수준의 수정은 예비교사 F의 사례에서 확인할 수 있다. Figure 6과 같이 예비교사 F는 학습 내용 정리에 ‘추의 개수가 1, 2, 3배 증가할 때 용수철의 길이가 1, 2, 3배 증가하는가?’, ‘탄성 개수 개념을 설명한다’를 추가하였는데, 이와같이 대부분의 수정 내용이 물리 개념과 관련된 내용인 것을 확인할 수 있다. 이 서술 방식의 변화가 문장의 표변 변화와 구분되는 점은 ChatGPT가 제공한 의견이 표현을 구체화하라는 것이 아니라 물리 내용 지식에 대한 설명었다는 점이다. 이는 예비교사 F가 단순히 수업지도안을 수정해달라고 물어본 것이 아니라 ‘용수철에 추를 매달면 어떻게 될까?’ 등으로 구체적인 물리 지식에 대한 질문을 한 것에서 기인한 것으로 보인다.

Figure 6. Lesson Plan of pre-service teacher F; (a) pre lesson plan, (b) post lesson plan.

예비교사 F는 수업지도안 전체를 수정해 달라는 것이 아니라 특정한 실험 하나에 대해 구체적으로 질문하였다. 이 질문을 통해 ‘실험 시 용수철의 길이가 일정한 범위를 벗어나면 안된다.’라는 주의 사항을 사후 수업지도안에 포함하였다(Fig. 6). 또한, 예비교사 F는 ChatGPT의 대답 중 자신의 선개념과 대치되는 ‘용수철의 길이가 늘어나는 비율은 그에 비례하지 않습니다.’라는 설명을 듣고 그 이유가 무엇인지를 되물어 물질의 종류와 조건에 따라 그렇지 않을 수 있음을 알게 되었다. 이를 통해 Fig. 6의 학습 내용 정리에 추가된 ‘추의 개수가 1, 2, 3배 증가할 때 용수철의 길이가 1, 2, 3배 증가하는가?’라는 질문은 단순히 구조적 차원에서 수업을 마무리하기 위한 정리 발언이 아니라 실험이 잘 수행되었는지 즉, 물질의 종류와 조건이 적절하였는지를 확인하는 물리 내용적 질문이었음을 확인할 수 있다. 수업지도안에 이러한 물리 내용적 지식에 대한 검토와 반영이 일어난 것은 ChatGPT에게 구체적으로 질문하고, 추가 질문을 하며 반복적으로 질문하는 것 즉 AI의 사용법의 이해에서 기인한 것으로 판단된다.

예비교사 F: 용수철에 추를 매달면 어떻게 될까?

ChatGPT: 용수철에 추를 매달면, 추의 무게가 용수철에 작용하여 용수철이 늘어납니다. (중략) 즉, 추의 무게가 늘어날수록 용수철이 늘어나는 양도 많아지지만, 용수철의 길이가 늘어나는 비율은 그에 비례하지 않습니다. 또한, 용수철의 길이가 일정한 범위를 벗어나면 탄성한계를 초과하여 용수철이 변형되거나 파손될 수 있으므로 주의해야 합니다.

예비교사 F: 용수철이 늘어나는 비율이 그에 비례하지 않는 이유가 뭐야?

ChatGPT: (중략) 일반적으로는 용수철은 탄성이 높은 재질이기 때문에 무게에 비례해 비교적 일정한 비율로 늘어나지만, 물질의 종류와 조건에 따라서 그렇지 않은 경우도 있을 수 있습니다.

예비교사 F: 용수철의 탄성계수를 초등학생에게 어떻게 쉽게 설명할까?

ChatGPT: (중략) 용수철은 끈처럼 늘어날 수 있는데...

이처럼 높은 수준의 협업에 해당하는 예비교사들은 추가적인 질문을 통해 ChatGPT의 의견을 더욱 정교화하거나, ChatGPT의 의견을 비판적으로 수용하였다. 또한, 단순 문장의 표현 변화 혹은 구조의 변화 측면에서의 수정만 일어난 것이 아니라, 물리 내용 지식에 관한 수정이 나타나기도 했다. AI 협업 역량의 구성 요소인 동료 지위 부여와 사용법 이해, 비판적 수용이 모두 나타났으며, 이를 통해 높은 수준의 AI 협업 역량이 나타난 것을 확인할 수 있었다. 이 유형의 예비교사들은 ChatGPT의 의견을 비판적으로 수용하여 일부는 받아들이고 일부는 받아들이지 않았다는 점과 반복적인 질문으로 ChatGPT의 의견이나 자신의 의견을 정교화해 나갔다는 점에서 정교화적 상호작용이 나타난 것으로 판단할 수 있었다.

본 연구에서는 ChatGPT의 사용 경험과 수업지도안의 작성 경험이 없는 초등예비교사 15명을 대상으로 검색을 통해 작성한 수업지도안을 ChatGPT와의 협업을 통해 수정할 기회를 제공한 뒤, ChatGPT와의 협업의 수준과 수준별 특징을 분석하였다. 협업의 수준으로는 중간 수준 협업이 제일 많이 나타났으며(8명, 53.4%), 높은 수준의 협업(5명, 33.3%)과 낮은 수준의 협업(2명, 13.3%)이 그 다음으로 나타났다. 낮은 수준의 협업을 수행한 예비교사들은 ChatGPT의 의견을 일방적으로 무시하였다. 또한, ChatGPT에게 동료 지위를 부여하지 않았고 사용법 이해나 비판적 수용 모두 찾아볼 수 없었으며, AI와의 일방적 상호작용이 나타났다. 중간 수준의 협업을 수행한 예비교사들은 ChatGPT의 의견을 맹목적으로 수용하였으며 자신의 초기 의견에 병렬적으로 ChatGPT의 의견을 추가하여 수업지도안을 수정하였다. 이 예비교사들은 주로 수업지도안의 구조를 수정하거나 문장 표현 방식을 구체화하는 방식으로 수업지도안을 수정하였다. 또한, ChatGPT에게는 동료 지위를 부여하였지만 사용법 이해나 비판적 수용은 모두 찾아보기 힘들었고 AI와의 양방적 상호작용을 수행한 것으로 나타났다. 높은 수준의 협업을 수행한 예비교사들은 ChatGPT의 의견을 비판적으로 판단하여 일부는 반영하고 일부는 무시하였다. 이 예비교사들은 수업지도안의 구조나 문장 표현 방식뿐만 아니라 과학적 내용에 대해서도 수정하였다. 또한, ChatGPT에게 동료의 지위를 부여하고 사용법을 잘 활용하였으며 의견에 대한 비판적 수용을 했고 AI와 정교화 상호작용을 수행한 것으로 나타났다.

이러한 결과를 통해 도출할 수 있는 시사점은 다음과 같다. 첫째, AI 협업 역량 중 ‘동료 지위 부여’가 선행되어야 하며, 이를 바탕으로 ‘사용법 이해’ 및 ‘비판적 수용’이 일어날 수 있다는 것을 알 수 있다. 본 연구에서 AI와 높은 수준의 협업을 수행한 예비교사는 동료 지위 부여, 사용법 이해, 비판적 수용 역량을 모두 가진 반면, AI와 중간 수준의 협업을 수행한 예비교사는 AI에게 동료 지위 부여를 하였지만 사용법 이해나 비판적 수용은 하지 못하였다. 이러한 결과는 AI 협업 역량 중 동료 지위 부여가 먼저 수행되어야 할 필요가 있음을 의미한다. 이는 인간-AI 협력 역량 향상을 위한 활동 중심 수업을 제안한 선행연구에서 AI동료 이해하기, AI와 의사소통하기, AI와 협력과제 수행하기 중 AI동료 이해하기를 첫 활동으로 제안한 것에서도 확인할 수 있다[8]. 또한, 본 연구에서는 AI를 동료로 인식한 예비교사는 AI에 대한 높은 신뢰를 보인 반면, AI를 동료로 인식하지 않은 예비교사는 AI에 대한 낮은 신뢰를 보인 것을 확인할 수 있었다. 이는 AI에 대한 신뢰감 형성을 바탕으로 AI에 대한 동료 지위 부여가 일어날 수 있음을 제안하며 AI에 대한 신뢰는 자신이 검증할 수 있는 질문을 하는 것 등으로 향상 시킬 수 있을 것으로 생각된다. 따라서 신뢰도를 높이기 위한 사전활동을 추가하는 것이 AI 협업 역량 향상에 도움이 될 것으로 여겨지며, 이를 확인할 수 있는 후속 연구가 수행되어야 함을 제안한다.

둘째, 본 연구에서는 예비교사의 멘토, 전문가 또는 동료 교사로서의 ChatGPT의 활용 가능성을 확인하였다. 본 연구에서 예비교사들은 ChatGPT와의 협업을 통해 익숙하지 않은 수업지도안을 작성하고 수정하였으며 구조나 표현뿐만 아니라 과학 내용에 대한 수정까지도 일어났음을 확인할 수 있었다. AI와의 낮은 수준의 협업을 수행한 예비교사들에게서는 전체적인 구조적 수정이 많이 나타났다. 예비교사들은 활동 시간의 예상과 배분 등을 어려워 하는데[5], 이러한 구조적인 수정은 단순 검색을 통해서 해결하기는 쉽지 않다. 결국 본 연구의 맥락에서 ChatGPT는 수업지도안 작성에 있어서 전체적인 틀을 지도해준 셈이며, 결과적으로 경험 많은 선배 교사의 역할을 한 것으로 보인다.

셋째, AI와의 높은 수준의 협업을 통해 의미 있는 결과물을 생성하는 데는 학습자의 사전 지식이 중요한 역할을 한다. ChatGPT와의 협업을 위해서 사전 지식이 중요함을 선행연구에서도 언급하고 있는데, 선행연구에서는 학습자의 사전 지식의 수준을 넘어서는 질문에 대한 ChatGPT의 응답에 대해 학습자가 비판적 판단을 잘 수행하지 못함을 보고하기도 하였다[20]. 본 연구에서는 AI와의 높은 수준의 협업을 수행한 학생의 수업지도안에서 내용 지식 측면의 변화가 나타난 것을 확인할 수 있었다. AI와의 높은 수준의 협업을 수행한 예비교사와 중간 수준의 협업을 수행한 예비교사의 차이 중의 하나는 사용법 이해였으며 본 연구에서는 사용법 이해와 관련된 것으로 구체적 질문, 추가 및 반복 질문 등이 나타났다. 이러한 사용법 이해는 예비교사의 사전 지식과 온전히 분리하여 나타나지는 않았다. 구체적인 질문을 하기 위해서는 관련 사전 지식이 필요하며, 이에 대한 ChatGPT의 응답을 스스로 평가해 추가 및 반복 질문을 하기 위해서도 평가를 위한 사전 지식이 필요하다. 따라서 ChatGPT와의 성공적인 협업을 위해서는 단순히 ChatGPT와의 협업 능력을 기르는 것뿐만 아니라, 협업하고자 하는 해당 분야에 대한 사전 지식을 갖추는 것이 선행되어야 할 것이다.

이 논문은 2023년도 제주대학교 교원성과지원사업에 의하여 연구되었습니다.

1 괄호 안의 인원수는 중복하여 센 결과를 나타낸다.

2 괄호 안의 인원수는 중복하여 센 결과를 나타낸다.

  1. T. Son and K.-H. Lee, J. Korean Soc. Math. Educ. Ser. C 23, 1 (2020).
    CrossRef
  2. H. K. Lee, S. K. Lee, H. J. Kim and H. B. Park, J. Elem. Educ. 25, 1 (2012).
  3. S.-H. Kim, J. Elem. Educ. 24, 97 (2011).
    CrossRef
  4. L. R. Johannessen, Engl. J. 93, 73 (2003).
    CrossRef
  5. K.-Y. Park, Y.-G. Bae and E.-C. Kang, J. Korean Teach. Educ. 26, 169 (2009).
    CrossRef
  6. H. Jeong, J. Curric. Eval. 12, 1 (2009).
    CrossRef
  7. H.-Y. Park, Korean J. Lit. Res. 11, 11 (2020).
    CrossRef
  8. H. B. Song and Y. H. Cho, J. Korean Assoc. Educ. Inf. Media 29, 145 (2023).
    CrossRef
  9. Z. Akata, et al., Computer 53, 18 (2020).
    CrossRef
  10. D. Dellermann, P. Ebel, M. S¨ollner and J. M. Leimeister, Bus. Inf. Syst. Eng. 61, 637 (2019).
    CrossRef
  11. S. W. Choi and J. Korean, Assoc. Comput. Educ. 25, 73 (2022).
    CrossRef
  12. J. J. Cãnas, Front. Psychol. 13, 836650 (2022).
    CrossRef
  13. L. Markauskaite, et al., Comput. Educ.: Artif. Intell. 3, 100056 (2022).
    CrossRef
  14. K.-S. Oh and J. Korean, Lang. Lit. Educ. 82, 143 (2023).
  15. S.-K. Kwon and Y. T. Lee, J. Korea Engl. Educ. Soc. 22, 147 (2023).
  16. D. Shin, Lang. Res. 59, 21 (2023).
    CrossRef
  17. M.-L. Tsai, C. W. Ong and C.-L. Chen, Educ. Chem. Eng. 44, 71 (2023).
    CrossRef
  18. H.-J. Han and K.-C. Shim, Biol. Educ. 46, 476 (2018).
    CrossRef
  19. K. Hogan, B. K. Nastasi and M. Pressley, Cogn. Instr. 17, 379 (1999).
    CrossRef
  20. M. N. Dahlkemper, S. Z. Lahme and P. Klein, Phys. Rev. Phys. Educ. Res. 19, 010142 (2023).
    CrossRef

Stats or Metrics

Share this article on :

Related articles in NPSM