인공지능과 기계 학습의 발전은 사회의 디지털화를 촉진하는 주요 동력으로 작용하며, 대규모 데이터 관리, 예측 분석 등 일상생활에 지속적인 혁신을 일으키고 있다[1]. OpenAI에 의해 개발된 ChatGPT는 이러한 변화를 상징하는 기술 중 하나로, 그 사용이 급속도로 확산되었으며[2] 교육의 각 영역에서도 활용 가능성을 탐구하려는 연구가 진행되었다[3-7]. 이는 ChatGPT가 방대한 양의 데이터를 학습하여 사람이 이해할 수 있는 형태로 재구성하고, 인간의 피드백을 통해 학습하는 강화학습 능력을 갖추고 있기 때문이다[5]. ChatGPT는 교사의 역할을 보조하는 비계설정 기능을 제공하는 등 인공지능 튜터로 활용되기도 하며[8], 챗봇과의 상호작용을 통한 영어회화 학습[9], 텍스트 생성 기능을 활용한 글쓰기 수업[10]에 적용되기도 하였다.

ChatGPT가 가지는 가능성에 주목하여 최근 과학교육에서도 ChatGPT의 교육적 활용에 대한 연구들이 진행되었다. Cooper(2023)는 과학 관련 질문에 대한 응답, 교육자의 활용 방안, 연구 도구로서 사용 측면에서 ChatGPT가 과학 교육에서 어떻게 활용될 수 있는지 제시하였다[5]. Humphry & Fuller(2023)는 일반 화학 실험에서의 인공지능의 활용이 학생들의 실험 설계를 돕거나 실험 과정에서 발생하는 학생들의 질문과 요구 대응에 유용함을 보여주었다[11]. Ha(2023)는 예비물리교사들의 ChatGPT 활용 실천 사례 탐색하였다. 예비교사들은 학생 오개념 조사 등 수업 준비 단계에서 ChatGPT를 주로 활용하였으며 의문에 대한 즉각적인 정보 제공을 ChatGPT의 가장 큰 장점으로 제시하였다[12]. Kim & Yu(2023)은 고등학교 및 일반 물리학 수업에서 ChatGPT의 물리 교육 활용 가능성을 탐구하였다. 이 연구에서는 ChatGPT가 교육 자료 준비와 평가 문항 제작에서 시간적 효율성을 향상시킬 수 있는 잠재력을 지니고 있으나, 교육자의 주의 깊은 검토와 평가가 필요하다고 강조하였다[13]. Byeon & Kwon(2023)은 생물 수업에서의 ChatGPT 활용 사례를 제시하였다. 과학적 개념 이해를 위한 상호작용 사례를 통해, ChatGPT를 활용하여 학생들이 단계적으로 개념을 이해하는 데 도움을 줄 수 있음을 보여주었다. 또한, ChatGPT를 활용한 탐구 실험 설계가 학생들의 자기주도적인 탐구활동 수행에 도움이 될 수 있다고 하였다[14]. Han(2023)은 초등학생 5학년 학생을 대상으로 과학, 실과 융합수업에서 ChatGPT를 활용한 문제 해결 방안을 탐색하도록 하였다. 달 환경에 적합한 무동력이동 수단 설계 및 제작 수업에 참여한 학생들은 프롬프트 질문지를 통해 사전 질문지 제작하고 ChatGPT를 활용하여 해결 방안을 탐색하였다. 초기에 학생들은 교사의 지도에 의해 수동적으로 참여했지만 프로젝트가 진행되며 질문 방식을 이해하고, 정보의 정확성을 비판적으로 고려하였다고 하였다. 이를 통해 달 환경, 수송 수단에 대한 특별한 학습을 하지 않은 초등학생들도 ChatGPT가 제시한 응답 결과를 비판적으로 수용하여 문제 해결이 가능함을 보여주었다[15].

이상의 선행 연구를 통해 ChatGPT가 과학 교육 및 학생들의 창의적 문제 해결과 개념 이해에 대한 새로운 접근법으로 활용될 수 있는 가능성을 확인할 수 있었다. 그러나 ChatGPT는 단순히 선행 연구에서 제시된 유용성을 넘어, 구체적인 상황에 대한 의미론적 이해 부족, 논리적 설명을 제공하나 사실적 정확성을 결여할 수 있는 경향을 포함하는 등의 여러 단점을 보유하고 있다[4, 16]. 예컨대, ChatGPT는 개별 학생의 질문에 대한 답변을 제공하는 유용한 도구가 될 수 있으나, 잘못된 정보를 제공하는 환각(Hallucination)현상을 보일 수 있으며, 응답 생성 과정의 투명성이 부족하다. 이는 물리학 문제 같은 정답이 존재하는 문제를 해결할 때, AI가 제시한 응답을 비판적으로 검토하지 않고 수용할 가능성을 증가시킬 수 있다[12]. 따라서 ChatGPT의 교육적 활용에 앞서 사용자의 지식 수준과 전문성에 대한 충분한 고려가 필요하다[16].

한편, 학생들의 빛에 대한 개념 이해와 관련된 선행연구들은 학생들이 빛의 본성을 과학적 개념으로 이해하는 것이 쉽지 않음을 보여주고 있다[17]. 예를 들어, 빛을 직진하며 전파하는 과정으로 생각하지 못하고, 광원 부근이나 밝은 곳 부근에만 국지적으로 모여 있는 것으로 생각하는 경향을 보이는 것으로 보고되었다. 또한, 일부 학생들은 눈에서 나간 빛이 물체와 만나서 시각을 형성한다고 잘못 생각하거나 전구가 거울에 반사되었을 때 거울에 맺힌 전구의 상이 허구라고 여기는 경우도 있으며, 물속의 물고기가 실제의 크기나 위치와 다르게 보이는 현상을 이해하지 못하는 사례도 보고 되었다[18].

이에 본 연구는 초등학생들이 빛의 성질을 어떻게 이해하고 있는지 알아보고, ChatGPT에 의해 생성된 응답을 학생들이 바르게 이해하는지 분석하고자 하였다. 이를 위해, 본 연구는 확신도(Certainty of Response Index, CRI)를 중요 척도로 설정하여 연구를 진행하고자 하였다. 확신도는 학생들이 특정 내용에 대해 얼마나 확신을 가지고 있는지를 나타내는 지표로[19, 20], 학생들이 제시하는 응답 뿐만아니라, 그 대답에 대한 확신의 정도를 측정함으로써 학생들의 개념 이해의 깊이와 그 근거를 파악할 수 있게 한다. Odom & Barrow (2007)에 따르면, 확신도를 활용하여 학생들의 과학적 개념 수준을 파악할 수 있으며, 이는 교육적 개입의 효과를 평가하고, 학습 과정을 최적화하기 위한 중요한 정보를 제공한다[21]. 본 연구를 통해 초등학생들이 ChatGPT로부터 제공받은 빛의 성질에 대한 설명을 어떻게 이해하며, 이들의 이해도와 확신도가 어느 정도인지 조사함으로써, 빛에 관련된 과학적 개념의 이해 수준을 밝히고, 교육 현장에서 인공지능 도구의 활용에 대한 시사점을 제공하고자 한다.

1. 연구 대상

연구 대상은 중소도시 소재의 초등학교 4, 5, 6학년 학생 130명이다. 4, 5학년 학생들은 빛의 직진과 반사에 대해 학습한 경험이 있으며 6학년 학생들은 빛의 직진, 빛의 반사 및 굴절에 대해 이미 학습한 상태였다. 연구대상자에 대한 정보는 Table 1과 같다.

Table 1 Research participants.

	Number of students(%)
Grade 4	48(36.9)
Grade 5	37(28.5)
Grade 6	45(34.6)
Total	130(100)

2. 자료 수집

학생들에게 제시한 빛의 성질과 관련된 문항은 Song et al.(2021)에 제시된 빛 관련 개념 조사 문항 중에서 빛의 전파, 빛과 그림자, 빛의 반사 및 굴절과 관련된 10개의 문항을 선별하였다[18]. 그리고 초등학생 4학년 20명을 대상으로 한 예비 연구를 통해 문제 맥락을 이해할 수 있는지와 기존 선행 연구에서 나타난 오답률을 고려하여 최종적으로 8개의 문항을 선정하여 질문지를 구성하였다. 제외한 문항은 ‘기둥 모양 전등이 둥근 물체를 비출 때 그림자의 모양’, ‘오목한 수조 안의 물고기’에 대한 문제이다. 이 두 문항에 대해 예비연구로 참여한 20명의 학생 중 50% 이상의 학생들이 제시된 문제 상황을 이해하지 못하였다. 또한, 기존의 선행연구에서도 정답률이 20% 미만으로 나타났기에 초등학생들의 이해 정도를 조사하기 위한 문항으로 적합하지 않다고 판단하였다.

Table 2는 학생들에게 제시한 빛의 성질에 대한 문항이다. 빛의 전파, 빛과 그림자, 빛의 전파 및 반사, 빛의 굴절과 관련하여 각각 2개의 문항으로 구성하였다. 1번과 2번 문항은 빛의 전파와 관련하여 커튼을 열었을 때와 스탠드를 켰을 때 방안의 빛은 어디에 있는지에 대한 문항이다. 3번과 4번 문항은 빛과 그림자와 관련된 문항으로, 빨간색 빛을 비췄을 때 그림자의 색깔과 이 그림자에 다시 초록색 빛을 비췄을 때 어떻게 되는지에 대한 문항이다. 5번과 6번 문항은 빛의 전파 및 반사와 관련하여 전등 빛이 거울에 반사되었을 때 책상 위 밝기 변화와 물체가 눈에 보이는 이유에 대한 문항이다. 7번과 8번 문항은 빛의 굴절과 관련하여 물속에 있는 물고기의 실제 위치와 물이 든 어항 속에 있는 물고기가 어떻게 보이는지에 대한 문항이다.

Table 2 Investigate elementary students' understanding of scientific concepts about the properties of light.

Category	Question
Propagation of light	1*. How far does the light reach when the curtain is opened?
	2. Where is the light in the room when the lamp is turned on?
Light and shadow	3. Red light is shining on an object. What color is the shadow behind the object?
	4*. What happens when green light is shone on a shadow created by red light?
Propagation/Reflection of light	5*. If a mirror reflects a light and makes it look like there are two lights, will the light on my desk be as bright as if I had two lights on?
	6. Why do objects appear visible to our eyes?
Refraction of light	7*. A fisherman is out in the water and sees a fish in the water. The fisherman wants to catch the fish with his harpoon. When he sees the fish, where should he throw the harpoon?
	8. How does the size of a fish in an aquarium appear?

(* ChatGPT suggested responses that deviated from scientific concepts)

학생들에게 제공된 ChatGPT의 응답은 학생들에게 제시된 질문(Table 2)에서 ‘과학적 개념을 기반으로 답변을 서술하시오’를 추가하여 ChatGPT 3.5에게 질문하고, 이를 통한 응답 결과를 발췌하였다. Figure 1과 같이 ChatGPT 4.0를 이용한 응답 결과와 ChatGPT 3.5의 응답 결과가 유사한지 확인한 후, ChatGPT 3.5가 제시한 응답을 발췌하였다.

Figure 1. (Color online Example response results using ChatGPT 3.5 and ChatGPT 4.0(Question 3).

그 결과, 8개의 문항 모두 ChatGPT 3.5와 ChatGPT 4.0이 제시한 응답이 유사함을 확인하였다. ChatGPT가 제시한 응답 결과 중 2, 3, 6, 8번 문항에 대한 응답 결과는 모두 오류가 나타나지 않았으며, 과학적 개념에 기반하여 답변이 제시되었다. 그러나 1, 4, 5, 7번 문항에 대한 ChatGPT의 응답 결과는 오답으로 나타났다(Table 2). 예컨대, 빨간색 빛을 물체에 비춘 뒤 생긴 그림자에 초록색 빛을 비췄을 때 그림자의 색을 묻는 4번 문항의 정답은 초록색 그림자이다. 그러나 ChatGPT는 ‘그림자는 빛이 도달하지 않는 검은색이기에 초록색 빛을 비추어도 그림자가 검은색으로 보인다’는 오답을 제시하였다.

Figure 2는 빛의 성질에 대한 이해 및 확신도를 확인할 수 있는 질문지의 예시이다. 학생들에게 문항지를 읽고 각각의 질문에 대해 자신의 생각과 일치하는 보기를 선택하고 그렇게 생각하는 이유를 설명하도록 하였다. 그리고 각각의 응답에 대한 확신 정도를 5점 척도로 평가하도록 하였다.

Figure 2. Example questionnaire to investigate students' understanding and certainty about light(Question 3).

Figure 3은 ChatGPT가 생성한 응답 결과에 대한 이해 및 확신도를 확인할 수 있는 질문지의 예시이다. 학생들에게 처음 제시했던 각각 문항에 대해 ChatGPT가 생성한 응답 결과를 Fig. 3과 같이 제시하였다. 학생들은 ChatGPT가 생성한 답변을 읽고, 이에 대한 수용 여부와 응답 근거를 제시하였으며, 응답에 대한 확신 정도를 5점 척도로 평가하도록 하였다.

Figure 3. Example of questionnaire to investigate students' understanding and confidence in ChatGPT-generated answers to light(Question 3).

3. 자료 분석

빛의 성질에 대한 학생들의 개념 수준을 파악하기 위한 이해도 검사 문항은 정답 유무에 따라 0점 또는 1점을 부여하고, 이를 백분율 점수로 변환하여 산출하였다. 문항별 학생들의 응답 근거를 파악하기 위해 학생들이 서술한 응답 근거를 참고하였으며, 이해도를 판단하는 척도로서 확신도는 CRI(Certainty of Response Index)를 활용하였다(Table 3). CRI는 지식 부족과 오개념을 쉽게 구별할 수 있어 문항 오답 원인을 파악할 수 있으며, 개념 이해 판단 척도로 사용할 수 있다. 학생들이 5점 척도로 평가한 응답에 대한 확신 정도는 낮은 확신에서 높은 확신 순서로 1점에서 5점을 부여하고, 확신도는 정답에 대한 확신도의 합계를 정답자 수로 나누어 산출하였다. 오답에 대한 확신이 높을 경우, 오개념을 가지고 있는 것으로 간주될 수 있다. 반면, 오답에 대한 확신이 낮을 경우, 지식의 결여가 그 오답의 주된 원인일 가능성이 높다고 판단할 수 있다. 또한 정답에 대한 확신이 높은 경우, 학생이 올바른 과학적 이해를 가지고 있다고 볼 수 있으나, 정답에 대한 확신이 낮을 경우 지식이 결여되어 있지만 우연히 정답을 맞춘 경우일 가능성이 크다고 해석할 수 있다[22].

Table 3 Certainty of response index (Hasan et al., 1999).

	Low certainty (<2.5)	High certainty (>2.5)
Correct answer	Lack of knowledge (lucky guess)	Correct concept
Wrong answer	Lack of knowledge	Misconception

ChatGPT 응답에 대한 이해도는 학생이 ChatGPT 응답이 맞는지 바르게 이해한 경우 1점, 그렇지 않은 경우 0점을 부여하고 백분율 점수로 산출하였다. 학생들이 서술한 응답 근거를 참고하였으며, 5점 척도로 평가한 학생들의 확신도를 확인하였다. 학생들의 응답에 대한 확신 정도는 낮은 확신에서 높은 확신 순서로 1점에서 5점을 부여하고, 학생들의 AI 생성 응답에 대한 이해 판단 척도인 확신도는 정답에 대한 확신도의 합계를 정답자 수로 나누어 산출하였다.

1. 빛의 성질에 대한 초등학생들의 이해 및 확신도

Table 4는 빛의 성질에 대한 8개의 문항에 대한 초등학생들의 이해도와 정답 확신도 평균, 오답 확신도 평균을 나타낸 것이다. 빨간색 빛을 비췄을 때 그림자의 색깔에 대한 3번 문항을 제외한 모든 문항에 대해 개념 이해도는 50%에 미치지 못하는 것으로 나타났다. 정답 확신도 평균은 4번 `그림자에 초록색 빛을 비췄을 때의 색깔'에 대한 문항과 7번 `물속에 있는 물고기의 실제 위치'에 대한 문항을 제외한 모든 문항이 중간값 이상이었으나, 오답 확신도의 경우 모두 중간값 이상으로 나타났다.

Table 4 Elementary students’ understanding, certainty on properties of light (N = 130).

No	Question	Understanding (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
1	How far does the light reach when the curtain is opened?	8.5	3.55	3.44
2	Where is the light in the room when the lamp is turned on?	3.8	3.40	3.32
3	Red light is shining on an object. What color is the shadow behind the object?	73.1	3.74	2.86
4	What happens when green light is shone on a shadow created by red light?	29.2	2.42	2.86
5	If a mirror reflects a light and makes it look like there are two lights, will the light on my desk be as bright as if I had two lights on?	16.9	2.91	2.81
6	Why do objects appear visible to our eyes?	17.7	3.71	2.83
7	A fisherman is out in the water and sees a fish in the water. The fisherman wants to catch the fish with his harpoon. When he sees the fish, where should he throw the harpoon?	12.3	1.81	3.26
8	How does the size of a fish in an aquarium appear?	42.3	3.05	2.87

문항별로 초등학생들의 응답을 구체적으로 살펴보면 다음과 같다. Table 5는 1번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 이 문항은 빛의 전파와 관련된 내용으로, 커튼을 열었을 때 방안의 빛이 어디에 있는지에 대한 문항이다. 8.5%의 학생만이 빛이 방안 전체에 있다고 응답하였다. 정답인 3번 보기를 선택한 학생들의 확신도 평균은 3.55의 높은 확신을 보였으며, 정답을 선택한 학생들이 바른 과학적 개념을 가지고 있다고 볼 수 있다. 반면, 1번 보기와 2번 보기를 선택한 학생들은 빛이 커튼 반대쪽 벽이나 커튼 부근에만 있다고 이해했으며 이들의 오답 확신도 평균은 3.44로 나타났다. 오답에 대한 높은 확신도로 볼 때 1, 2번 보기를 선택한 학생들의 응답 근원이 오개념에 기인하고 있을 가능성이 크다고 판단된다.

Table 5 Understanding, certainty on properties of light (Question 1).

Q 1. How far does the light reach when the curtain is opened?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① To the wall opposite the curtain opening	66(50.8%)	3.55	3.44
② Only near the open curtain	53(40.4%)
③ Entire room*	11(8.5%)

*Scientific concept

Table 6은 2번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 이 문항은 빛의 전파와 관련된 내용으로, 커튼을 열었을 때 방안의 빛이 어디에 있는지에 대한 문항이다. 3.8%의 학생만이 빛이 방안 전체에 있다고 응답하였다. 정답인 4번 보기를 선택한 학생들의 확신도 평균은 3.40의 높은 확신을 보였으며, 정답을 선택한 학생들이 바른 과학적 개념을 가지고 있다고 볼 수 있다. 학생들이 가장 많이 응답한 것은 2번 ‘전구 근처에 빛이 있다(46.2%)’ , 3번 ‘빛이 책상 바닥 쪽에 있다(36.9%)’로 나타났다. 그 외 13.1%의 학생들은 전구 안에 빛이 있다고 생각하였다. 대부분의 학생들이 빛이 전파되면서 계속 진행하는 것이 아닌, 밝은 곳이나 광원 부근에만 빛이 있다고 생각하고 있었으며, 오답 확신도 평균은 3.32로 높게 나타났다. 즉, 1, 2, 3번 보기를 선택한 학생들이 오개념을 가지고 있다고 볼 수 있다.

Table 6 Understanding, certainty on properties of light (Question 2).

Q 2. Where is the light in the room when the lamp is turned on?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Inside the bulb	17(13.1%)	3.40	3.32
② Near the bulb	60(46.2%)
③ On the bottom of the desk	48(36.9%)
④ Entire room*	5(3.8%)

*Scientific concept

Table 7은 3번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 3번 문항은 빛과 그림자와 관련된 문항으로, 빨간색 빛을 비췄을 때 그림자의 색깔이 어떻게 되는지에 대한 문항이다. 73.1%의 학생들이 그림자가 검은색이라고 바르게 응답했으며, 응답 확신도는 3.74로 높게 나타났다. 즉, 대부분의 학생들이 빛이 도달하지 않아 생기는 그림자의 색이 검은색이라는 과학적 개념을 가지고 있음을 확인하였다. 그 외 23.3%의 학생들이 빨간색으로 응답하거나 초록색 및 보라색이라고 응답한 학생은 각각 1.5%로 나타났다. 이에 대한 오답 확신도 평균은 2.86로, 응답의 근원이 오개념에 기인하고 있다고 볼 수 있다.

Table 7 Understanding, certainty on properties of light (Question 3).

Q 3. Red light is shining on an object. What color is the shadow behind the object?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Red	31(23.3%)	3.74	2.86
② Black*	95(73.1%)
③ Green	2(1.5%)
④ Purple	2(1.5%)

*Scientific concept

Table 8은 4번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 4번 문항은 빛과 그림자와 관련된 문항으로, 그림자에 초록색 빛을 비췄을 때 어떻게 되는지에 대한 문항이다. 29.2%의 학생들이 그림자가 초록색이라고 바르게 응답했지만, 응답 확신도는 2.42로 비교적 낮게 나타났다. 즉, 문항에 대한 바른 보기를 선택했지만, 이에 대한 확신도가 낮다는 것은 응답의 근원이 요행수에 기안하고 있다고 볼 수 있다. 이는 학생들이 제시한 응답 이유에도 나타났다. 학생들은 빨간색 광원으로 인한 그림자에 다시 초록색 빛을 비추면 그림자가 있던 곳에 빛이 도달하여 초록색이라고 설명하지 못하고, 단순히 광원의 색이 초록색이라서라고 설명하거나 초록색으로 응답했지만 그 이유를 설명하지 못하였다.

Table 8 Understanding, certainty on properties of light (Question 4).

Q 4. What happens when green light is shone on a shadow created by red light?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Green*	38(29.2%)	2.42	2.86
② Black	75(57.7%)
③ Red	2(1.5%)
④ Purple	10(7.7%)
⑤ Yellow	5(3.8%)

*Scientific concept

Table 9는은 5번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 5번 문항은 빛의 전파 및 반사와 관련하여 전등 빛이 거울에 반사되었을 때 책상 위 밝기 변화를 묻는 문항이다. 16.9%의 학생들이 책상 위 밝기도 2배가 된다고 바르게 응답했으며, 응답 확신도는 2.91로 나타났다. 이 학생들은 응답 근거로 전등 빛이 그대로 책상에 도달하는 동시에 거울에 반사된 빛도 책상에 도달하여 밝기가 2배가 되는 것으로 제시했으며, 평균 응답 확신도를 볼 때 바른 개념을 가지고 있는 것으로 판단된다. 학생들이 가장 많이 응답한 것은 2번 ‘그렇지 않고, 전구 1개의 밝기와 같다(64.6%)’였다. 이 학생들은 빛이 거울에 반사되어 관찰자에게 도달한다는 것을 이해하지 못하고, 거울에 보이는 전등의 상이 보인다고 해서 그 빛이 책상으로 오는 것이 아니라고 생각하고 있었다. 그 외, 전등 1개보다 밝고 2개보다 어둡다는 응답이 14.6%, 전등 2개보다 더 밝아진다는 응답이 3.8%로 나타났다. 이들의 평균 오답 확신도는 2.81로, 전등 빛이 거울에 반사되었을 때의 밝기 변화에 대해 오개념을 가지고 있음을 확인할 수 있었다.

Table 9 Understanding, certainty on properties of light (Question 5).

Q 5. If a mirror reflects a light and makes it look like there are two lights, will the light on my desk be as bright as if I had two lights on?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Doubled the brightness on the desk*	22(16.9%)	2.91	2.81
② No, it is equivalent to the brightness of a single light.	84(64.6%)
③ It will be lighter than one and darker than two.	19(14.6%)
④ Brighter than two light.	5(3.8%)

*Scientific concept

Table 10은 6번 문항에 대한 선택지별 응답 수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 6번 문항은 빛의 전파 및 반사와 관련하여 물체가 눈에 보이는 이유에 대한 문항이다. 17.7%의 학생들이 책에서 반사된 빛이 눈에 닿아서 라고 바르게 응답했으며, 응답 확신도는 3.17로 높게 나타났다. 이 학생들은 빛이 책에서 반사되고, 그 빛이 눈에 들어와서 책을 보게 된다고 설명했으며 평균 응답확신도를 볼 때 바른 개념을 가지고 있음을 확인하였다. 학생들이 가장 많이 응답한 것은 1번 ‘주변이 어둡지 않아서(59.2%)’였다. 이 학생들은 단순히 주변이 밝아서 물체를 볼 수 있으며 눈이 있어서 물체를 볼 수 있다고 생각하고 있었다. 그 외, 눈에서 나온 빛이 책에 부딪혀서 보인다는 응답이 13.8%, 책에서 반사된 빛과 눈에서 나온 빛이 만나서 보인다는 응답이 9.2%로 나타났다. 이들의 평균 오답 확신도는 2.83으로, 물체가 눈에 보이는 이유에 대해 오개념을 가지고 있음을 확인할 수 있었다.

Table 10 Understanding, certainty on properties of light (Question 6).

Q 6. Why do objects appear visible to our eyes?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Because the surroundings are not dark	77(59.2%)	3.17	2.83
② The light from the eyes hits the book	18(13.8%)
③ The light reflected from the book reaches the eyes *	23(17.7%)
④ The light reflected from the book meets the light from the eyes.	12(9.2%)

*Scientific concept

Table 11은 7번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 7번 문항은 빛의 굴절과 관련하여 물속에 있는 물고기를 잡으려고 할 때, 작살을 어디로 던져야 하는지에 대한 문항이다. 12.3%의 학생들이 물고기의 뒤쪽이라고 바르게 응답했지만, 응답 확신도는 1.81로 낮게 나타났다. 바른 보기를 선택한 학생들의 낮은 평균 확신도로 볼 때 응답의 근원은 요행수로 판단된다. 이와 관련하여 학생들이 제시한 응답 이유에도 물속에서 공기중으로 빛이 나아갈 때 굴절되어 물고기가 실제보다 떠 있는 것처럼 보이게 되는 것을 설명하지 못하였으며 단순히 물고기의 뒤쪽이 맞추기 쉽다 등 관계없는 상황을 근거로 제시하였다. 학생들이 가장 많이 응답한 것은 ‘물고기의 앞쪽(50.8%)’이었다. 이 학생들은 물고기가 앞으로 움직이기 때문에 앞을 향해 던져야한다고 설명하였다. ‘물고기를 향해’를 선택한 학생도 36.9%로 나타났으며, 이 학생들도 물고기가 보이는 방향대로 던져야 물고기를 맞추기 쉽다고 응답하였다. 이들의 평균 오답 확신도는 3.26으로 높게 나타났으며 물속에 있는 물고기의 실제 위치와 관련하여 빛의 절에 대한 오개념을 가지고 있었다.

Table 11 Understanding, certainty on properties of light (Question 7).

Q 7. A fisherman is out in the water and sees a fish in the water. The fisherman wants to catch the fish with his harpoon. When he sees the fish, where should he throw the harpoon?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Towards the fish	48(36.9%)	1.81	3.26
② Front of the fish	66(50.8%)
③ Back of the fish*	16(12.3%)

*Scientific concept

Table 12는 8번 문항에 대한 선택지별 응답수, 정답 확신도 평균 및 오답 확신도 평균을 나타낸 것이다. 8번 문항은 빛의 굴절과 관련하여 물이 든 어항 속 물고기 크기에 대한 문항이다. 42.3%의 학생들이 물고기가 크게 보인다고 바르게 응답했으며, 응답 확신도는 3.05로 높게 나타났다. 이 학생들은 물이 든 컵으로 물체를 볼 때 크게 보였던 유사한 경험을 제시하거나 물이 든 어항이 볼록렌즈 역할을 하기 때문이라고 설명하였으며, 평균 정답 확신도로 볼 때 과학적 개념을 가지고 있다고 볼 수 있다. 그 외 30.8%의 학생들이 변화가 없다고 응답하였으며, 보는 위치에 따라 달라진다는 학생이 19.2%, 작게 보인다고 응답한 학생이 7.7%로 나타났다. 이에 대한 오답 확신도 평균은 2.87로, 응답의 근원이 오개념에 기인하고 있다고 볼 수 있다.

Table 12 Understanding, certainty on properties of light (Question 8).

Q 8. How does the size of a fish in an aquarium appear?
Response options	Number of responses (%)	Average certainty correct answers (1–5)	Average certainty wrong answers (1–5)
① Looks bigger*	55(42.3%)	3.05	2.87
② Looks smaller	10(7.7%)
③ No change	40(30.8%)
④ Depends on viewing position	25(19.2%)

*Scientific concept

2. 빛의 성질 관련 문제에서 AI응답에 대한 학생들의 이해 및 확신도

Table 13은 빛의 성질에 대한 8개의 문항을 ChatGPT에게 질문했을 때 ChatGPT가 제시한 응답을 과학적 개념을 기준으로 평가한 결과이다. 8개의 문항 중 4개의 문항(2, 3, 6, 8)은 과학적 개념에 기반하여 바른 응답을 제시했으나, 4개의 문항(1, 4, 5, 7)은 학생들이 가지고 있는 대표적인 오개념이 반영된 잘못된 응답을 제시하거나 일부 설명에서 과학적 개념을 제시하지만 과학적 오류가 포함하여 잘못된 응답으로 나타났다.

Table 13 ChatGPT's response to the question of properties of light.

No	Question	ChatGPT's response	Evaluation of ChatGPT's
1	How far does the light reach when the curtain is opened?	② Only near the open curtain	Incorrect
2	Where is the light in the room when the lamp is turned on?	④ Entire room	Correct
3	Red light is shining on an object. What color is the shadow behind the object?	② Black	Correct
4	What happens when green light is shone on a shadow created by red light?	② Black	Incorrect
5	If a mirror reflects a light and makes it look like there are two lights, will the light on my desk be as bright as if I had two lights on?	② No, it is equivalent to the brightness of a single light.	Incorrect
6	Why do objects appear visible to our eyes?	③ The light reflected from the book reaches the eyes	Correct
7	A fisherman is out in the water and sees a fish in the water. The fisherman wants to catch the fish with his harpoon. When he sees the fish, where should he throw the harpoon?	① Towards the fish	Incorrect
8	How does the size of a fish in an aquarium appear?	① Looks bigger	Correct

예컨대, 5번 문항에 대한 답변으로 ChatGPT는 전등 빛이 거울에 반사되었을 때 전구 1개 밝기와 같다고 응답하였다. 이에 대한 근거로 에너지 보존 법칙으로 인해 빛의 밝기는 변하지 않는 것으로 잘못된 설명을 제시하였다(Fig. 4).

Figure 4. (Color online) Example response results using ChatGPT(Question 5).

Figure 5는 ChatGPT가 제시한 응답에 대한 학생들의 이해도와 정답 확신도 평균, 오답 확신도 평균을 나타낸 것이다. ChatGPT가 제시한 응답을 바르게 판단하여 이해도가 50% 이상인 문항은 2, 3, 6, 8로 나타났다. 이 문항들에 대한 정답 확신도 평균은 최소 3.88에서 최대 4.40의 높은 확신도를 보였다. 문항 1, 4, 5, 7에 대한 이해도는 8–18%로, ChatGPT가 제시한 잘못된 응답을 이해하지 못하였다. 이 문항에 대한 정답 확신도 평균은 1.38–1.91로 낮게 나타났다.

Figure 5. (Color online) Understanding ChatGPT responses, average certainty correct answers, average certainty wrong answers.

Table 14는 ChatGPT 응답에 따른 학생들의 응답 근거를 분류한 것이다. 1, 4, 5, 7번 문항에서는 ChatGPT가 잘못된 응답을 제시했음에도 불구하고, 일부 학생들이 과학적 개념을 바탕으로 판단하지 않고 우연히 정답을 선택한 것으로 나타났다. 또한, ChatGPT의 응답에 오류가 있음을 인지하지 못하고 정답이라고 응답한 학생들의 답변 근거는 오개념에 기인하고 있었다. 반면, ChatGPT 응답에 오류가 없는 2, 3, 6, 8번 문항에 대해 ChatGPT 응답이 옳다고 판단한 학생들의 응답 근거는 과학적 개념에 기반을 두고 있었다. ChatGPT 응답이 틀렸다고 잘못 응답한 학생들은 지식 부족으로 인해 올바른 판단을 하기 어려웠다고 보여진다.

Table 14 Understanding ChatGPT responses by response reason.

	Response reason	Question number
There's an error in ChatGPT's response	Lack of knowledge (lucky guess)
	Misconception
No errors in ChatGPT's response	Correct concept
	Lack of knowledge

(■: Correct answer, □: Wrong answer)

3. 빛의 성질 관련 문제에서 개념 이해에 대한 확신도와 AI응답 이해에 대한 확신도 차이

Table 15와 Table 16은 학생들이 개념 이해에 대한 확신도와 AI 응답 이해에 대한 확신도 차이를 분석한 것이다. 표에서 각 문항에 대한 학생들의 응답이 정답인 경우 ○로, 오답인 경우 ×로 표기하였으며 문항에 대한 이해와 AI응답에 대한 이해 여부를 함께 표시하였다. 예컨대, ‘○│○’는 해당 문항에서 과학적 개념을 이해하여 정답으로 응답하고 AI응답의 오류를 인식하여 정답으로 응답한 경우를 나타낸 것이다.

Table 15 Analysis of the difference between confidence in understanding the concept and confidence in understanding the AI response (questions with errors in the AI response).

Question	Understanding concepts	Understanding AI responses	Number of students (%)	Confidence in response	M	S.D	t	p
1	○	○	3(2.31)	C-UC	4.67	.577	5.196	.035
				C-UAI	1.67	.577
		×	8(6.15)	C-UC	3.13	1.126	-2.366	.050
				C-UAI	4.13	.835
	×	○	21(16.15)	C-UC	3.81	.814	9.400***	.000
				C-UAI	1.57	.507
		×	98(75.38)	C-UC	3.36	.966	-4.872***	.000
				C-UAI	3.92	.870
4	○	○	2(1.54)	C-UC	3.50	.707	5.000	.126
				C-UAI	1.00	.000
		×	36(27.69)	C-UC	2.36	1.125	-5.632**	.000
				C-UAI	3.81	.786
	×	○	11(8.46)	C-UC	2.64	1.286	2.797*	.019
				C-UAI	1.45	.522
		×	81(62.31)	C-UC	2.89	1.275	-9.562***	.000
				C-UAI	4.22	.742
5	○	○	4(3.08)	C-UC	3.50	1.732	2.191	.116
				C-UAI	1.50	.577
		×	18(13.85)	C-UC	2.78	1.215	-3.000**	.008
				C-UAI	3.78	.647
	×	○	11(8.46)	C-UC	2.64	1.206	2.319	0.43
				C-UAI	1.73	.467
		×	97(74.62)	C-UC	2.84	1.352	-11.095***	.000
				C-UAI	4.30	.766
7	○	○	2(1.54)	C-UC	1.00	.000	-	-
				C-UAI	2.00	.000
		×	14(10.77)	C-UC	1.93	.829	-10.333***	.000
				C-UAI	4.14	.770
	×	○	9(6.92)	C-UC	3.22	1.716	1.886	.096
				C-UAI	1.89	1.269
		×	105(80.77)	C-UC	3.27	1.235	-6.535***	.000
				C-UAI	4.15	.841

○: Correct answer, ×: Wrong answer / C-UC: Confidence in response-Understanding Concepts, C-UAI: Confidence in response-Understanding AI responses (*p<.05, **p<.01, ***p<.001)

Table 16 Analysis of the difference between confidence in understanding the concept and confidence in understanding the AI response (questions with no errors in AI responses).

Question	Understanding concepts	Understanding AI responses	Number of students (%)	Confidence in response	M	S.D	t	p
2	○	○	5(3.85)	C-UC	3.40	1.140	-3.318*	.035
				C-UAI	5.00	.000
		×	0(0)	C-UC	-	-	-	-
				C-UAI	-	-
	×	○	78(60.00)	C-UC	3.22	1.089	-4.345***	.000
				C-UAI	3.83	.710
		×	47(36.15)	C-UC	3.49	1.120	9.510***	.000
				C-UAI	1.57	.500
3	○	○	92(70.77)	C-UC	3.38	1.015	2.292**	.024
				C-UAI	2.96	1.309
		×	3(2.31)	C-UC	3.33	1.528	1.387	.300
				C-UAI	1.67	.577
	×	○	29(22.31)	C-UC	3.07	1.193	-2.117*	.043
				C-UAI	3.62	1.083
		×	6(4.62)	C-UC	3.67	1.751	.889	.415
				C-UAI	2.67	1.633
6	○	○	21(16.15)	C-UC	3.19	1.436	-4.318***	.000
				C-UAI	4.57	.676
		×	2(1.54)	C-UC	3.00	2.828	.500	.705
				C-UAI	2.00	.000
	×	○	87(66.92)	C-UC	2.76	1.414	-5.670***	.000
				C-UAI	3.71	.714
		×	20(15.38)	C-UC	3.15	1.309	4.459***	.000
				C-UAI	1.65	.489
8	○	○	47(36.15)	C-UC	3.00	1.445	-5.452***	.000
				C-UAI	4.19	.798
		×	8(6.15)	C-UC	3.38	1.302	-1.821	.111
				C-UAI	4.13	.991
	×	○	61(46.92)	C-UC	2.81	1.258	-2.425*	.018
				C-UAI	3.41	1.146
		×	14(10.77)	C-UC	3.07	1.328	1.465	.167
				C-UAI	2.29	1.267

○: Correct answer, ×: Wrong answer / C-UC: Confidence in response-Understanding Concepts, C-UAI: Confidence in response-Understanding AI responses (*p<.05, **p<.01, ***p<.001)

Table 15는 AI 응답에 오류가 있는 1, 4, 5, 7번 문항에서 학생들이 개념 이해에 대한 확신도와 AI 응답 이해에 대한 확신도 차이를 분석한 결과이다. 각 문항에 대해 정답을 맞추지 못한 학생 대부분은 AI 응답을 읽고, 오류를 찾지 못하였으며, 개념 이해에 대한 확신도에 비해 AI 응답 이해에 대한 확신도는 유의미한 차이로 증가하였다(Table 15의 굵은 글씨). 즉, 오개념을 가지고 있는 학생들은 ChatGPT가 제시한 응답의 오류를 인식하지 못하였으며 이에 대한 확신도가 높게 나타났으며 이를 통해 학생들의 오개념이 더 견고해졌음을 확인할 수 있었다. 또한, 각 문항에 대해 정답을 맞춘 학생 대부분도 AI응답을 읽고, 오류를 찾지 못하였으며, 개념 이해에 대한 확신도에 비해 AI 응답 이해에 대한 확신도는 유의미한 차이로 증가하였다. 이 학생들은 해당 문항에서 응답 확신도를 기준으로 살펴볼 때 과학적 개념을 가지고 있거나 요행수로 정답을 맞춘 학생이다. 이들은 AI의 오류가 있는 응답을 맹신함으로써 자신들이 가진 과학적 개념에 혼란을 경험하였으며, 이는 그들의 과학적 이해에 대한 인지적 불일치를 야기하였다고 판단된다. 한편, AI 응답의 오류를 인식한 학생들도 나타났으나 이들 대부분은 각 문항에서 각 문항에서 정답을 맞추지 못한 학생들로, 1번과 4번 문항에서 유의미한 차이로 응답 확신도가 감소하는 경향을 보였다.

Table 16은 AI응답에 오류가 없는 2, 3, 6, 8번 문항에서 학생들의 개념 이해에 대한 확신도와 AI 응답 이해에 대한 확신도 차이를 분석한 것이다. 각 문항에 대해 정답을 맞추지 못한 학생 대부분은 AI응답을 읽고 이를 그대로 수용하였으며 이에 대한 확신도도 유의미한 차이로 증가하였다(Table 16의 굵은 글씨). 즉, 오개념을 가진 학생들은 ChatGPT가 제시한 응답에 동의하였으며, 추가적으로 제시한 응답의 근거로 `ChatGPT가 말한 내용을 읽고 나니 타당하다는 생각이 들었다'고 밝혔다. 이는 학생들이 자신의 과학적 개념이 실질적으로 변화되었다기보다는, ChatGPT의 응답이 설득력 있게 느껴졌기 때문이라 판단된다. 또한, 각 문항에 대해 정답을 맞춘 학생 대부분도 AI응답을 읽고 이를 그대로 수용하였으며 이에 대한 확신도도 유의미한 차이로 증가하였다. 다만, 3번 문항에서 정답을 맞춘 학생들이 AI응답에 동의하였으나 이에 대한 확신도는 3.38에서 2.96으로 감소하였다. 이는 문항의 전체 정답률이 73.1%이고 평균 확신도가 3.74로 비교적 높은 수치를 보임에도 불구하고(Table 4), 학생들이 AI 응답에 대한 비판적 사고를 활용하고 있음을 나타낸다. 학생들의 인식을 구체적으로 살펴보기 위해 학생들의 응답 근거를 살펴본 결과, 학생들은 학생들은 ‘평소 그림자가 모두 검정색인 것을 봤기 때문에 내 생각이 맞다고 생각했고 AI응답도 비슷한 설명을 해서 맞다고 생각한다. 하지만 내가 생각하지 못한 잘못된 응답이 있을 것 같아서’, ‘ChatGPT가 잘못된 내용을 보여주는 경우도 있어서’ 라는 응답을 일부 제시하였다. 이러한 결과로 볼 때, 과학적 개념을 가지고 있는 일부 학생들은 단순히 AI의 응답을 그대로 수용하는 것이 아니라, 그것을 비판적으로 분석하고자 하는 태도를 가지고 있는 것으로 판단된다.

한편, ChatGPT가 제시한 응답이 틀린 것으로 잘못 판단한 경우, 대부분의 학생들은 오개념을 가진 집단으로 분류되며, 이들의 응답 확신도는 유의미하게 감소하였다. 이러한 현상은 학생들이 해당 문항에 대해 가지고 있는 오개념 때문에 ChatGPT의 응답을 비판적으로 분석하는 것이 아니라, 자신들의 개념에 대한 불확실성으로 인해 ChatGPT의 응답을 더욱 불신하게 되는 경향을 보인 것으로 판단된다.

ChatGPT와 같은 생성형 인공지능은 학습자가 직접 프롬프트를 입력하여 상호작용할 수 있으며, 이를 통해 개별화된 학습을 지원할 수 있다. 그러나 ChatGPT가 생성한 응답은 사실 여부와 타당성이 확보되지 않는 경우가 있으며, 잘못된 응답으로 인해 오개념을 불러일으킬 수 있으므로 주의가 필요하다. 이에 따라, 본 연구는 초등학생들의 빛과 관련된 과학적 개념의 이해를 조사하고 이에 대한 ChatGPT응답을 학생들에게 제시하여 ChatGPT응답에 대한 학생들의 이해 및 확신도를 분석하였다. 본 연구의 결과로부터 도출된 결론 및 시사점은 다음과 같다.

첫째, 초등학생들의 빛의 성질에 대한 개념 이해도는 50% 미만으로 나타났으며, 특히 일부 오개념을 가진 응답에 대해서는 높은 확신을 보였다. 이러한 결과는 학생들이 빛의 성질에 대한 과학적 개념을 올바르게 이해하지 못하는 경우가 많으며, 이에 대한 교육적 개입이 필요함을 시사한다.

둘째, 빛의 성질과 관련된 문항에 대하여 생성형 AI가 제시한 응답은 과학적 개념에 기반하여 바른 응답을 한 경우도 있지만, 학생들이 가지고 있는 대표적인 오개념을 제시하거나 과학적 오류를 포함한 잘못된 응답을 제시한 경우도 나타났다. 이러한 결과는 기존의 선행연구에서 제시한 생성형 인공지능의 한계점에 해당하는 것으로, 교육 활동에서 생성형 AI를 사용할 경우 주의가 필요함을 시사한다.

셋째, 생성형 AI 응답에 대한 학생들의 이해도 및 확신도 분석 결과, 일부 학생들은 AI가 제시한 과학적 개념이 올바르지 않음에도 불구하고 오류를 인식하지 못하였으며 비교적 높은 확신도를 보이는 경향이 있었다. 이러한 결과는 학생들이 오개념을 가지고 있기 때문이며 낮은 확신도를 보인 경우, 지식의 부족에 기인함을 확인할 수 있었다. 따라서 초등학생들이 AI 생성 응답을 비판적으로 판단하는 데 어려움을 겪을 수 있다.

넷째, AI 응답의 오류에 대한 학생들의 반응과 개념 이해의 확신도 변화를 분석한 결과, AI 응답의 오류를 제대로 인식하지 못하는 학생들은 주로 오개념을 가지고 있었으며, 이들의 AI 응답에 대한 확신도는 유의미하게 증가하였다. 이는 학생들이 자신의 불확실한 과학적 개념을 기반으로 AI 응답의 오류를 감지하지 못하고, 오히려 AI의 응답을 더 신뢰하는 경향을 보인다는 것을 시사한다. 반면, 일부 학생들은 AI 응답의 오류를 인식하였으나, 이는 주로 정답을 맞추지 못한 학생들에 한정되었다. 또한, AI의 응답에 오류가 없는 경우에도 학생들은 크게 응답을 수용하는 경향을 보였으며, 이 경우에도 확신도는 증가하였다. 높은 정답률과 확신도를 가진 일부 문항(문항 3)에서 정답을 맞춘 학생들의 AI의 응답에 대한 확신도가 감소하였는데, 이는 학생들이 비판적 사고를 활용하여 AI 응답을 평가하고 있는 사례로 판단된다. 이러한 결과로 볼 때 학생들이 생성형 AI의 응답을 받아들이기 전에 과학적 개념을 정확히 이해하고, 이를 바탕으로 AI의 응답을 비판적으로 분석할 수 있도록 교육적 처치가 필요하다고 판단된다.

학습을 목적으로 ChatGPT가 사용되기 위해서는 정보의 정확성이 먼저 확보되어야 하며 학생들이 ChatGPT가 제시한 응답을 어느 정도 신뢰할 수 있는지 판단할 수 있는 도움 장치가 필요하다. 예컨대, 정보의 출처가 표기되거나 제시된 정보에 대한 확실도 및 신뢰도를 함께 제공하는 것이 필요할 것이다. 동시에 AI를 포함한 교육 기술 도구의 사용 결과를 정기적으로 평가하여, 그 효과성을 지속적으로 모니터링하고 개선할 필요가 있다. 그리고 AI를 사용하기에 앞서 AI 기술의 원리와 한계를 정확히 이해하고, 이를 학생들에게 효과적으로 전달할 수 있도록 하는 교육이 필요하다. 이러한 제반 조건이 갖춰지지 않는다면 ChatGPT의 잘못된 응답으로 인해 오개념을 불러일으킬 수 있으며 학생의 과학적 개념 이해와 문제 해결에 있어 역효과를 가져올 수 있을 것이다. 따라서 학생의 과학적 개념 수준이 낮거나 AI 응답을 비판적으로 판단하기 어려운 경우, 학생이 독립적으로 ChatGPT를 사용하기 보다는 ChatGPT가 제시한 응답을 비판적으로 수용할 수 있도록 교사와의 상호작용 및 피드백이 병행될 필요가 있을 것이다.

본 연구는 ChatGPT와 같은 생성형 AI가 교육 현장에서 활용될 경우, 단순히 기술적인 도구로서의 기능뿐만 아니라, 학습자의 과학적 개념 이해와 비판적 사고 능력을 발전시키는 중요한 매개체로서 기능할 수 있음을 시사한다. ChatGPT를 교육 활동에 활용하기 위해서는 AI 생성 응답의 내용을 사전에 검토하고, 이를 교육적 맥락에 적합하게 조정하는 것이 중요하다. 또한, AI를 활용한 교육 활동을 설계시, 학생들이 제공받는 응답의 과학적 정확성을 검증하고, 학생들에게 비판적으로 생각하고 응답의 질을 평가할 수 있는 기회를 제공해야 할 것이다.