Developing Test Items

( 위 배너는 구글 애드센스 입니다. )

Developing Test Items

20146146 박형락

 

           시험 기법은 시험을 치는 수험자들의 언어 능력을 수행으로 이끌게 하는 것이다. 신뢰하고 타당한 방법으로 이러한 수행을 이끌어 내야하며, 수행에 따른 채점 역시 신뢰할 수 있어야 하고, 시간과 노력이 효율적이어야 하며, 적절한 긍정적인 세환효과를 가져오게 해야 한다.

           다수 중 하나를 선택하는 문항에는 질문과 그에 대한 선택할 수 있는 답들이 있다. 이 답들에는 하나만 정답이고 나머지는 오답이다. 이러한 문항에는 수헙자들이 최선의 하나를 선택해야 정답으로 인정된다. 채점은 빠르고 경제적이다. 그리고 정답은 오직 하나기 때문에 신뢰할 만한 문제다. 또한 수험자도 빠르게 답변이 가능하다. 그리하여 언어능력을 여러 가지 방법과 시간 대비 많은 수를 평가할 수 있다. 그러나 단점이 없는 것은 아니다. 수험자가 이러한 문항에서 정답을 정확히 선택해도 그것이 언어 능력에 대한 지식인지 사용 능력인지 정확하게 구별하여 평가하지 못한다. 그리고 이러한 문항에는 변수들이 많다. 수험자가 실제로는 잘 모르는 문제인데 확률을 통해 정답을 의도치 않게 선택할 수 있으며, 정답은 하나고 오답은 다수지만 대게 경제와 시간과 효율의 문제로 선택 답안의 개수가 제한적이라 오답의 여러 가능성들이 제한 될 수 있다. 이런 경우 수험자에게 행운이 따라 정답을 맞출 수 있게 된다. 후자의 경우 어느 언어능력에서 정답과 함께 어떤 오답과 헷갈려하는 경우가 있다. 그런데 헷갈려하는 오답이 시험 문항에 나오지 않아서 정답을 선택할 수 있다. 이러한 다양한 가능성을 시험 출제자는 고려하여 문항을 만들어야 한다. 그리고 그 가능성을 통해 통계적인 작업과 문항 조정 작업을 거쳐 올바른 문항을 개발하며, 그것을 목표 문항 수 보다 많이 만들어야 한다. 그런데 이런 노력은 시간과 전문 지식이 많이 요구되는 것이 현실이다. 이는 나쁜 영향을 끼치는 세환효과와 함께 보고 객관적으로 찍을 수 있다는 점에서 부정행위의 가능성이 열려 있다.

           문항 중에는 예와 아니오 둘 중 하나를 고르는 문제가 있다. 이는 위의 다수를 선택하는 문항 보다 선택 폭이 좁다. 그리고 정답률은 50%가 된다. 물론 그 이유를 수험자에게 작성하라고 문제가 요구할 수 있다. 그렇게 되면 추가적으로 수험자가 작성하는 것에 따른 쓰기 활동이 발생하게 되고 다른 언어 기능을 검사하려고 했는데 쓰기 활동 마저 검사하게 되는 결과를 낳게 될 것이다. 만약 수험자가 쓰기 활동을 못하는데 원치 않게 쓰기 활동을 평가 받게 될 경우, 좋은 점수를 얻지 못할 것이다. 평가자도 마찬가지로 쓰기 활동이기 때문에 채점하는 과정에서 복잡해 질 수 있다.

           이러한 선택형 문제와 달리 단답형 문항은 답안 찍기를 막을 수 있고 상대방이 알려준다는 전제 하에 부정행위를 막을 수 있을 것이다. 하지만 이것 역시 수험자에게 쓰기 활동을 단답이라도 정확한 쓰기로 표현을 요구하는 것이고 주관에 따른 신뢰도 문제와 함께 채점자가 채점하는데 여러 가지 답안이 나올 경우 오래 걸릴 것이다. 이러한 단답형은 컴퓨터 기술이 발달하게 되면 일정 부분 단점들을 극복 할 수 있을 것이다.

           단답형 문제보다 더 간단하게 빈칸 채우기 문제가 있다. 특히 어휘 시험과 문법 시험에서 사용할 수 있는 문제 기술이다. 이러한 문항을 만들 때는 수험자들에게 여러 가지 제약 조건들을 명시해야 하는 것이 좋다. 왜냐하면 수많은 문법 규칙 속에서 축약형, 위치에 따라 다양하게 표현이 가능하기 때문이다. 그리고 단어 문제의 경우 문법과 맥락에 따라 어떤 단어를 사용해야 하는지 보이기도 한다. 통제하면 통제할수록 언어 표현의 문제가 생기며 통제를 하지 않을수록 채점하기가 곤란해 질 것이다.

           국내에는 이러한 문제를 만드는 방식이 기술 발달에 따라 굉장히 편해졌다. 그 이유는 최근 교과서의 출판사에서 문제 만들기 마법사를 교사들에게 제공하고 있기 때문이다. 중학교 학생들을 대상으로 내신 시험 대비를 한 경험이 있다. 그 때 교과서 출판사가 제공하는 문제 만들기 마법사로 내신 대비를 했으며 실제로 큰 효과를 봤었다. 왜냐하면 교과서가 의도하고 있는 학습 목표 그리고 중요 내용과 활동책 그리고 기타 교사를 위한 가이드 자료들을 출판사가 전부 가지고 있기 때문에 그것을 활용하여 문제 마법사가 문제를 여러 유형으로 만들기 때문이다. 이는 결국 더 나아가 수행평가도 예측가능하다. 따라서 이러한 평가 연구를 기술 발전에 맞춰 진행된다면 앞으로 수행평가 역시 교사의 출제와 교과서의 의도에 적합한 활동 개발을 컴퓨터가 분석하여 교사와 학생과 학부모와 여러 교육 관계자에게 도움이 될 것이라고 생각한다.

 

요약문헌

Hughes, A. (2003). Testing for language teachers. Cambridge: Cambridge University Press. 75-82.

( 아래 배너는 구글 애드센스 입니다. )