Principles of Language Assessment

( 위 배너는 구글 애드센스 입니다. )

Principles of Language Assessment

박형락

 

언어 평가에서 가장 먼저 고려해야 할 것은 현실성이다. 이상적인 언어 평가를 구성해도 막상 현실적인 요소들에 부딪쳐서 못할 수 있기 때문이다. 언어 평가를 계획하고 설계하고 문항들을 만들고 시행하고 채점하는 과정 모두 현실성을 기반 한다. 예산의 제한과 시간이라는 제약에서 시험 수행자가 적절하게 언어 능력 평가에 참여해야하고 끝낼 수 있어야 한다. 따라서 현실성은 언어 평가의 모든 과정에서 효율성을 말한다. 적절한 인적 자원의 활용과 평가를 위한 자원들을 효율적으로 관리해야 하며 평가 시행에서도 깔끔한 진행을 하는 것도 효율성의 문제에서 비롯되는 것이기 때문이다. 평가의 설계와 채점하는 과정에서도 시간과 노력에 따른 효율적인 문제들을 고려해야 한다.

신뢰가 있는 시험은 글자그대로 신뢰할만하고 일관적이다. 신뢰가 있는 시험은 같은 학생들이나 비슷한 언어능력을 지닌 학생들에게 시험을 시행해도 그 결과가 유사하게 나타난다. 이러한 시험의 특징은 시험의 조건에서도 여러 번 치더라도 일관적이다. 그리고 깔끔한 채점과 평가를 위한 방향성을 제공한다. 신뢰된 시험에서는 항목과 그에 따른 지시문이 일관된 적용 기준들을 평가자들에게 제공해 준다. 시험을 치는 수험자에게도 모호하지 않는 문제와 과업들로 시험을 통해 제시된다. 대부분의 평번한 학생들은 시험 외적인 요인에서 발생하여 신뢰도에 문제를 일으키는 부분이 있다. 그리고 시험의 채점자도 인간이 채점하는 것이기 때문에 채점하는 과정에서 평가의 신뢰도를 떨어뜨리는 요인이 된다. 복수의 채점자 제도를 도입하고 채점자들의 합의는 이러한 문제를 최소화 할 수 있다. 이를 평가자 간의 신뢰성이라고 한다. 시험을 시행하는데 있어서도 신뢰도에 변수가 발생한다. 특히 시험지, 주변 지역 상황 등 시험 환경이 주요 변수다. 시험 문제에서도 신뢰도에 영향을 끼치는 요인이 존재한다. 선다형 문제나, 단답형, 서술형 등 확실한 답변을 할 수 없는 요인이 문항에 출제된다면 채점자들에게도 그 악영향을 끼치게 된다.

타당도는 통계를 통해 평가가 타당한지 알아볼 수 있는 수치다. 평가의 목적 부합하여 유용하고 의미가 있으며 정확한 평가 결과를 추론할 수 있는 지는 이 타당도를 통해 알 수 있다. 측정 결과는 정확하게 제시되고 악영향을 끼치고 관련 없는 변수들은 측정하지 말아야 한다. 평가의 수행 대상에 따른 내용은 가능한 한 실증적인 증거여야 하고 시험의 기준에 따른 샘플은 평가 목적에 맞는 수행을 포함해야 한다. 타당 평가는 수험자의 능력에 대한 의미가 있고 유용한 정보를 교사에게 제공할 수 있어야 하고 이론적 토대를 바탕으로 해야 할 것이다. 내용 타당도는 내용과 관련된 타당도를 근거로 한다. 이러한 내용 타당도는 평가자가 원하는 언어 능력 평가가 평가 목적에 부합되느냐를 진단한다. 내용 타당도를 위해서는 유효한 지문 가능한 증거들을 전문 기관이나 전문가를 통해 얻거나 직접 혹은 간접적인 시험을 통해서 내용 타당성을 검증할 수 있다. 준거 관련 증거를 통해 타당도를 측정하는 방법은 공인 타당도 측정과 예측 타당도 측정이 있다. 공인 타당도는 기존 대상 시험의 타당도와 비교하여 검정하는 방법이 있고, 예측 타당도는 배치 시험 같이 학생이 시험을 치고 그에 따른 수행 결과와 시험 점수를 통해 타당도를 측정한다. 구인 타당도는 구인 관련 증거를 통해 타당도를 측정한다. 학생들로부터 네 기능을 하는 연습하는 과정에서 교사가 학생의 심리적 요인들을 측정하여 그것에 대한 타당도 검증을 측정하는데 복잡하고 경제적인 문제가 있다. 결과 타당도는 시험 결과에 따른 파급력을 측정하는 방법이다. 즉, 사회적으로나 교육적으로 시험 이후 수험자에게서 나타나는 여러 가지 효과를 측정한다. 장기적으로는 시험에 따른 누적으로 수험자에게 발생하는 효과가 있을 것이며 단기적으로는 학생들에게서 나타나는 세환이 있을 것이다. 안면 타당도는 좀 더 나은 학습을 위해 학생들이 평가를 판단하는 것을 말한다. 이는 직관성을 가진다. 종합하자면 교사는 친숙한 과업들을 바탕으로 한 예측할 수 있는 형태의 잘 만들어진 형태, 시간제한이 있으나 그 할당 안에 성취할 수 있는 과업, 명확하고 복잡하지 않은 문항, 명확한 지시, 이전 강좌에서 연습 해봤던 과업들, 내용 타당도를 위해 강좌에서 했던 작업과 관련된 과업들 그리고 어려운 난이도의 평가라도 합리적으로 도전 할 만한 과업 또는 문항을 구축한다면 좋은 시험을 학생들에게 제공할 수 있을 것이다.

많은 시험들은 진정성 있는 언어 시험을 주요 원칙으로 한다. 진정성이 있는 시험은 가능한 현실과 가까운 자연스러운 언어를 포함해야 하며, 고립된 문항보다는 맥락화 된 문항으로 구성되어야 하고, 의미가 있고 흥미가 있고 삶에 유의미한 주제들이 포함되며, 이야기 전개 방식을 통해 문항을 주제와 관련되게 조직하여 제공하고, 실제 세계 활동과 유사하게 과업을 제공한다.

세환 효과는 언어 평가 영역에서 학습하고 가르친 것에 대한 시험의 효과를 통해 다음 학생의 미래에 언어 발달에 영향을 미치는 것을 말한다. 유익한 세환 효과를 제공할 수 있는 시험은 교사가 가르치고 학습자가 학습하는데 긍정적인 영향과, 학습자에게 정적한 준비를 줄 수 있는 기회를 제공하고, 학습자의 언어 발달을 향상시키는 피드백을 주며, 누적보다는 더욱 자연스러운 형성 평가 이며, 학습자로부터 최고조의 수행을 할 수 있도록 그에 따른 조건들을 제공한다.

언어 평가에서 고려하는 원칙들은 교사가 학생의 평가를 하는 데 있어서 학생과 학부모로부터 논란을 최소화 할 수 있는 요소들이다. 학생들에게 시험 중 가장 민감한 것은 국어, 영어, 수학일 것이다. 그 중 국어와 영어는 언어 안에서 문항에 대한 수많은 다양한 해석과 예외상황을 가지고 있어서 그 변수 역시 많을 수밖에 없다. 결국 좋은 언어 평가를 위해 해당 원칙들을 적용 시켜야 하는데, 효율성에서 문제가 있을 것이다. 경제적인 문제와 시험을 계획하고 출제하고 평가하는 과정에서 부딪치는 시간적인 문제는 한국의 교사들에게는 원칙대로 시험 평가를 적용하기에는 힘들다. 하지만 이러한 시간과 경제적 문제를 극복하기 위해서는 국가의 도움이 필요하다고 생각한다. 그러나 국가의 도움 역시 경제적 비용이 들기 때문에, 만약 국가의 도움이 필요하다면 단순히 경제적 비용 지원 혹은 교사 처우 개선 같은 비현실적인 요구보다는 평가 요소에 대한 표준화 그리고 이를 위한 평가 연구가 필요하지 않을까 생각한다. 이것 역시 추상적이지만 유동자본 보다는 고정자본에 대한 투자가 자본주의 시장에서는 효율적이기 때문에 언어 평가의 원칙을 완벽하게 적용 시킬 수 있는 국가의 효율적인 투자가 필요하다.

 

요약문헌

Brown, H. D. (2004). Language assessment: Principles and classroom practices. New York: Pearson/Longman. 25-51.

( 아래 배너는 구글 애드센스 입니다. )