7단원. 시험 개발의 단계

( 위 배너는 구글 애드센스 입니다. )

7단원. 시험 개발의 단계

 

평가와 관련된 문제에 대해 충분히 그리고 분명하게 진술하라.

시험을 위한 완벽한 명세서를 작성하라.

시험 문항을 작성하고 조정하라.

문항을 원어민들에게 비공식적으로 실험시행해 보고 문제가 있어 보이는 문항은 버리거나 수정하라.

시험에서 의도하는 대상과 비슷한 비원어민 집단에게 그 시험을 실험시행해 보라.

실험시행의 결과를 분석하고 필요가 있다면 무엇이든 수정하라.

척도의 눈금을 조정하라.

타당도를 검증하라.

시험 응시자, 시험 사용자, 그리고 시험 관리 요원을 위한 지침서를 제작하라.

시험에 필요한 시험 관리 요원을 훈련시켜라.

 

문제 진술하기

1) 어떤 종류의 시험이여야 하는가? 성취도, 능숙도, 진단 또는 배치 시험?

2) 시험의 정확한 목적은 무엇인가?

3) 어떤 능력을 평가하고자 하는가?

4) 결과는 얼마나 정확해야 하는가?

5) 역류는 얼마나 중요한가?

6) 시험 구성, 시행, 채점에 있어 전문성, 시설, 그리고 시간이 여의치 않을 경우 어떤 제약 조걸들이 있는가?

 

2. 시험 명세서 작성하기

1) 내용

a. 기능 : 수험자들이 실행할 수 있어야 하는 과업들

b. 텍스트의 유형 : 편지, 학술 글 등등

c. 텍스트의 수신인 : 원어민, 사장

d. 텍스트의 길이

e. 소재

f. 가독성

g. 문장 구조의 범위

h. 어휘 범위 : 어휘 단위 목록 등등

I. 방언, 말씨 문체

j. 처리 속도

 

 

2) 시험 구조, 소요 시간, 사용 수단, 그리고 기법

a. 시험 구조

b. 문항수

c. 지문의 개수

d. 사용 도구

e. 소유 시간

f. 기법

3) 수행의 기준치

a. 정확성

b. 적절성 : 화자의 의도

c. 범위 : 언어의 양

d. 유연성

e. 크기

4) 채점 절차

a. 어떤 평가 척도를 사용할 것인가?

b. 각각의 답안을 몇 사람이 채점하게 할 것인가?

c. 각각의 또는 그 이상의 채점자들이 하나의 답안에 대해 다른 평가를 할 경우, 어떻게 할 것인가?

 

3. 시험 문항 작성과 조정하기

1) 표본 문항 추출

a. 내용의 타당도와 이로운 역류를 위해서는 내용의 전 영역에 걸쳐 광범위하게 선택하는 것이 중요

b. 평가하기 쉬운 것으로 알려진 요소로 집중되어서는 안된다.

c. 광범위하게 그리고 예측할 수 없는 방식으로

2) 문항 작성

a. 명세서에 염두해 두고 작성

b. 잘못 해석될 소지 / 의도했던거와 다른거

c. 정답 없는 문항

d. 어떤 문항은 버려야 하고 어떤 문항은 다시 작업해야 한다.

3) 문항 조정

a. 두 명의 동료가 철저히 검토, 문항 작성자는 아니어야 함.

b. 성공적으로 조정이 불가능하면, 문항 버려야함.

 

4. 문항을 원어민에게 비공식적으로 실험시행하기

1) 원어민에게 어려운 것으로 판명된 문항들은 개정하거나 교체할 필요가 있다.

2) 예기치 못했거나 부적절한 대답이 나온 문항도 마찬가지.

 

5. 의도하는 대상과 비슷한 비원어민 집단에게 실험시행하기.

1) 시험의 실행과 채점 과정에서 발생한 문제점은 메모 되어야 한다.

2) 시험이 가진 문제점들은 목표 집단에게 시행된 이후에야 비로소 발견되는 경우가 있다.

 

6. 실험시행의 결과 분석: 필요한 부분 수정하기

1) 통계 분석

a. 전체의 속성 : 신뢰도

b. 개별의 속성 : 그 문항이 얼마나 어려운지, 그리고 실력이 있는 수험자와 그렇지 않은 수험자를 얼마나 잘 구별해 주는지

2) 정성 분석 – 응답에서

a. 잘못 해석된 것

b. 예측하지 못했지만 충분히 정답이 될 수 있는 응답들

c. 문항 오류를 나타내주는 다른 지표들

 

7. 척도 조정하기

1) 수행 표본들

a. 모든 범위의 점수를 포괄하는 수행 표본

2) 표본들을 살펴보고 그것들 각각에 적절한 척도 안에서 어떤 점수를 부여한다.

a. 훈련 자료

b. 척도를 사용하여 점수를 참고하여 점수를 매김.

 

8. 타당도 검증하기 - 중요할 때, 그리고 여러번 칠 때, 매년 공신력으로

 

9. 수험자, 시험 사용자 그리고 시험 관리 요원을 위한 지침서 작성하기

1) 시험의 이론적 근거

2) 시험을 개발하고 타당도를 검증하는 방법에 대한 설명

3) 시험에 대한 묘사 (여기에는 어떤 버전의 명세서인지도 포함됨)

4) 문항 표본 또는 전체 시험의 표본

5) 시험 준비에 관한 조언

6) 시험 점수를 어떻게 해석해야 하는지에 대한 설명

7) 훈련 자료 : 면접관, 채점자 등을 위한

8) 시험 실시와 관련된 세부사항

 

10. 시험 관리 요원 훈련시키기

1) 면접관, 평가자, 채점자, 컴퓨터 운영자, 시험 감독관

( 아래 배너는 구글 애드센스 입니다. )