Avant 에서는 말하기 및 쓰기 응답을 어떻게 평가하나요?

STAMP 테스트는 누가 평가하나요?

에서 사람이 평가한 응답은 Avant STAMP, PLACE, 아랍어 능력 시험(APT) 및 스페인어 문화유산 언어 시험은 다음 최소 요건을 충족하는 언어 교육자/화자인 인증된 Avant 평가자가 평가합니다:

  1. 언어 능력: 평가자는 고급 이상의 언어 능력을 유지해야 합니다(전화 인터뷰 또는 승인된 평가(예: STAMP4S, OPI, ILR 인터뷰, MOPI 또는 프락시스/주 교사 자격증)의 시험 점수로 결정됨).
  2. 교육: 평가자는 학사 이상의 학위를 소지해야 합니다.
  3. 교육 및 인증: 평가자는 언어별 Avant 평가자 교육 프로그램을 이수하고 인증 평가에서 90%의 동의 점수를 얻어야 합니다.
  4. 사용 가능성: 채점자는 매주 지정된 수의 항목(학생 응답)을 채점할 수 있어야 합니다(특정 언어 채점 관리자 및 채점자가 결정).

인증된 Avant 평가자는 어떻게 교육받나요?

모든 평가자는 Avant 평가자 교육 프로그램을 이수하고 인증 시험을 통과해야만 학생의 답안을 채점할 수 있습니다. 교육 과정은 5단계로 구성되어 있으며 일반적으로 개인 작업 시간은 약 11~13시간, 평가자 교육 관리자와 함께 하는 시간은 약 2~3시간이 소요됩니다.

  1. 학업 준비: 채점자 응시자는 ACTFL 숙련도 지침 및 ILR 숙련도 설명자를 기반으로 숙련도 수준을 설명하는 Avant 채점자 교육 자료를 공부하고 Avant 에서 이러한 수준을 응시자의 응답에 적용하는 방법을 배웁니다. 이 단계의 목표는 채점자가 구성된 응답 항목(말하기 및 쓰기)을 채점할 때 경험하는 문제에 대한 방향을 제시하고 Avant시스템이 응시자의 응답에 부여할 수 있는 점수 범위를 개괄적으로 설명하는 것입니다. 1단계는 3~5시간이 소요될 것으로 예상되는 독립적인 학습 단계입니다.
  2. 평가자 연결 시스템(RC)에 대한 가이드 검토 및 소개: 평가자 후보자는 배정된 평가자 교육 관리자와 만나 숙련도 수준과 다양한 수준을 식별하는 데 사용되는 세부 사항을 포함한 교육 자료의 핵심 요소를 논의하고 명확히 설명합니다. 그런 다음 평가자 교육 관리자는 예비 평가자가 Avant의 온라인 평가자 연결 소프트웨어에 액세스하도록 돕고(3단계 참조), 평가자 연결 시스템 사용 방법을 보여 주면서 몇 가지 응답 방법을 안내합니다. 2단계는 일반적으로 평가자 후보와 평가자 교육 관리자 간의 가상 회의로 진행되며, 예상 시간은 2~3시간입니다.
  3. 평가자 연결 시스템(RC)으로 연습하세요: Avant의 RC를 사용하면 평가자 후보가 선택한 교육/앵커 응답을 채점하고 각 응답에 대한 평가에 대한 즉각적인 피드백을 받을 수 있습니다. 이 단계의 훈련 과정의 목적은 이전에 Avant 마스터 평가자가 채점한 많은 응시자 답안을 평가자 후보에게 노출시키는 것입니다. 각 훈련용 답안에는 해당 항목이 왜 그렇게 채점되었는지에 대한 자세한 주석 또는 설명이 포함되어 있습니다. 이 과정을 통해 채점자는 채점 기준을 내면화하고 적용하기 위해 모든 레벨에 걸쳐 다양한 응답을 평가하고 즉각적인 피드백을 받을 수 있습니다. 3단계는 독립적인 온라인 연습 세션으로, 필요한 경우 4~5시간 또는 그 이상의 시간이 소요될 것으로 예상되는 응답 연습 은행을 완성하는 단계입니다.
  4. 평가자 연결 연습에 대한 안내 분석: 평가자 응시자가 RC에서 교육 응답을 완료하면, 응시자는 배정된 평가자 교육 관리자와 만나 연습 채점 세션 중에 발생한 문제를 논의하고 명확히 합니다. 특히, 정확하게 채점되지 않은 답안을 검토하고 채점 기준 및 수준 설명과 답안에 대한 적용에 대한 질문에 답합니다. 채점자 교육 관리자는 예비 채점자가 어떤 기준에 어려움을 겪었는지 확인할 수 있으며 추가 지원이나 교육이 필요한 부분을 빠르게 파악할 수 있습니다. 이 시점에서 평가자 교육 관리자는 예비 평가자에게 Avant 평가자 교육 프로그램의 3단계를 반복하도록 하거나 인증을 위해 5단계로 이동하도록 결정할 수 있습니다. 4단계는 일반적으로 평가자 후보와 평가자 교육 관리자 간의 가상 회의로 진행되며, 검토해야 하는 영역의 수에 따라 1시간 이상의 시간이 소요될 것으로 예상됩니다.
  5. 인증: Avant 평가자 교육 프로그램의 마지막 단계는 평가자 후보가 Avant 마스터 평가자와 90% 이상의 채점 동의를 얻어 인증 시험을 통과하는 것입니다. 이 시험을 완료하기 위해 채점자 후보자는 채점자 연결 시스템에 접속하여 실제 시스템에서 학생의 답안을 채점할 때와 같은 경험을 재현하는 프로세스에서 인증 은행의 답안을 채점합니다. 인증 은행은 이전에 Avant 마스터 평가자가 채점한 답안으로 구성되지만, 교육 세션 중에 제공된 주석이나 코멘트가 없는 답안으로 구성됩니다. 인증 시험이 끝나면 평가자 후보자에게 점수가 통보됩니다. 그런 다음 평가자 교육 관리자가 평가자 후보와 만나 평가 문제를 파악하고 필요에 따라 재교육 활동에 참여시킵니다. Avant 마스터 평가자와 90% 이상의 동의를 얻은 평가자 후보자는 인증된 Avant 평가자로 지정되어 활성 STAMP 시험 응답을 평가할 수 있는 자격을 얻게 됩니다.
  6. 실시간 평가: 평가자 후보가 모든 교육 요소를 완료하고 인증 시험을 통과하면 평가자 연결 시스템에서 실시간 응답에 액세스할 수 있는 권한이 부여됩니다. 그런 다음 새로 인증된 평가자는 시스템으로 이동하여 배치(25개의 응답)를 평가하고 배치를 완료하면 평가자 관리자에게 알리라는 지시를 받습니다. 그런 다음 평가자 관리자는 관리자 사이트로 이동하여 인증된 평가자가 채점한 각 항목을 검토하여 점수가 정확한지 확인합니다. 평가자 관리자가 새로 인증된 평가자의 답변 평가의 정확성에 만족하면 해당 평가자는 평가를 계속할 수 있습니다. 평가 관리자는 처음 몇 주 동안 새로 인증된 평가자를 계속 면밀히 모니터링합니다.
  7. 이 Avant 평가자 프로그램은 모든 Avant 평가자의 높은 수준의 품질과 정확성을 확립하기 위한 요구를 충족하기 위해 개발 및 개선되었습니다. 또한 Avant 언어별 평가자 관리자가 매일 평가자 간 신뢰도 및 정확도 통계를 검토하면서 현장 교육이 지속적으로 이루어집니다. STAMP 평가 시스템은 채점 추세를 지속적으로 모니터링하고 채점 문제 및 이상 징후를 평가자에게 알려 적시에 재교육이 이루어질 수 있도록 합니다.

STAMP 테스트는 어떻게 평가되나요?

Avant STAMP 시험 항목 응답에 대한 인적 평가는 평가자 연결의 온라인 환경에서 수행됩니다. 읽기 및 듣기 시험 항목(객관식)은 컴퓨터로 채점됩니다. 작성된 응답(말하기 및 쓰기)은 웹 기반 인터페이스를 통해 공인된 Avant 평가자가 평가합니다. 특히 Avant의 온라인 분산 채점 시스템인 채점자 연결 시스템은 모든 학생의 응답을 관리하고, 시스템에 로그인할 때 공인된 Avant 채점자에게 25개의 쓰기 또는 말하기 응답 대기열을 분배하여 채점을 용이하게 합니다. 채점자는 단계별 마법사 프로세스를 통해 네 가지 채점 요소 또는 기준을 각각 신중하게 고려하여 각 응답에 점수를 매깁니다.

Avant 언어 능력 시험의 네 가지 채점 요소

  1. 응답을 평가할 수 있고 작업 중인가요?
  2. 어떤 텍스트 유형 또는 레벨별 언어의 양이 분명한가요?
  3. 전반적인 이해도 측면에서 텍스트의 품질은 어느 정도인가요?
  4. 응답의 전반적인 정확도는 어느 정도인가요?

채점 시스템은 모든 평점을 추적하고 계산한 다음 이러한 평가 기준에 따라 각 응답에 대한 종합 점수를 생성합니다.

평가자 간 신뢰도(IRR)란 무엇이며 어떻게 모니터링하나요?

IRR(평가자 간 신뢰도)은 공인 평가자가 학생의 답안에 Avant 채점 기준을 얼마나 일관되게 적용하고 있는지를 측정하는 척도입니다. Avant 은 일관된 평가 비교 및 필요에 따라 지속적인 교육 제공을 통해 높은 수준의 평가자 간 신뢰도를 유지하기 위해 노력합니다. 특히, 모든 응답의 20%가 두 번째 평가자에게 전달되어 해당 응답에 대한 두 번째 블라인드 채점을 위해 시스템에서 평가자 간 신뢰도를 추적합니다. 즉, 25개의 응답 대기열(일괄 채점된 학생 응답 수)에는 다른 공인 평가자가 이전에 채점한 응답이 5개씩 있습니다. 그런 다음 시스템에서 두 번째 공인 평가자가 이러한 응답을 어떻게 채점하는지 모니터링합니다. 첫 번째와 두 번째 공인 평가자 간에 할당된 레벨에 차이가 있는 경우, RC는 해당 응답을 세 번째 공인 평가자에게 보내 점수를 조정합니다. 평가자 관리자는 어떤 응답이 2점을 받았는지, 더 중요한 것은 3점을 받은 응답을 확인할 수 있으며, 각 응답이 세 명의 다른 평가자에게 어떻게 평가되었는지 추적할 수 있습니다. 평가자 관리자는 채점 추세를 확인하고 재교육이 필요한 공인 평가자에게 적시 교육을 지시할 수 있습니다. 그런 다음 평가자 관리자는 이러한 "도전적인" 응답을 수집하여 교육 세션에 사용합니다.

평가자 간 신뢰도(IRR)는 Avant 에서 어떻게 측정하나요?

Avant 는 두 가지 기준의 루브릭을 사용하여 구술 및 서면 답변에 점수를 부여합니다. 위에 표시된 두 가지 기준은 텍스트 유형(언어의 양)과 정확성(이해도)입니다. 저희는 레벨 1~6(초급-저~중급-고급)의 경우 텍스트 유형 기준에 더 높은 가중치를 부여하고, 레벨 7과 8(고급-저 및 중급)의 경우 보다 균형 잡힌 가중치를 부여합니다. 공인 평가자는 학생의 말하기 및 쓰기 응답을 평가할 때 먼저 다음과 같은 가능한 선택지를 사용하여 텍스트 유형 점수를 결정합니다 :

  • 비추천 (0)
  • 단어 (1)
  • 문구 (2)
  • 간단한 문장 (3)
  • 문장의 문자열 (4)
  • 연결된 문장 (5)
  • 신규 단락 (6)
  • 단락 구조 (7)
  • 확장된 단락 (8)

텍스트 유형 기준이 결정되면 RC는 평가자에게 특정 텍스트 유형 점수에 대해 평균 이하, 평균 또는 평균 이상 중 하나를 선택하여 응답의 정확성/이해도를 결정하도록 지시합니다. RC는 이 두 기준의 점수를 결합하여 해당 답변의 최종 점수/레벨을 결정합니다. 그런 다음 Avant 에서 각 언어의 공인 평가자의 합의를 검토하여 기간에 따른 모든 언어의 IRR 비율을 결정할 수 있습니다.

Avant 등급 정확도를 측정하고 드리프트를 모니터링하는 방법은 무엇인가요?

평가자 간 신뢰도 못지않게 중요한 것은 정확도의 구성입니다. 모든 평가자가 일치하여 높은 IRR을 산출하는 것이 가장 이상적이지만, 기준에서 벗어난 편차(응답을 너무 높게 또는 너무 낮게 채점)가 있는 경우 해당 상황에 대해서도 파악해야 합니다. 편차를 해결하기 위해 Avant 에서 앵커 항목(각 언어 평가 관리자가 선택하고 미리 채점한 구절)을 평가 대기열에 삽입하면, 평가 관리자는 공인 평가자가 이러한 특별 응답에 점수를 매기는 방식을 모니터링합니다. IRR 응답과 마찬가지로 이러한 응답은 블라인드 방식으로 평가자에게 전달되므로 평가자는 이러한 응답을 어떤 방식으로도 식별할 수 없습니다. 그러면 평가자 관리자는 평가자가 표준에서 벗어나고 있는지 확인할 수 있습니다. 이 정보를 바탕으로 평가자 관리자는 재교육 및 지원 세션을 통해 편차를 해결할 수 있습니다. 이는 평가자 연결 시스템의 중요한 기능이며 미리 정해진 간격으로 앵커 항목을 제공하도록 설정할 수 있습니다.

각 스킬의 최종 레벨은 어떻게 도출되고 보고되나요?

Avant STAMP 시험은 해당 영역 또는 시험 단계(말하기 또는 쓰기)를 배정받은 각 응시자에게 세 번의 말하기와 세 번의 쓰기 프롬프트를 제공합니다. 최종 보고 점수는 세 개의 샘플 중 가장 높은 두 개의 점수를 기준으로 계산됩니다. 따라서 최종적으로 할당된 레벨은 Avant 인증 평가자가 제출하고 채점한 각 응답을 고려하여 응시자가 세 가지 과제에서 유지할 수 있었던 레벨을 결정합니다.

예를 들어

첫 번째 응답에서 3(초급-고급), 두 번째 응답에서 4(중급-저급), 세 번째 응답에서 3(초급-고급)을 받은 응시자는 해당 영역의 최종 점수를 3(초급-고급)으로 받게 됩니다. 이는 학생이 최소한 3(초급-고급) 수준의 숙련도를 유지할 수 있었음을 나타냅니다. 그러나 이 경우 실제로 한 응답이 더 높은 수준으로 평가되었으므로 보고서에는 파란색 막대가 표시되어 이 학생이 다음 상위 수준에 가까워지고 있음을 나타내며 교사에게 해당 특정 응답을 살펴보도록 권장합니다. 최종 점수 또는 수준은 세 가지 응답의 결과에서 도출되므로, 시스템은 부정확하게 채점되었거나 응시자가 응답하지 못했을 수 있는 단일 응답을 처리하고 각 영역의 전반적인 응시자 능력에 대한 정확한 보고를 유지할 수 있습니다.

따라서 가장 높은 두 개의 말하기 또는 쓰기 점수를 활용하여 최종 학생의 말하기 또는 쓰기 수준을 지정하는 프로세스는 전체 영역 점수에 대한 오답 또는 오정답의 보고를 최소화하기 위해 사용됩니다.

Avant 평가 정보

Avant’s mission is to improve the teaching and learning of language in the US and around the world through effective language proficiency testing and professional development. Our products are not only for educators but also for business and government agencies that see the significant positive impact from bilingual team members.

숙련도를 향한 여정을 시작하려면 여기를 클릭하세요.

여러분이 좋아할 만한 기사도 있습니다: