"Jesteśmy tym, co wielokrotnie robimy. Doskonałość nie jest więc aktem, ale nawykiem". ~ Arystoteles

Nauczyciele jako oceniający = sukces

Codziennie otrzymujemy telefony od szkół z całego kraju. Ale ten był inny.

"Co zrobiłeś Marie-Pierre?" zapytał dyrektor. "Jest zupełnie inną nauczycielką. Jej klasa jest tak żywa, a program się rozwija. Cokolwiek robisz, działa".

Na początku pytanie to zaskoczyło Maurę Ennis, która zarządza naszymi oceniającymi, takimi jak Marie-Pierre. Nie zrobili nic specjalnego z Marie-Pierre, po prostu przeprowadzili ją przez program łączący raterów, aby mogła dokładnie ocenić STAMP 4S odpowiedzi w mowie i piśmie. I z pewnością nie powiedzieli jej, jak uczyć francuskiego.

Z drugiej strony, istotą nauczania opartego na standardach jest zestaw powszechnie rozumianych wyników. Ocenianie tysięcy odpowiedzi uczniów w mowie i piśmie dało Marie-Pierre głębokie i konkretne zrozumienie tego, jak naprawdę wygląda biegłość. Przez lata czytała słowa na papierze - "znane sytuacje" "ogólnie zrozumiałe" "powiązany dyskurs" - ale dopiero gdy usiadła, by ocenić wszystkie te francuskie odpowiedzi, abstrakcyjne pojęcia ożyły. Ocenianie tych odpowiedzi od różnych uczniów zmusiło ją do dostosowania się do innych w całym kraju.

Wiarygodne oceny biegłości to nasza misja

"Nasza misja i nasza działalność zależy od zapewnienia wiarygodnych ocen biegłości dla każdego ucznia. Wszyscy nasi oceniający muszą być na tej samej stronie" - mówi założyciel David Bong.

"Oceniamy około 500 000 odpowiedzi rocznie" - mówi Maury. "Moim zadaniem jest upewnienie się, że wszystkie są oceniane szybko i dokładnie".

Z uczniami i oceniającymi rozproszonymi po całym świecie, ma ona trudne zadanie. Aby było to możliwe, nasi inżynierowie oprogramowania połączyli siły z Maury, aby zbudować Rater Connection, który został oparty na prototypie z University of Oregon's Center for Applied Second Language Studies (CASLS). Rater Connection to internetowy system szkolenia, certyfikacji i monitorowania osób oceniających, które oceniają pół miliona odpowiedzi rocznie.

Zajrzyjmy za kurtynę, aby zobaczyć, jak Maury i jej zespół dokonują tego monumentalnego wyczynu. System składa się z czterech kluczowych elementów: nauki, praktyki, certyfikacji i monitorowania.

Cztery elementy oceny biegłości językowej

Nauka: Określanie kryteriów

Maury rozpoczyna od zapoznania nowych oceniających z kryteriami STAMP 4S, które pochodzą z Wytycznych ACTFL dotyczących biegłości językowej. Podobnie jak szkolenie OPI (Oral Proficiency Interview) daje oceniającym techniki i kryteria, które nie są bezpośrednio określone w Wytycznych, Avant daje oceniającym konkretne kryteria, aby abstrakcyjne Wytyczne stały się bardziej konkretne. Na przykład, wytyczne dla poziomu średnio zaawansowanego określają, że uczniowie muszą tworzyć "zdania połączone w akapity przy użyciu ograniczonej liczby spójników". Może to oznaczać wiele rzeczy dla wielu osób, więc Maury wprowadza oceniających do zasady kciuka, która jest łatwiejsza do spójnej interpretacji: Odpowiedź powinna zawierać zdania zależne. To rozróżnia zdania takie jak "Mój przyjaciel i ja poszliśmy do sklepu. Kupiliśmy lody. Zjedliśmy je w drodze do domu." (Brak zdań zależnych. Nie spełnia kryterium "połączonych zdań") i "Mój przyjaciel i ja zjedliśmy lody, które kupiliśmy w sklepie". (Zawiera zdanie zależne. Spełnia część kryterium "połączonych zdań").

Praktyka: Zastosowanie kryteriów do odpowiedzi uczniów

Gdy oceniający zrozumieją kryteria, zaczną stosować tę wiedzę w praktyce. Za każdym razem, gdy oceniają odpowiedź, otrzymują natychmiastową informację zwrotną o tym, czy ocenili ją poprawnie i wyjaśnienie prawidłowej oceny. Powtarzając ten proces przez setki odpowiedzi, oceniający internalizują kryteria. Doskonałość staje się nawykiem.

Certyfikacja: Zapewnienie jakości osób oceniających

Kiedy są gotowi, nowi oceniający mogą przystąpić do testu certyfikacyjnego. Jeśli poprawnie ocenią co najmniej 90% odpowiedzi uczniów, staną się certyfikowanymi oceniającymi Avant . Jeśli nie uda im się osiągnąć poziomu 90%, mogą wrócić, poćwiczyć jeszcze trochę i ponownie przystąpić do testu certyfikacyjnego.

Monitorowanie: Utrzymanie doskonałości

Nawet po uzyskaniu certyfikatu, osoby oceniające Avant muszą stale udowadniać, że są spójne i wiarygodne. Rater Connection wstawia jeden element kotwiczący - uzgodniony przez głównych oceniających - do każdej partii 25 rzeczywistych odpowiedzi. Pokazuje to Maury, jak różni oceniający oceniają ten element kotwicy i zapewnia, że pozostają wierni standardowi w czasie. Ponadto jeden z pięciu elementów jest losowo wybierany do podwójnej oceny. Jeśli dwaj pierwsi oceniający nie zgadzają się ze sobą, przedmiot trafia do trzeciego oceniającego, a główni oceniający dokładnie sprawdzają wszystkie decyzje o remisie.

Dostarczanie dokładnych ocen opartych na biegłości osobom uczącym się języka za rozsądną cenę jest jednym z naszych wkładów w tę dziedzinę. Jednak największą wartością tego systemu jest to, że można go wykorzystać do poprawy nauczania i uczenia się. To właśnie przydarzyło się Marie-Pierre.

"Oczywiście byliśmy podekscytowani, gdy to usłyszeliśmy" - mówi Maury. "Ale była to niezamierzona konsekwencja. W końcu jesteśmy firmą zajmującą się oceną i rozwojem zawodowym".

W następnym wpisie na blogu dowiesz się, w jaki sposób przekształciliśmy Rater Connection w ADVANCEnarzędzie, z którego korzystają szkoły, okręgi i uniwersytety, aby pomóc nauczycielom przekształcić ich nauczanie tak jak Marie-Pierre.

Informacje o Avant Assessment

AvantMisją naszej firmy jest poprawa nauczania i uczenia się języków obcych w Stanach Zjednoczonych i na całym świecie poprzez skuteczne testowanie biegłości językowej i rozwój zawodowy. Nasze produkty są przeznaczone nie tylko dla nauczycieli, ale także dla firm i agencji rządowych, które dostrzegają znaczący pozytywny wpływ dwujęzycznych członków zespołu.

 

Kliknij tutaj, aby rozpocząć swoją drogę do biegłości

Artykuły, które mogą Ci się również spodobać: