Визначення порогового бала

«Пороговий бал» – мінімальна кількість (сума) тестових балів зовнішнього незалежного оцінювання з певного предмета, отримання яких надає абітурієнту право участі в конкурсному випробуванні при вступі на навчання до вищого навчального закладу України.

Процедура визначення «порогового бала» складається з кількох етапів.

1 етап – організаційний

На цьому етапі відбувається формування кола експертів–предметників. Їх має бути не менше 10. При цьому, експерти мають бути різної статі, віку, сфери діяльності (вчителі загальноосвітніх навчальних закладів, гімназій і ліцеїв; викладачі вищих навчальних закладів, науковці Національної академії наук, Академії педагогічних наук). У такий спосіб створюється прийнятний «освітній фон», коли експертна комісія в цілому репрезентуватиме освітнє середовище України. Варто підкреслити, що чим більше буде залучено експертів, тим кращою буде дисперсія експертних оцінок. Крім того, різність думок (оцінок) зменшуватиме ефект «яструба/голубки». Як наслідок – більш точним виявиться середнє значення критеріального «порогового бала».

2 етап – підготовчо-методологічний

На цьому етапі відбувається загальне знайомство експертів з тестом, його структурою, формами завдань тощо. З метою забезпечення спільності розуміння підходу до оцінювання завдань експерти, ознайомившись із тестом, у своєму колі мають обговорити та визначитися з поняттям «мінімально підготовлений абітурієнт». У якості ілюстрації наведемо можливі визначення загального характеру.

«Мінімально підготовлений абітурієнт»:

– той, хто володіє найменшим обсягом знань, необхідних для виконання завдання;

– той, хто своїми знаннями й уміннями ледь відповідає освітньому предметному стандарту, чиї знання й уміння є фрагментарними, граничними, але прийнятними.

Після завершення обговорення модератор роботи комісії роздає Листи оцінювання завдань тесту та здійснює загальний інструктаж експертів щодо оцінювання завдань: «Визначте (оцініть) кількість мінімально підготовлених абітурієнтів зі 100, які правильно виконають завдання. Наприклад, якщо на Вашу думку це завдання виконає 60 зі 100, то в графі «% правильної відповіді» Листа оцінювання запишіть значення 60%».

3 етап – експертна оцінка тестових завдань

На цьому етапі експерти самостійно працюють із завданнями тесту,заповнюючи Лист оцінювання. Варто підкреслити, що обговорення експертами завдань та можливих ймовірностей правильних відповідей не допускається.

4 етап – узагальнення експертних оцінок

Модератор групи збирає Листи оцінювання та вводить значення в таблицю для кожного завдання по кожному експерту й обчислює стандартне відхилення. Стандартне відхилення є «дзеркалом», яке відображає рівень розбіжностей між експертами по кожному завданню. Низький його показник свідчить про високий рівень згоди між експертами. Високий показник є підґрунтям для колективного обговорення експертами причин розбіжностей в оцінках, яке організовує та координує модератор. Мета обговорення – підвищити рівень згоди між експертами шляхом перегляду ними своїх оцінок.

Варто підкреслити, що будь-яке завдання, для якого стандартне відхилення експертних оцінок перевищує 10, колективно обговорюється. За результатами таких обговорень експерти можуть змінити свою оцінку. У такому разі модератор групи вносить відповідні зміни в узагальнену таблицю.

Слід зауважити, що на цьому етапі роботи комісії експерти мають бути ознайомлені зі статистичними характеристиками результатів тестування (мода, медіана, середнє значення, стандартне відхилення, асиметрія, ексцес) та психометричними характеристиками завдань тесту (складність, розподільна здатність, кореляція). Урахування цих даних під час колективного обговорення експертних оцінок дозволить підвищити інформативність і обґрунтованість встановленого «порогового бала».

5 етап – визначення «порогового бала»

Після обговорення, коригування експертами своїх оцінок модератор в таблиці здійснює перетворення відсотка ймовірності правильної відповіді по кожному завданню у відповідний коефіцієнт. Наприклад, 45% – 0,45, 30% – 0,30 і т. д.

Далі модератор обчислює суму всіх коефіцієнтів завдань тесту по кожному експерту. Ця сума є «пороговим балом», який встановив певний експерт.

На завершення обчислюється середнє значення «порогових балів» усіх експертів. Це значення і є підсумковим «пороговим балом» для тесту, заради визначення якого й працювала експертна комісія.

Після проведення усіх процедур обчислення результат роботи експертної комісії документально оформлюється Протоколом засідання комісії та Протокольним рішенням (ухвалою) щодо встановленого «порогового бала» з відповідного предмета.

Далі відбувається стандартна процедура переведення тестових балів у оцінки за шкалою 100–200 балів. При цьому точкою відліку на шкалі буде не « тестових балів, а значення «порогового балу». Таким чином, результати абітурієнтів, які подолали «поріг», займуть відповідне місце на рейтинговій шкалі в діапазоні від 100 до 200 балів. У результаті навіть абітурієнти, які матимуть рейтинговий результат 100,5 балів, не кажучи вже про тих, чий результат становитиме 123,5 бала, отримають можливість брати участь у конкурсному випробуванні під час вступу на навчання до закладу вищої освіти України.