Визначення порогового бала

«Пороговий бал» – мінімальна кількість (сума) тестових балів зовнішнього незалежного оцінювання з певного предмета, отримання яких надає абітурієнту право участі в конкурсному випробуванні при вступі на навчання до закладів вищої освіти України.

Процедура визначення «порогового бала» складається з кількох етапів.

1 етап – організаційний

На цьому етапі відбувається формування кола експертів–предметників. Їх має бути не менше 10. При цьому експерти мають бути різної статі, віку, сфери діяльності (вчителі шкіл, гімназій і ліцеїв; викладачі закладів вищої освіти, науковці Національної академії наук, Академії педагогічних наук). У такий спосіб створюється прийнятний «освітній фон», коли експертна комісія в цілому репрезентуватиме освітнє середовище України. Варто підкреслити, що чим більше буде залучено експертів, тим кращою буде дисперсія експертних оцінок. Крім того, різність думок (оцінок) зменшуватиме ефект «яструба/голубки». Як наслідок – більш точним виявиться середнє значення критеріального «порогового бала».

2 етап – підготовчо-методологічний

На цьому етапі відбувається загальне знайомство експертів з тестом, його структурою, формами завдань тощо. З метою забезпечення спільності розуміння підходу до оцінювання завдань експерти, ознайомившись із тестом, у своєму колі мають обговорити та визначитися з поняттям «мінімально підготовлений абітурієнт». У якості ілюстрації наведемо можливі визначення загального характеру.

«Мінімально підготовлений абітурієнт»:

– той, хто володіє найменшим обсягом знань, необхідних для виконання завдання;

– той, хто своїми знаннями й уміннями ледь відповідає освітньому предметному стандарту, чиї знання й уміння є фрагментарними, граничними, але прийнятними.

Після завершення обговорення модератор роботи комісії роздає Листи оцінювання завдань тесту та здійснює загальний інструктаж експертів щодо оцінювання завдань: «Визначте (оцініть) кількість мінімально підготовлених абітурієнтів зі 100, які правильно виконають завдання. Наприклад, якщо на Вашу думку це завдання виконає 60 зі 100, то в графі «% правильної відповіді» Листа оцінювання запишіть значення 60%».

3 етап – експертна оцінка тестових завдань

На цьому етапі експерти самостійно працюють із завданнями тесту,заповнюючи Лист оцінювання. Варто підкреслити, що обговорення експертами завдань та можливих ймовірностей правильних відповідей не допускається.

4 етап – узагальнення експертних оцінок

Модератор групи збирає Листи оцінювання та вводить значення в таблицю для кожного завдання по кожному експерту й обчислює стандартне відхилення. Стандартне відхилення є «дзеркалом», яке відображає рівень розбіжностей між експертами по кожному завданню. Низький його показник свідчить про високий рівень згоди між експертами. Високий показник є підґрунтям для колективного обговорення експертами причин розбіжностей в оцінках, яке організовує та координує модератор. Мета обговорення – підвищити рівень згоди між експертами шляхом перегляду ними своїх оцінок.

Варто підкреслити, що будь-яке завдання, для якого стандартне відхилення експертних оцінок перевищує 10, колективно обговорюється. За результатами таких обговорень експерти можуть змінити свою оцінку. У такому разі модератор групи вносить відповідні зміни в узагальнену таблицю.

Слід зауважити, що на цьому етапі роботи комісії експерти мають бути ознайомлені зі статистичними характеристиками результатів тестування (мода, медіана, середнє значення, стандартне відхилення, асиметрія, ексцес) та психометричними характеристиками завдань тесту (складність, розподільна здатність, кореляція). Урахування цих даних під час колективного обговорення експертних оцінок дозволить підвищити інформативність і обґрунтованість встановленого «порогового бала».

5 етап – визначення «порогового бала»

Після обговорення, коригування експертами своїх оцінок модератор в таблиці здійснює перетворення відсотка ймовірності правильної відповіді за кожним завданням у відповідний коефіцієнт. Наприклад, 45% – 0,45, 30% – 0,30 тощо.

Далі модератор обчислює суму всіх коефіцієнтів завдань тесту за кожним експертом. Ця сума є «пороговим балом», який встановив певний експерт.

На завершення обчислюється середнє значення «порогових балів» усіх експертів. Після проведення усіх процедур обчислення результат роботи регіональних комісій передається до Комісії при Українському центрі оцінювання якості освіти. До складу цього колегіального органу входять до 30 осіб – управлінці в галузі освіти, викладачі закладів вищої освіти, закладів загальної середньої освіти, представники Міністерства освіти і науки України, Національної академії наук, Національної академії педагогічних наук. Члени комісії детально вивчають  запропоновані регіональними експертами матеріали, зважають на політичні, соціальні й інші події й ухвалюють остаточне рішення про поріг / склав не склав.

Рішення Комісії документально оформлюється Протоколом засідання Комісії та Протокольним рішенням (ухвалою) щодо встановленого «порогового бала» з відповідного предмета.

Далі відбувається стандартна процедура переведення тестових балів у оцінки за шкалою 100–200 балів. При цьому точкою відліку на шкалі буде не « тестових балів, а значення «порогового балу». Таким чином, результати абітурієнтів, які подолали «поріг», займуть відповідне місце на рейтинговій шкалі в діапазоні від 100 до 200 балів. У результаті навіть абітурієнти, які матимуть рейтинговий результат 100,5 балів, не кажучи вже про тих, чий результат становитиме 123,5 бала, отримають можливість брати участь у конкурсному випробуванні під час вступу на навчання до закладу вищої освіти України.