Прелеснянська

Прокоментувати ці запитання ми попросили провідного спеціаліста відділу наукового забезпечення Українського центру оцінювання якості освіти Віктора Гороха.

– Щороку нових учасників тестування цікавить механізм визначення його результатів. Уперше в житті учні отримають оцінки за 100-бальною шкалою. Чи не здається Вам, що саме з цим і пов’язані їхні побоювання?
– Можливо, тут справді є психологічна проблема. Нині в школі користуються 12-бальною шкалою оцінювання. А батькам майбутніх абітурієнтів, коли вони чують про 100, 124, 200 балів, узагалі стає моторошно: свого часу їх оцінювали лише за п’ятьма балами.

– Як саме визначаються результати зовнішнього оцінювання за 100-бальною шкалою?
– Цей процес складається з кількох етапів. Спочатку обчислюють тестовий бал кожного учасника – суму балів, отриманих за виконання завдань тесту. Потім тестовий бал конвертується, тобто за спеціальною процедурою перетворюється на шкальований бал – оцінку за 100-бальною шкалою.
– Кожен учасник за виконання тесту отримує певний бал. Чи можна було б лише за ним відбирати найбільш підготовлених абітурієнтів для вступу до ВНЗ? Навіщо тестовий бал конвертувати в оцінку за 100-бальною шкалою?
– Якби майбутніх студентів відбирали лише за результатами одного тесту, то справді могли б обійтися лише тестовим балом. Але для вступу зазвичай використовують результати тестувань з кількох предметів, тож доводиться обчислювати суму балів.
Отже, треба потурбуватися про коректність такої операції, а саме про те, щоб величини, які ми додаємо, мали однаковий зміст для різних предметів. До того ж правила прийому передбачають використання сертифікатів ЗНО попередніх років.
Характеристики тестів – кількість, типи завдань, максимально можливий тестовий бал – із часом можуть змінюватися. Зрозуміло, що використання тестового бала ставило б у нерівні умови випускників, які виконували тести, укладені в різні роки.

– У чому полягає метод, за яким перераховуються тестові бали ЗНО в оцінки за 100-бальною шкалою?
– В Україні було обрано шкалювання за шкалою 100 – 200. За результатами тестування з певного предмета ми можемо визначити тестовий бал кожного учасника й таким чином отримати розподіл тестових балів. Після цього можна обчислити процентний ранг (процентиль) кожного учасника тестування – це відсоток учасників, тестові бали яких не перевищують тестовий бал конкретного учасника.

Артемові тести
Наприклад, якщо учасник (назвемо його Артемом) правильно виконав усі завдання тесту, а отже, набрав максимально можливий бал, то його процентний ранг – тобто процентиль – дорівнює 100% (усі інші учасники тестування отримали тестовий бал не вищий за тестовий бал Артема).
Процентиль Артема може дорівнювати 100% і в тому разі, якщо він не набрав максимально можливий тестовий бал. Таке може бути тоді, коли немає учасників тестування з більшим, ніж в Артема, тестовим балом. А якщо процентиль Артема дорівнює 20%, то це означає, що 80% учасників тестування випередили його. І лише 20% отримали результат не кращий, ніж в Артема.

– Цей процентиль і є оцінкою учасника тестування на 100-бальній шкалі?
– Процентиль справді можна було б використати як оцінку за 100-бальною шкалою. Тоді і визначили б тестовий бал, що відповідає певному процентилю, для іншої сесії тестування з певного предмета.
Ми вважаємо, що учасник першої й учасник другої сесій, процентилі яких однакові, мають однаковий рівень навчальних досягнень із відповідного предмета. Це так, оскільки розподіл учасників тестування за сесіями відбувається випадково, а отже, вибірки осіб, які потрапляють у різні сесії, є статистично еквівалентними.
Однак для встановлення еквівалентних оцінок зручніше порівнювати розподіли тестових балів різних сесій не між собою, а з певним еталонним розподілом.
Використовуючи такий розподіл, ми можемо досить просто визначити оцінки за шкалою 100 – 200 для реального розподілу тестових балів. Відповідна таблиця переведення їх в оцінки за шкалою 100 – 200 кожного року публікується на сайті УЦОЯО після опрацювання результатів тестування.

– Чи може учасник ЗНО одразу після складання тесту визначити свій тестовий і шкальований бали?
– Може порахувати кількість набраних тестових балів одразу після оприлюднення правильних відповідей. Але, зверніть увагу, він визначить лише свій результат у тестових балах. А з’ясувати свій результат у балах за шкалою 100 – 200 йому не вдасться до оприлюднення таблиці переведення тестових балів у шкальовані. Адже вона створюється лише після того, як роботи всіх учасників із відповідного предмета, сесії і року тестування перевірені.

– А чи можна за тестовими балами хоча б приблизно передбачити свій шкальований бал?
– Очевидно, що чим більше завдань правильно виконав вступник, тим вірогідніше, що він випередив більше абітурієнтів. А отже, його результат за шкалою 100 – 200 буде кращим.
Між тестовими і шкальованими балами є істотна відмінність. Величина тестового бала абітурієнта залежить лише від кількості і типу завдань, які він розв’язав. Природа шкальованого бала зовсім інша: його величина залежить від того, яку кількість учасників тестування (у відсотках) випередив певний абітурієнт.

Артемові тести
Уявімо, що Артем правильно виконав половину (50%) завдань тесту. Чи може він сподіватися на досить високий результат? Аж ніяк! Адже він нічого не знає про те, скільки завдань виконали інші абітурієнти.
Тепер уявімо, що всі інші учасники тестування виконали більш як 60% завдань. У такому разі результат Артема буде найгіршим: усі інші учасники тестування продемонстрували вищий рівень навчальних досягнень.
Отже, знаючи лише свій тестовий бал, учасник тестування не може передбачити того, який у нього може бути шкальований бал, адже він не може знати того, як із тестом справилися інші.

Згадаю історію, пов’язану з визначенням результатів ЗНО 2012 року. На одному із сайтів з’явилася інформація про те, що розробники сайту за начебто винайденою унікальною формулою можуть визначити учасникові ЗНО за його тестовим балом шкальований. Скільки ж було розчарувань у тих, хто використав цю інформацію і отримав «унікальний» результат, що аж ніяк не відповідав результатові, визначеному після оприлюднення на офіційному сайті УЦОЯО таблиці відповідності кількості тестових балів оцінкам за шкалою 100 – 200 балів з певного предмета!
Отже, я раджу учасникам ЗНО 2013 стежити за офіційною інформацією, що розміщуватиметься на сайті УЦОЯО www.testportal.gov.ua, для визначення як тестового, так і шкальованого бала.