Osvita.ua ЗНО За лаштунками ЗНО: як готують і перевіряють тести
За лаштунками ЗНО: як готують і перевіряють тести

Інтерв’ю з керівництвом УЦОЯО щодо питань, які турбують абітурієнтів та їхніх батьків

За лаштунками ЗНО: як готують і перевіряють тести

Зовнішнє незалежне оцінювання завжди привертає до себе посилену увагу, особливо під час вступної кампанії. Що й не дивно, адже ставки в ньому дуже високі як для окремих абітурієнтів, так і для всієї країни.

DT.UA спробувало зазирнути за лаштунки екзамену, поцікавитись, як готуються тести і хто їх перевіряє, чи можна купити шпаргалку і чого не можна робити на тестуванні.  Про це розповіло керівництво Українського центру оцінювання якості освіти — директор центру Вадим Карандій (В.К.), його заступник Валерій Бойко (В.Б.) та начальник відділу суспільно-гуманітарних навчальних предметів Андрій Панченков (А.П.).

Буквально перед стартом сесії ЗНО пройшли чутки, що в Інтернеті можна купити відповіді на тест з української мови та літератури. МОН і Центр тестування попереджав тоді абітурієнтів, щоб не ловилися на такі пропозиції.

А. П. — Так, ми знайшли цю пропозицію (фото нібито реального тестового зошита), прискіпливо її розглянули і з'ясували, що то підробка. Титульну сторінку грубо зроблено у Фотошопі: взято обкладинку зошита з пробного тестування, на місце слів "пробне тестування" вставлено, що це ЗНО-2017. А першу сторінку із завданнями взято з тернопільського посібника підготовки до ЗНО.

В.Б. — Є певні прикмети, за якими ми можемо зробити висновок, що розміщене в Інтернеті — чистої води шахрайство. І ми про це повідомляли на своєму сайті, щоб діти або батьки не купувалися на таке.

В.К. — Ми кажемо їм: не довіряйтеся невідомо кому. Цього року був випадок, коли продавець «відповідей ЗНО» виставляв поряд своє фото разом із фото паспорта: дивіться, мовляв, я абсолютно реальний, я гарантую, що є результат. Був навіть професійно зроблений сайт, який відверто працює на те, аби переконати людину, що все реально, класно, доступно. Скажіть, хтось так відкрито поширюватиме конфіденційні матеріали? Журналісти почали все це аналізувати, гуглити виставлені на сайті фото «абітурієнтів», які розповідають, що їм торік вдалося вступити за купленими тестами. Фото зроблені професійно, і це здивувало. Пізніше журналісти знайшли ці фотографії в американських студентських спільнотах.

Наскільки, взагалі, можливе витікання інформації про зміст тестів?

В.К. — Ні, це сьогодні неможливо. Я поясню схему роботи з укладання тестів. Є багато експертів, які розробляють запитання для ЗНО. Із них формується банк тестових завдань. Далі укладачі комплектують кілька варіантів тестів. Ці люди усвідомлюють специфіку своєї роботи, знають, що вони працюють із інформацією з грифом ДСК (для службового користування) і що у разі розголошення змісту тестів їм загрожує кримінальна відповідальність. Укладачі тестів ставлять свій підпис під кожним із варіантів тесту, у відповідних картках фіксується, що ці варіанти зробили вони. Тобто якщо виникає проблема витікання інформації, перший, до кого прийдуть правоохоронні органи, щоб розібратися в зазначеній ситуації, будуть саме ці особи. Вони підставлять себе, якщо допустять витікання даних.

Усі робочі комп'ютери в УЦОЯО, на яких є конфіденційна інформація, перебувають під комплексною системою захисту. Людина, котра працює з текстами завдань, не може самостійно з ними нічого зробити: роздрукувати, перенести на флешку, віддати на верстку. Потрібно, щоб втручалася інша особа — працівник відділу захисту інформації. Він контролює ці процеси. Він теж не зацікавлений у витіканні інформації, бо теж за це відповідатиме. Так будується система захисту. Який із кількох розроблених варіантів тестів буде використаний на ЗНО, не знають навіть ті, хто їх готує. Це вирішує директор УЦОЯО. Мене багато хто запитує: чому ви не створите комісію, не візьмете дитину, яка буде витягувати ці матеріали і таким чином обирати варіант тестів? Я кажу: ну гаразд, ми влаштуємо шоу, а що це дасть? Адже, навпаки, потрібен якомога менший розголос.

Ми закриваємо інформацію навіть від розробників. Довіра до розробників є, але не хочеться ставити їх у ситуацію, коли вони можуть потрапити під тиск, бо їм щось відомо. Ми робимо кілька «чорних пакетів», у кожному з яких — варіант тесту. І директор УЦОЯО, не відкриваючи їх, обирає один. Далі обраний тест друкується на великому принтері з участю мінімальної кількості людей.

Є інший канал для нечесного складання ЗНО — підробка вже готових результатів. По приклади далеко ходити не треба — з цього приводу було відкрито ціле кримінальне провадження проти кількох екс-працівників УЦОЯО. Тепер цю шпаринку закрито?

В.К. — Систему захисту інформації УЦОЯО удосконалено, її привели у відповідність до сучасних технологій захисту інформації. Є захищені канали зв'язку, на яких стоять шифратор і дешифратор. Кожен, хто має доступ до бази даних, отримав свій електронний ключ (електронний цифровий підпис) і заходить у базу тільки з його допомогою. Цей ключ не дозволяє виконувати жодних функцій зі зміни даних. А все, що робиться у базі даних, фіксується: коли, хто в якій частині бази був, що дивився.

На сьогодні в адміністратора бази даних є окремий монітор, куди виводиться інформація про всі аномалії: хтось хоче втрутитися в недозволену йому зону, відбувається атака чи ще щось. Крім того, наша система захисту інформації тепер отримала державну атестацію. Це означає, що вона не лише відповідає всім державним вимогам, а й що до нас у будь-який момент можуть прийти представники Державної служби спецзв'язку та захисту інформації і провести інспекційну перевірку.

Чи правда, що нинішнього року тести перевіряються по-новому: тепер кожну роботу перевіряє не один екзаменатор, а два?

В.К. — Так. Спочатку виконаний тест перевіряє один експерт і заносить результати своєї перевірки в комп'ютерну систему. Потім перевіряє другий (він не бачить, як перевіряв його попередник) і так само заносить результати в систему. Якщо в системі інформація від обох експертів збігається — вважається, що роботу абітурієнта перевірено коректно.

Якщо ж результати перевірки в чомусь не збігаються, остаточне рішення приймає старший екзаменатор, — він також перевіряє роботу й погоджується з думкою або першого екзаменатора, або другого. Насправді це стара схема. Але довгий час у нас не було другого екзаменатора, бо не було достатнього фінансування. А це робота конкретного фахівця, якому треба платити заробітну плату.

Тести ЗНО-2017 з англійської і з української мови критикують за помилки.

В.Б. — Нам постійно доводиться шукати компроміс між утаємниченістю і якістю тесту. Щоб дотриматися конфіденційності, ми робимо тест досить обмеженими силами і не можемо взяти на вичитку додаткового експерта чи літредактора. В окремих випадках це призвело до певних технічних огріхів.

А.П. — Нинішнього року їх два: з української літератури (в одному завданні одразу дві правильні відповіді) і з англійської мови, де замість однієї форми слова вжито іншу (doesn't замість don't). Прикро, що вони є, але вони не вплинуть на результат абітурієнтів. З української літератури УЦОЯО ухвалив рішення зарахувати бал усім учасникам, що взялися за виконання цього завдання, яку б відповідь вони не обрали. У завданні з англійської мови технічна помилка ніяк не вплинула на загальне розуміння тексту й на виконання завдання. Це як, наприклад, у тексті українською мовою замість «написала» надрукувати «написати».

В.К. — Ми одразу визнали цю помилку й оприлюднили правильні відповіді тесту з англійської не наступного робочого дня, як належить за нормативними документами, а ввечері дня тестування. Щоб абітурієнти не накручували себе до ранку й не хвилювалися. Тим більше що з англійської це можна зробити швидше, ніж із математики, наприклад.

Ходять чутки, що цьогорічні тести з української мови та літератури були складнішими, ніж торішні. Критики назвали їх «кучерявими» і більше схожими на олімпіадні.

В.Б. — Коли ми отримаємо статистику щодо цих завдань, тоді зможемо говорити, складніший текст чи легший. Але мінімальний поріг «склав/не склав» тесту з української мови і літератури нинішнього року наближений до торішнього. Це дозволяє нам, принаймні на цьому етапі, говорити, що експерти не відчули великої різниці у складності тестів двох років.

Хто встановлює поріг «склав/не склав»?

В.К. — Ми запрошуємо приблизно 70 експертів-учителів, і вони аналізують завдання тесту, проектуючи їх на свого учня, що навчається на «4» за 12-бальною шкалою: з якими він міг би впоратися, а з якими — ні. Те, що він зробив би, — це і є поріг. Потім цей поріг затверджується фаховою експертною комісією. Чим вищий поріг, тим легший тест.

В одному із завдань тесту з української мови треба було знати наголос у слові ціннИк. Те, що він падає на другий склад, для багатьох стало несподіванкою. Ось і критикують: тест поганий, бо діти цього не вчили, вони не можуть знати напам'ять увесь орфоепічний словник. А взагалі, бездоганний тест — це той, що буде під силу більшості абітурієнтів, і вони скажуть: усе це ми вчили, це є у підручниках, і не знає цього тільки лінивий?

А.П. — Ні. Тест, який буде більшості під силу, не спрацює. У тестології є таке поняття як надлишковість тесту. Тобто тест має містити завдання, які дадуть можливість показати себе найсильнішим абітурієнтам. Найсильніших не може бути половина.

В.К. — Усі завдання тесту укладаються на основі програми ЗНО, але є складніші й легші завдання, є та «надлишковість», із допомогою якої ми «розтягуємо» абітурієнтів по всій шкалі вимірювання результатів ЗНО. Бо хтось має вступати на філологію, а хтось— на інженера.

А.П. — Слово «ціннИк» з наголосом на другому складі мало хто вимовляє. Але найпідготовленіші учні це завдання розв'яжуть правильно, вони знають це, на відміну від величезної кількості інших, і вони повинні мати шанс отримати свій високий бал.

Тобто має бути «люфт», на якому виділяться найсильніші? Якщо ми поставимо низьку «стелю» в тесті, то всі учасники тестування однаково упруться в неї, і найсильніших, які б могли взяти більшу висоту, просто не буде видно?

В.К — Так. Пам'ятаєте, кілька років тому на тестуванні з математики були два види тестів: полегшений варіант, рівня А, і більш складний, рівня Б. Досить багато сильних дітей записалися тоді на легший тест. Це призвело до того, що всі вони за своїми результатами «скупчилися» на високій сходинці рейтингу, де важко було вирізнити найсильніших. Їм не було куди рости, не було де показати свої можливості. Уявіть собі, що тисяча таких абітурієнтів прийде зі своїми результатами ЗНО в КНУ ім. Шевченка на мехмат. Як мехмат, маючи далеко не тисячу місць, диференціює цю тисячу абітурієнтів і відбере справді найдостойніших?

Якщо якогось завдання тесту не виконає ніхто, це катастрофа? Всі результати «зріжуть» — чи, навпаки, це не матиме жодних наслідків, адже оцінка ЗНО — рейтингова, і якщо ніхто не впорався, значить ніхто й не набрав додаткових очок у перегонах?

А.П. — Так, за таке завдання всі матимуть нуль, і воно ні на що не вплине.

Хто підтверджує достовірність правильних відповідей на тест ЗНО?

В.К.: — Досить часто запитують, чи є відомі наперед відповіді. Немає. Коли створюється тестове завдання, в ньому проектується правильна відповідь. Але це думка однієї людини, котра складала тест. На жаль, ми не можемо залучити до складання завдання багато фахівців, бо маємо тримати в таємниці зміст тесту. Тому ми йдемо іншим шляхом.

А.П. — З кожного предмета, за яким складається тестування, створено предметну фахову комісію. Тоді, коли йде тестування й абітурієнти виконують тест, ми даємо членам цієї комісії тестовий зошит, і вони також розв'язують усі завдання. При цьому ніхто їм готових правильних відповідей не дає. За результатами цієї роботи приймається ухвала про те, які відповіді вважати правильними.

Комісія може не погодитися з укладачем завдання і сказати, наприклад, що відповідь, яку він вважає правильною, насправді неправильна?

А.П. — Може, як нинішнього року було на завданні з української літератури. Комісія визнала, що на одне питання однозначно правильної відповіді немає. І УЦОЯО прийняв рішення зарахувати бал за це завдання усім, хто брався за його виконання (про це вже йшлося вище).

Нинішнього року поліція перевіряла абітурієнтів-учасників ЗНО металошукачами. Є думка, що це порушення прав дитини.

В.К. — Ми робимо це ще з 2012 р., а не лише тепер. Чому впровадили таку норму у 2012 р.? Тому, що у 2010-му та 2011-му роках, у зв'язку з бурхливим розвитком комунікаційних технологій (мобільний Інтернет, смартфони) ми зіштовхнулися з ситуацією, коли абітурієнти почали масово списувати. Вони утворювали організовані групи, в яких розподілялися ролі. Там були фотографи, які заходили до пункту тестування і з допомогою смартфона в перші ж хвилини фотографували тестовий зошит. Усе це перекидали в соціальні мережі, де вже чекали ті, хто швидко розв'язував завдання.

У 2011 році ми реально стояли перед загрозою повністю скомпрометувати зовнішнє оцінювання. Тоді ситуацію втримали (вираховували фотографів), але розуміли, що з роками вона ускладнюватиметься, і треба боротися кардинально, треба вилучати засоби, які допомагають передавати і обробляти інформацію. Залишився тільки один спосіб, хай і жорсткий: не постійно, а періодично, на тестуванні з певних предметів, проводити контрольні заходи із залученням правоохоронців. Це робиться одночасно в усіх пунктах тестування по всій Україні. На сьогодні з шести предметів, із яких проведено тестування, відповідний захід стосувався двох.

Але ж це б'є по нервах абітурієнтів. Діти й так хвилюються, а тут ще поліція.

В.К. — Коли абітурієнти реєструються на ЗНО, ми ознайомлюємо їх із Порядком проведення тестування. Цей документ затверджений Мін'юстом (отже, і норма про перевірки, яка міститься в ньому, — також). Коли абітурієнти входять до аудиторії, інструктор їх попереджає: будьте готові, можлива перевірка, здайте всі заборонені речі.

Перевірка аудиторії займає 2—3 хвилини. Фіксується час призупинення роботи, і потім він компенсується абітурієнтам. Ми визнаємо, що це досить жорсткий захід. Але це вже не є навчальний процес, і ЗНО виконує дуже важливу функцію оцінювання, яка має досить серйозні наслідки.

Тобто перевірка з металошукачами захищає право абітурієнта на справедливий вступ: якщо він чесно виконує завдання, а хтось поруч списує й може отримати кращі результати, то цього можна не допустити, тільки перевіривши всіх?

В.К. — Так. Деякі правозахисники кажуть, що обшук не є правовим. Але якщо хтось дивився процедуру перевірки або читав відповідну юстовану інструкцію для Нацполіції, міг звернути увагу, що це не обшук, це безконтактний огляд із допомогою металошукача. Якщо абітурієнт має якісь сумнівні речі, йому пропонують їх показати.

В.Б. — В аеропортах тисячі людей проходять через металошукачі, і ніхто не обурюється.

В.К. — Коли ми обговорювали у 2011 р. пропозицію про перевірку абітурієнтів металошукачем, ми консультувалися з експертами. Один із педагогів тоді сказав: сучасна молодь відвідує клуби, а туди, до речі, ніхто не ввійде, поки його не перевірять, і часто — з металошукачем. Молодь це сприйме нормально. За 5 років ми не маємо жодної апеляційної заяви від абітурієнтів щодо перевірок металошукачем.

Цікаво, а знайшли щось під час таких перевірках у пунктах тестування?

В.К. — Знайшли. Під час тестування з української мови нинішнього року 241 особа мала при собі заборонені засоби. Торік на тестуванні з цього предмета не використовувався металошукач, тому виявлено лише 28 таких осіб.

Нинішнього року на тестування заборонено проносити наручні годинники. Чому?

В.К. — Вони й торік були заборонені. Маю на увазі смарт-годинники. У Порядку проведення зовнішнього незалежного оцінювання є загальний перелік заборонених засобів. Зокрема, заборонені всі засоби, які дають можливість фіксувати, зберігати, обробляти і передавати інформацію. Смарт-годинник — це пристрій, який може зберігати, фіксувати інформацію. Тому загальна вимога — не беріть його з собою на тестування. До речі, деякі смарт-годинники зовні дуже схожі на механічні. Тому краще просто утриматися й не нести його на тестування. В аудиторії, де проходить тестування, зазвичай є годинник. А якщо його немає, то, за інструкцією, через певні проміжки часу абітурієнтам дається голосова команда: «Пройшло півгодини роботи над тестом» або «Залишається 15 хвилин до кінця тестування, перенесіть правильні відповіді до бланку відповідей».

Багато хто запитує, чому вилучають флешки й навушники. По-перше, у нас немає фахівців, які на місці, в аудиторії, зможуть точно сказати, що це таке і як воно може бути використане. По-друге, років чотири чи п'ять тому ми зіштовхувалися з ситуацією, коли у блоці навушників для регулювання гучності був мікроприймач. Тому ми всіх попереджаємо: не беріть із собою в аудиторію жодного пристрою, не провокуйте ситуацію.

Ну що ж, екватор сесії ЗНО пройдено. Бажаємо всім успіхів. І організаторам, і абітурієнтам.

Оксана Онищенко, DT.UA.

Освіта.ua
09.06.2017

Провідні компанії та навчальні заклади Пропозиції здобуття освіти від провідних навчальних закладів України та закордону. Тільки найкращі вищі навчальні заклади, компанії, освітні курси, школи, агенції.
Коментарі
Аватар
Залишилось 2000 символів. «Правила» коментування
Ім’я: Заповніть, або авторизуйтесь
Код:
Код
Наталі
Дибіли ви і ваші тести і весь ваш центр протестуйте себе хоча б з одного предмету в таких умовах почніть з міністерки закінчіть президентом та депутатами верховної ради не там ваша строгість де має бути
Артем
Если уже придумываете тесты, так хоть делайте их правильно!!! Ошибок и неточностей в них очень много. Так не годится. Вопрос должен быть четко и конкретно сформулирован, и на этот вопрос должен быть ОДНОЗНАЧНЫЙ ПРАВИЛЬНЫЙ ответ
Ігор
Не дозволили механічний годинник. Поганий зір. Побачити чітко циферблат настінного не вдалося. Останню годину тестування час не оголошували "голосовою командою". Не встигав перенести твір у бланк відповіді . Дякую.
Фахівець
Чому необхідно сладати ЗНО людині у 45 років, яка має диплом ПТУ , 25 років стажу роботи за фахом, якій необхідно підкріпити свій фаховий рівень дипломом про вищу освіту? Чому в "рівних умовах" вступу у ВНЗ знаходяться абітурієнти, які вступають на заочну форму навчання: вчорашні !!-тикласники і досвітчені фахівці, що закінчили школу більше 20 років назад?
Anna
Для Фахівець: ну так докажите что вы такой классный специалист как утверждаете. Чем вы лучше тех же 11-классников?
Лариса
Для Anna: без проблем, в 2015 в 45 років проходила ЗНО з 4 предметів, фактично без підготовки, це був такий драйв обрала Київський ВУЗ, навчаюсь на заочці (бюджет) та що нічого страшного там немає
Коментувати
Мирослава
Дужe сподівалась на комeнтар 21питання з історіі.Про історію жодного слова,хоча дописувачів із зауважeнням з цього прeдмeту найбільшe та й дітeй здавало більшe ніж з англійськоі чи матeматики
мама
Ця історія не дає спати не одній сім"ї. Напишіть ,будь ласка,що ж все таки є правильним. Прокоментуйте. Дякую.
совесть
Як можна так БРЕХАТИ про те, що кожне завдання в тестах зно (стандартизовані!????? тести) має лише ПРОЕКТ ПРАВИЛЬНОЇ ВІДПОВІДІ! Ганьба! Залишається радіти від того, що про це сказав не ВБ. Діти, бажаю Вам успіхів!
мама
Прикро,що в статті про історію ніхто не згадує…. Або немає що сказати ,або не знають як сказати.
Екатерина
Кол-во спорных вопросов по укр. литературе, английскому и истории не ограничивается указанными. Несколько вопросов по истории сформулированы размыто (10 например, указан правильный ответ передумова, а ведь вывоз урожая целиком и полностью указывает на МЕТУ советского руководства- создание условий искусственного голода). Вопрос 21 по постанове ВР тоже некорректен для выпускников- Рада на тот момент была не единственным органом. Кабинет министров тоже существовал, да и такие тонкости в програме ЗНО не оговорены. Т.е. выпускников "ткнули рылом" ....ага..... а вот и не знаете. Именно такое впечатление и складывается. По литературе анализ отрывка текста, состоящий из 13 слов, два из которых- местоимение, союз - верх изощренности... По ОДНОМУ слову "покохала" сложно выпускнику, не имеющему спец. образования, определить принадлежность. Слово "козаченько" - никак не указывает на родыннисть. Т.е. у выпускника школы остается одно слово "покохала".... Ну и четкое запоминание страницы учебника.
Анна
"На сьогодні з шести предметів, із яких проведено тестування, відповідний захід стосувався двох". Нічого проти обшуку металошукачем не маю, але нащо ж обманювати людей?цього року я проходила ЗНО з трьох предметів:укр.мови та літератури, математики та англ.мови.І кожного разу нас перевіряли таким чином.Тож не розумію вашого коментаря стосовно того, що "відповідний захід стосувався лише двох предметів"
philologist
Для Анна: Повністю згодна, і на біології також проводили обшук.
Oleg
Для philologist: Для Анна: І на історії також був обшук. На математиці і українській також.
Диана
Проверяли только на истории и укр. языке. Все было нормально, лояльно. Никто не переживал по этому поводу. Не понимаю шумихи с этим. Лично у нас все проходило нормально и спокойно.
Коментувати

Щоб отримувати всі публікації
від сайту «Osvita.ua»
у Facebook — натисніть «Подобається»

Osvita.ua

Дякую,
не показуйте мені це!