Osvita.ua: Досвід провідних країн, які вже багато років тому започаткували оцінювання якості освіти свідчить, що наріжним каменем організації цієї роботи є, перед усім, створення банку завдань, у тому числі в тестовій формі. Як Ви особисто оцінюєте стан справ і перспективу формування надійного банку тестових завдань ЗНО в Україні?
Ігор Лікарчук: Формування банку тестових завдань (БТЗ) дійсно є наріжним каменем нормально працюючої системи зовнішнього оцінювання. Зважаючи на це, в УЦОЯО роботу із створення такого банку ми розпочали наприкінці 2008 р. фактично з "нуля", але досить активно. Тоді ж почали розробляти систему кодифікації цих завдань, програмне забезпечення, систему апробації та експертизи, добирати експертів, консультантів та багато чого іншого. За підтримки тодішнього керівництва Міністерства освіти і науки фундаментально вирішили, як здавалося, проблему з приміщенням для його розміщення. Також розробили та почали використовувати систему апробації тестових завдань, яка є одним із постулатів ефективно працюючого банку. Як результат, наприкінці 2010 р. в БТЗ вже було кілька десятків тисяч апробованих і класифікованих завдань із різних предметів.
В якому стані цей банк на сьогодні, я інформації не маю. Але точно знаю, що наявної кількості завдань для формування тестів із усіх предметів лише з БТЗ там недостатньо. Окрім того, за останній рік значно погіршились умови роботи невеличкого відділу, що обслуговує БТЗ. Їх сьогодні сміливо можна назвати вокзальними. Люди вже котрий місяць, образно кажучи, сидять на чемоданах. Тому про забезпечення конфіденційності інформації, що зберігається в БТЗ, можна не говорити. Насторожують інтерв’ю деяких керівників освітянського міністерства про бажання опублікувати завдання, що є в БТЗ. Іншими словами – створити всеукраїнську шпаргалку. То ж відразу скажу, якщо це трапиться, то ціна такого банку навіть у неринковий день не буде й варта копійки. Тому говорити про райдужні перспективи формування надійного банку тестових завдань на сьогодні не можна.
Яким чином формується щорічний комплект тестових завдань для ЗНО з кожного предмета із наявного банку? Чому, на Вашу думку, предметні комплекти тестових завдань так відрізняються один від одного і за кількістю завдань, і за часом їх виконання, і за формою подачі, і за максимальним балом, і т. ін.? Якось не дуже віриться в пояснення, що це пов’язано лише зі специфікою навчальної дисципліни.
Технологія укладання тесту, на перший погляд, досить проста. Міністерство освіти і науки, молоді та спорту розробляє програми зовнішнього оцінювання. Щоправда, вони мають робити це хоча б за рік до тестування, а не так, як останній раз, коли програма тестування із всесвітньої історії з’явилася за п’ять місяців до проведення ЗНО, чи як у 2010 році, коли така "мудра" думка прийшла в голову першого заступника міністра у вересні-жовтні. Що, у такому випадку, можна покласти в БТЗ? Хіба що прізвища ініціаторів і розробників програми…
Вивчивши програму, працівники УЦОЯО формують так звані специфікації тестів. Це є своєрідне технічне завдання, в якому визначена кількість і форми тестових завдань, час, що потрібний для виконання тесту та ряд інших методологічних позицій майбутнього тестового продукту. Ми у 2007‑2009 рр. оприлюднювали повний текст специфікації.
Після формування специфікацій, працівники УЦОЯО укладають тести із кожного предмета. Це тести для проведення пробного тестування й так звані, "бойові" тести, які є конфіденційними документами та про зміст яких може знати дуже й дуже обмежене коло людей. Як правило, завдання для тестів повинні добиратися лише з БТЗ, бо лише вони пройшли кількаразову апробацію, визначений рівень їхньої складності, проведена потрійна (!) експертиза незалежними експертами. Але через фертильність БТЗ і власні амбіції окремих людей, причетних до укладання тестів, цього не робиться.
Тож і маємо ситуацію, як скажімо, з тестами з математики. Щороку результати психометричного аналізу свідчили про низьку якість тесту з цього предмета. Щоб її виправити, ми й почали штурмувати створення БТЗ, кілька разів вносили пропозицію запровадити різнорівневі тести. Але завершити цю роботу нам не дали…
Думаю, що ситуація не змінилась і цього року. Адже, якби тести укладались комп’ютером чи лише з БТЗ, то цьогорічний тест із математики не був би, за влучним висловом одного з відомих іноземних експертів, "сумішшю примітивних завдань і супертехнічних абракадабр". А в тести з української мови та літератури не потрапили б завдання пробного тестування чи ті, що використовувались попереднього року. Комп’ютер таких помилок не робить. А ось люди… Та ще й коли вони зайняті в період інтенсивної роботи над тестами підготовкою комерційних проектів сумнівної якості.
Що стосується довжини тесту, різного часу для їхнього виконання, то це дійсно зумовлено специфікою кожного предмета, обсягом програми тощо.
І ще одне. Раніше в УЦОЯО існувало неписане правило: в кожному тесті має бути 20 % складних завдань, 20 % ‑ легких, а решта, основна кількість – середнього рівня складності. Тобто, кожен абітурієнт, залежно від рівня підготовки міг знайти достатньо "своїх" завдань для отримання непоганого результату. Рівень складності завдань має визначатись у процесі їхньої апробації до розміщення в БТЗ. Через відсутність повноцінного БТЗ до 2010 р. ці пропорції не завжди вдавалось витримувати. Але минулого року про них забули зовсім. Думаю, що в поточному сезоні подібне явище також матиме місце.
Із року в рік випливає проблема проведення декількох сесій із математики й української мови та літератури. Абітурієнти скаржаться на різну складність завдань, розбіжності в рейтингових шкалах різних сесій і їх об’єктивність стосовно реального рівня навчальних досягнень. Чи не можна взагалі уникнути наявності двох, а то і трьох сесій? А якщо без цього не обійтись, то як подолати такий парадокс, що ставить учасників двох тестувань у не зовсім рівні умови. А саме, якщо завдання аналогічні, то друга сесія надає переваги щасливчикам, які вже ознайомлені із завданнями першої сесії. А якщо завдання різні, то про об’єктивність уже можна взагалі на казати.
Багатосесійність – це не сама найкраща знахідка УЦОЯО. Рішення про її запровадження ми вимушені були прийняти через зростання кількості абітурієнтів, постійне безгрошів’я, небажання навчальних закладів, насамперед вищих, надавати достатню кількість приміщень для проведення ЗНО, відсутність мережі навчально-екзаменаційних центрів і ряд інших виключно "національних" чинників. І перший рік проведення кількох сесій показав величезну кількість проблем. Але нічого для їхнього упередження ані у 2011, ані у 2012 році не було зроблено, адже УЦОЯО сьогодні діє за принципом "ми проводимо ЗНО, так як у попередні роки". То ж і маємо те, що запрограмували.
Тут знову вкотре маю повторити, як мантру: ЗНО не може ефективно функціонувати впродовж кількох років без суттєвих змін. Подібна позиція веде до краху системи. Який, власне, і на порозі, і який, не виключено, дуже вигідний багатьом, як у Міносвіти, так і у вищих навчальних закладах. Тобто, відсутність змін і ефективного управління ними – це запрограмований варіант, що повинен привести до руйнації системи.
То ж, якщо в інших країнах набагато більша кількість абітурієнтів має можливість скласти тест із одного й того ж предмета не один, а кілька разів; потім обрати кращий результат, то ми пропонуємо багатосесійність. Це однаково, як у часи Микити Хрущова продовольчу проблему хотіли вирішити за рахунок кукурудзи. До чого це привело – знаємо з історії. Не хочу бути злим пророком, але якщо не відмовимось від багатосесійності, або хоча б не будемо працювати над її удосконаленням, ЗНО стане тією ж кукурудзою.
Ще одна з проблем українського досвіду організації ЗНО стосується переводу набраних балів за виконання тестових завдань у рейтингову оцінку, що складає 200 балів. Наскільки доцільним є такий підхід, хоча б з огляду на те, що будь-яке непряме оцінювання є гіршим за пряме? Чи не присутня тут прихована спроба корегування не зовсім райдужного рівня навчальних досягнень випускників наших шкіл?
Застосування рейтингової шкали не є винаходом УЦОЯО. Подібні методики широко використовуються у більшості національних систем оцінювання. Без рейтингування неможливо порівняти між собою, скажімо, результати виконання різних тестів, що важливо для проведення чесного конкурсного відбору. Рейтингування дозволяє визначити абітурієнтів, які мають кращі знання, порівнюючи з іншими. Знаєте, я завжди, коли запитують про рейтингування, наводжу яблучний приклад. Скажімо, ми маємо 100 яблук і серед них потрібно вибрати найкраще. Ось тут ми й починаємо їх розміщувати в рядок за ступенем вираження ознак псування: від найкращого, де таких ознак найменше, до найгіршого – повністю гнилого та зіпсованого. Той плід, який буде першим в цьому рядку означає, що він не є ідеальним продуктом, але є найкращим серед інших. Так і з рейтингуванням результатів ЗНО.
Хоча відверто кажучи, я не є великим прихильником цієї системи. Через те й наполіг, щоб починаючи із 2009 р. в сертифікатах зовнішнього оцінювання, крім рейтингової оцінки, указували кількість балів, що їх сумарно набрав абітурієнт, виконавши завдання тесту. Також кілька разів я вносив до Міносвіти письмові пропозиції стосовно того, щоб умови прийому передбачали врахування, крім рейтингового, ще й тестового бала під час проведення конкурсної кампанії. Але як сказав один очільник цього відомства: "Ректори й так ще не можуть розібратися з вашими рейтинговими балами, а ви пропонуєте якісь тестові". Тому мої пропозиції прийняті не були.
Що стосується можливостей корегування результатів через використання рейтингової шкали. Прямих можливостей впливу на результат немає. Але загладити певні недоліки тесту використанням рейтингової шкали можна. Тоді нефахівці таких недоліків не побачать. А для абітурієнта важливим є результат. Він його отримає, незважаючи на низьку якість тесту. Обов’язково будуть ті, хто набрав 200 балів і ті, хто зайняв останні позиції в рейтингу. І мало хто думає над тим, що якби подібних недоліків не було, то й результат міг бути кращим.
Між іншим, у мене ряд питань викликають результати зовнішнього оцінювання з хімії, які вже розміщені на сайті УЦОЯО. Їхній аналіз дозволяє припустити, що в 2012 р. ми можемо мати в Україні чимало "успішних" юних знавців хімії. Їхня кількість, за нашими попередніми підрахунками, може бути більшою у 3-4 рази від попередніх років! Хотілося б вірити в те, що наші абітурієнти краще стали знати хімію. Але чудес не буває. Якщо наші припущення виявляться вірними і кількість "хімічних" вундеркіндів буде чималою, то це може свідчити: а) про можливий передчасний витік інформації щодо змісту тесту, або б) про його дуже низький рівень складності.
Обрати правильну відповідь із двох гіпотетичних, або відмовитися взагалі від подібного припущення, можна буде лише після того, коли УЦОЯО опублікує результати психометричного аналізу тесту з хімії. Для того, щоб іще до цієї публікації (а вона очікується за традицією наприкінці серпня) відкинути перший (дуже поганий) варіант, ми сьогодні, керуючись Законом України "Про доступ до публічної інформації", направили запит до УЦОЯО з проханням надати інформацію про розподіл тестових балів між абітурієнтами. Така інформація в УЦОЯО є, бо без неї не були б визначені загальні результати. Але не виключаємо, що відповідь можемо не отримати, бо вона може підтвердити нашу першу гіпотетичну версію.
Також із деяких джерел нам стає відомо, що результати психометричного аналізу тестів цього року публікуватись не будуть. Що ж, тоді висновки доведеться робити іншім, піднімати громадськість тощо. Також ми зараз шукаємо спонсорів і незалежних експертів, у т. ч. й зарубіжних, для проведення грамотної незалежної психометричної експертизи цьогорічних тестів. Обов’язково повідомимо суспільство про її результати.
Складається враження, що списування під час проведення ЗНО, підказки та інші неприємні речі не тільки не усунені, а ще й модернізуються з урахуванням новітніх технічних можливостей. А методи боротьби з ними м’яко кажучи недолугі – якісь сумнівні СМС-ки, залучення сторонніх осіб, заклики "стукати" на сусідів у аудиторії. Чи існують ефективні прийоми подолання таких прикрих явищ?
Мені здається, що УЦОЯО програв цьогорічні своєрідні змагання з абітурієнтами за право володіння інформаційним простором до й під час проведення зовнішнього оцінювання. Оці СМС-ки, заклики "стукати" на сусідів, ігрища з металошукачами та відеокамерами тощо – є не чим іншим як запізнілою рефлексією на активні дії абітурієнтів.
Знаєте, це так, як у випадку, коли поганий татко береться за ремінець, щоб налякати свого синочка, який уже вліз у халепу. Використання абітурієнтами сучасних засобів передавання інформації – не український винахід. Коли ми починали ЗНО та проводили його, скажімо в 2007 чи у 2008 рр., про планшети чи смартфони з великими екранами та потужними операційними системами мало хто знав. Але ж час іде. Тим більше, що подібний скандал із розміщенням змісту тестів в Інтернеті через кілька десятків хвилин після його початку вже був минулого року в деяких інших країнах. Про це чимало писала преса й там, образно кажучи, полетіли голови керівників, які прогледіли цю ситуацію. То ж, мабуть, потрібно було вивчити їхній досвід, спрогнозувати розвиток подій у нас і думати, що робити. А вихід завжди можна знайти. Було би бажання та ефективний менеджмент. А як немає ні одного, ні іншого, то й результату не буде.
Стосовно мого бачення успішних прийомів боротьби з подібними явищами, то вони є. Але думаю, що перераховувати їх у відкритому інтерв’ю недоцільно. Бо тоді вони перестануть бути ефективними. Між іншим, минулорічного сезону зовнішнього оцінювання я письмово пропонував УЦОЯО свою консультаційну допомогу в його проведенні. Цього року я такі пропозиції надіслав усім регіональним центрам. Але вони залишились без відповіді. Як кажуть, "мы сами с усами". Що ж, тоді й карти в руки…
Щодо ефективності та дієвості комунікацій УЦОЯО з абітурієнтами, ЗМІ, суспільством. На нашу думку інформаційна політика офіційного сайту Центру жадає бути суттєво покрашеною, прес-конференції більше змістовними, а публікації у пресі більш об’єктивними та без зайвого піару.
Я не хочу давати оцінку інформаційній політиці ЗНО. Тим більше, що у відповідях на попередні запитання торкався цієї проблеми. Хай це краще зроблять ті, хто споживає цей, з дозволу сказати, інформаційний продукт.
Наведу лише один найсвіжіший приклад. Кілька днів тому на сайті УЦОЯО були розміщені правильні відповіді на завдання тесту з хімії. Але там чомусь наведено лише тіло завдань з одного варіанту тесту й один дистрактор (варіант відповіді) до кожного із завдань. Решти дистракторів немає. Чому? Та тому, що фахова людина зможе зробити висновок про якість тесту. Чи потрібно це коментувати?
Якщо керівництво УЦОЯО наголошує, що в цьому році організація тестування нічим не буде відрізнятись від попередніх, чи є привід стверджувати, що із зовнішнім незалежним оцінюванням усе гаразд? Які Ви бачите нагальні та перспективні проблеми, що потрібно розв’язувати, задля вдосконалення роботи Центру та взагалі суттєвого підвищення рівня якості української освіти?
На це запитання можна відповідати дуже довго. Особливо, якщо зачепимося за проблему якості української освіти. Якщо стисло, то якістю української освіти в нашій державі ніхто не переймається. Це висновок достатньо обґрунтований експертами Центру тестових технологій і моніторингу якості освіти в "Аналітичній доповіді про стан моніторингу якості освіти", що підготовлена за фінансової підтримки Міжнародного Фонду "Відродження". Із її текстом можна ознайомитись на нашому сайті чи у провідних бібліотеках держави. Є вона і в Адміністрації Президента, у Кабінеті Міністрів, у Міносвіти, в УЦОЯО… Там написано чимало й названі конкретні шляхи вирішення проблеми. То ж не буду повторюватись.
Стосовно системи зовнішнього оцінювання, то необхідно негайно припинити кампанію маргіналізації ролі та значення ЗНО у вступній кампанії, що була розпочата у 2010 р. УЦОЯО повинен відновити статус хоча б формально незалежної організації, якою він був до 2011 р. А в недалекій перспективі він має стати справді незалежною структурою з правами центрального органу виконавчої влади із спеціальним статусом, підпорядкованою Уряду або Верховній Раді. Потрібен закон про зовнішнє оцінювання. Потрібне ґрунтовне оновлення методології, змісту та процедур зовнішнього оцінювання. Потрібно створити умови для роботи центру. Але всього цього неможливо досягнути без ефективного й сучасного менеджменту в системі ЗНО. То ж, мабуть, варто починати з цього.
За матеріалами: Освіта.ua
Дата публікації: 01.06.2012