Сергій Захарін

Варто поставити питання про подальші шляхи удосконалення методології складання рейтингу

Рейтинг «ТОП-200»: методологія потребує удосконалення?

На порталі ОСВІТА.UA оприлюднено інформацію про результати щорічного академічного рейтингу українських університетів «ТОП-200 Україна 2024».

Рейтинг розробив Центр міжнародних проектів «Євроосвіта» спільно з міжнародною групою експертів IREG Observatory on Academic Ranking and Excellence. Автори зазначають, що цьогоріч було враховано «сучасні тенденції розвитку вищої освіти, яка знаходиться в стані глибинних змін в ході здійснюваних реформ та зазнає великих втрат в результаті повномасштабного воєнного вторгнення росії в Україну».

Зокрема, до уваги бралися Берлінські принципи, затверджені учасниками другої наради IREG (Берлін, Німеччина, 18-20 травня 2006 р.) та рекомендації IREG (Guidelines 2023 for Stakeholders of Academic Rankings.

Методологія цьогорічного рейтингу, зазначають його автори, ґрунтується на використанні багатокритеріальних підходів до оцінювання ефективності діяльності університетів на основі обробки великих масивів даних про роботу ЗВО (Big Data), які можуть бути отримані з відкритих джерел і валідність яких може бути перевірена.

Під час розрахунків використовувалися лише відкриті дані прямих вимірів, викладені на веб-ресурсах незалежних національних та міжнародних організацій і установ, а також застосовано принцип «врахування всебічності і багатогранності діяльності університетів».

Детально з методологією складання рейтингу можна ознайомитися тут.

Отже, у 2024 році ТОП-5 рейтингу виглядає так: Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Київський національний університет імені Тараса Шевченка, Національний університет «Львівська політехніка», Харківський національний університет імені В.Н. Каразіна, Сумський державний університет.

До найкращих 20 університетів України у 2024 році, за версією укладачів рейтингу, ввійшли 5 столичних університетів, 3 університети з Харкова, по 2 – зі Львова, Тернополя й Дніпра, та по одному – з Ужгорода, Луцька, Одеси, Івано-Франківська, Чернівців і Сум.

Автор цих рядків пропонує проаналізувати деякі тенденції змін рейтингових позицій в групі ТОП-10.

У 2024 році порівняно з попереднім роком поліпшили свої позиції: Національний університет «Львівська політехніка» (був на 4-му місці, став на 3-му), Сумський державний університет, Національний університет біоресурсів і природокористування, Одеський національний університет імені І.І. Мечникова.

Погіршили свої позиції Харківський національний університет імені В.Н. Каразіна (був на 3-му, став на 4-му), Львівський національний університет імені Івана Франка, Національний технічний університет «Харківський політехнічний інститут», Харківський національний університет радіоелектроніки.

Неважко помітити, що відразу три харківські університети, які представлено в першій «десятці», погіршили свої позиції. Це дозволяє висунути гіпотезу, що на погіршення показників діяльності цих закладів можуть відчутно впливати чинники, які генералізуються у регіональному середовищі.

Ми інтуїтивно відчуваємо, що дається взнаки прифронтове розташування зазначених університетів. Через активні бойові дії адміністрація закладів освіти змушена витрачати ресурси на збереження та/або відновлення досягнутого потенціалу.

Ми пам’ятаємо, що в перші тижні війни було знищено один із корпусів Харківського національного університету імені В.Н. Каразіна. Значна кількість здобувачів освіти східних регіонів (у всіх ланках освіти) «переорієнтувалися» на так звані тилові регіони. Харківські університети змушені вирішувати проблеми, про які у тилових регіонах навіть і не здогадуються. Зрозуміло, що це об’єктивно звужує можливості формування економічного базису для організації високопродуктивної діяльності.

Можна припустити, що ця тенденція буде відчутною ще певний час, принаймні у короткостроковому періоді.

Отже, під час формування державної освітньої політики необхідно враховувати необхідність посиленої підтримки закладів освіти (зокрема, університетів), розташованих у прифронтових регіонах.

Перше місце цьогорічного рейтингу вдруге посів Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського».

Відверто кажучи, для автора цих рядків зазначене стало несподіванкою. Адже не секрет, що в КПІ значна кількість занять (у тому числі лекційних, практичних, семінарських, лабораторних) проводяться в дистанційному режимі. За моїм суб’єктивним спостереженням, у КПІ питома вага занять, що проводяться в режимі онлайн, є вищою, аніж в деяких харківських університетах.

Тому цікаво подивитися – за рахунок яких показників (чинників) Київський політех виборов перше місце?

Якщо вірити оприлюдненій таблиці, КПІ має лідерські позиції за показниками: «Рейтинг Webometrics», «Рейтинг переможців наукових конкурсів», «Рейтинг акредитаційних справ НАЗЯВО 2019–2023».

Давайте проаналізуємо кожен із складників.

Результати рейтингу Webometric за 2024 рік для України оприлюднені за посиланням. З таблиці вбачається, що у світовому рейтингу КПІ займає 1342-те місце (перше місце в Україні), Сумський державний університет - 1425-те (друге місце в Україні), Київський національний університет імені Тараса Шевченка – 1475-те (третє місце в Україні).

На сайті «Євроосвіта» зазначено, що при обрахунку «підсумкового» рейтингу Національному технічному університету України «Київський політехнічний інститут імені Ігоря Сікорського» присвоєно значення індексу Webometrics на рівні 0,1, для Сумського національного університету – 0,2, для Київського національного університету імені Тараса Шевченка – 0,3.

На мій погляд, тут є поле для дискусії. У світовому рейтингу різниця між КПІ та КНУ не дуже велика – лише 9,9% (1475*100/1342), а в українському – аж в 3 рази (0,1 і 0,3).

«Рейтинг переможців наукових конкурсів» визначався на основі наступних джерел: інформаційна служба ЄС - Community Research and Development Information Service (CORDIS), EACEA Projects Results Platform, Міністерство освіти і науки України, Кабінет Міністрів України, Національний фонд досліджень України. Докладніше про розрахунки – тут.

Якщо вірити оприлюдненій таблиці, Київський національний університет імені Тараса Шевченка не має жодного виграного конкурсу за показником «Конкурси за державним замовленням».

Автори рейтингу навели два посилання на два документи, які було використано при розрахунку показника «Конкурси за державним замовленням». Йдеться про розпорядження Кабінету Міністрів України від 29 вересня 2023 року № 872-р «Про затвердження переліку науково-технічних (експериментальних) розробок в рамках виконання державного замовлення на найважливіші науково-технічні (експериментальні) розробки та науково-технічну продукцію у 2023 році» та наказ Міністерства освіти і науки України «Про забезпечення виконання науково-технічних (експериментальних) розробок, відібраних за результатами конкурсного відбору у 2023 році» від 06 жовтня 2023 року.

Цікаво, що в тексті розпорядження уряду взагалі не наведено назви жодного університету, у зв’язку з чим незрозуміло – чи справді цей документ використовувався для складання рейтингу.

Також цікаво, що у наказі МОН, як вбачається з його змісту і додатку, йдеться лише про науково-технічні розробки та науково-технічну продукцію. Можна припустити, що в цьому конкурсі брали участь переважно технічні університети, натомість університети інших типів (приміром, класичні, педагогічні, мистецькі, економічні) цілком очікувано там не представлені.

Чи доцільно при розрахунку рейтингу використовувати дані про конкурс, у якому більшість університетів апріорі не брала участі? На мій погляд, недоцільно.

Найбільш цікавий складник – «Рейтинг акредитаційних справ НАЗЯВО 2019-2023».

Читаємо позицію Центру міжнародних проєктів «Євроосвіта»: «За версією Центру міжнародних проєктів «Євроосвіта» акредитаційні експертизи, які здійснюються Національним агентством із забезпечення якості вищої освіти (НАЗЯВО) в закладах вищої освіти України (ЗВО), найбільш комплексно і об’єктивно характеризують ефективність роботи університетів України. Під час проведення акредитаційних експертиз в ЗВО здійснюється аналіз не тільки процедур реалізації освітнього процесу, а й показників міжнародної проєктно-грантової діяльності, науково-інноваційної роботи, академічної мобільності, навчально-методичного забезпечення, кадрового потенціалу та інших складових, які безпосередньо впливають на місце ЗВО у різноманітних міжнародних рейтингах».

Позиція відверто дискусійна. Професіоналам добре відомо, що вже кілька українських університетів успішно пройшли акредитаційні експертизи в агенціях, штаб-квартири яких розташовані в країнах ЄС. На жаль, такі кейси, які яскраво свідчать про високу якість роботи університету та його євроінтеграційні устремління, авторами українського рейтингу до уваги не бралися.

Окрім того, на мій погляд, успішне проходження акредитації є свідченням не ефективності діяльності університету (співвідношення результату до витрат), а скоріше є свідченням якості підготовлених документів, що частково віддзеркалюють певні сторони освітнього процесу. Якщо освітня програма отримала «зразкову» або «позитивну» акредитацію – це ще зовсім не означає, що така програма буде ефективною (тобто такою, яка здатна приносити позитивні соціально-економічні ефекти в реальному житті).

При розрахунку складника «Рейтинг акредитаційних справ НАЗЯВО 2019-2023» враховано такі чотири показники: загальна кількість акредитованих освітніх програм, кількість «зразкових» програм, кількість «умовних» програм, кількість програм, які не отримали сертифікат про акредитацію (тобто йдеться про відмови в акредитації).

Досить дивно, як на мене, що показник «загальна кількість акредитованих освітніх програм» отримав найвищий ваговий коефіцієнт – 0,5. Оскільки висока абсолютна кількість не свідчить про високу ефективність (а саме цей критерій організатори рейтингу оголосили пріоритетним). Якщо в університеті акредитовано 10 освітніх програм – це не означає, що він не ефективний, якщо акредитовано 100 програм – це не вказує на високу ефективність.

Методика розрахунку цього складника також є відверто дискусійною. Автори з посиланням на НАЗЯВО зафіксували, що Національний технічний університет «Київський політехнічний інститут імені Ігоря Сікорського» має 0 умовних акредитацій, а Київський національний університет імені Тараса Шевченка – 31. На цій підставі при визначенні підсумкового (узагальненого) рейтингового показника КПІ отримав 1 бал, а КНУ – 0.

Даю невеличку довідку. В умовах воєнного стану акредитація освітніх програм здійснюється з особливостями, визначеними постановою Кабінету Міністрів України від 16 березня 2022 р. № 295 «Про особливості акредитації освітніх програм, за якими здійснюють підготовку здобувачі вищої освіти, в умовах воєнного стану».

Згідно пункту 2 зазначеної постанови, Національному агентству із забезпечення якості вищої освіти тимчасово дозволяється проведення акредитації освітніх програм, за якими здійснюється підготовка здобувачів вищої освіти, у віддаленому (дистанційному) режимі, а також ухвалення рішення про умовну (відкладену) акредитацію освітніх програм без проведення або з частковим проведенням акредитаційної експертизи без оплати вартості акредитації закладом вищої освіти.

Київський національний університет імені Тараса Шевченка, вочевидь, активно користується цією нормою. Але вказане скоріше свідчить про бажання зекономити кошти (до речі, державні), і геть зовсім не свідчить про недостатню (низьку) якість освітніх програм або «неефективність університету».

Який висновок?

Безсумнівно, рейтинг українських університетів «ТОП-200 Україна» дає багато корисної інформації для різних груп – і для державних органів, і для академічної спільноти, і для здобувачів освіти, і для різних стейкхолдерів. Але, на мою думку, на рівні експертного середовища слід поставити питання про подальші шляхи удосконалення методології складання рейтингу та повноцінного врахування справді об’єктивних тенденцій розвитку вищої освіти. Наслідком такої роботи стане підвищення рівня довіри до результатів рейтингування.

P.S. У цій статті відображено лише позицію автора. Висновки та фактичні твердження, наведені у цій статті, не відображають позиції державних органів, установ, організацій.

Автор: Сергій Захарін, державний секретар Міністерства освіти і науки України (2021–2023), доктор економічних наук, професор.

КОМЕНТАРІ
Багато символів. Скоротіть на
Залишилось символів 1000
Заповніть форму, або
Заповніть форму або