 |
Оцінювання рівня знань студентів - процес складний і багатовимірний. З часу виникнення в ІХ столітті перших університетів академічний світ накопичив у цій ділянці величезний статистичний матеріал, на підставі якого встановлено певні емпіричні закони і співвідношення. |
Екзаменаційна сесія як вона є
"...але Ти все впорядкував
мірою, числом і вагою"
Книга Премудрости Соломона 11, 21
І
Ці емпіричні "теореми" мають і теоретичне підґрунтя в таких науках, як теорія ймовірностей і математична статистика, становлення яких розпочато фундаментальними дослідженнями видатних математиків ще у XVII столітті.
Розподіл людей за здібностями до навчання і засвоєння знань є очевидним - незначна кількість людей є дуже здібними, включаючи і геніїв, велика й основна кількість є просто здібними, невелика кількість (але значно більша, ніж дуже здібних) - менш здібні.
На процес виявлення і вимірювання здобутих студентами вузів знань впливають багато випадкових факторів, як-от особливості характеру, зокрема надмірне бажання вчити лише певні дисципліни і нехіть та небажання вчити інші, або взагалі небажання вчитися, хворобливий стан протягом семестру чи в період екзаменаційної сесії, недовчені якісь розділи або пропущені лекції, психоемоційний стан - не все добре в цей період в родині чи у друзів, закоханість...
Ці випадкові фактори спричиняють флюктуації (тобто відхилення значень величин від їхніх середніх) у процесі "показу" студентами своїх знань. Крім того, на оцінювання, якщо це не стандартне тестування без суб'єктивного фактора, впливають здібності та здатність викладача повною мірою виявити і оцінити знання студента.
Також відіграють свою роль природні флюктуації стану викладача, хоча це в жодному випадку не повинно впливати на оцінку студента.
Оскільки величини, що детермінують здібності людей, мають випадкову природу, а процес "демонстрації" знань та їх оцінювання також "забарвлюються" явищами флюктуаційного характеру, то аналіз результатів екзаменаційних сесій студентів обґрунтовано може опиратися на закони математичної статистики.
Причому, з очевидних причин, можна очікувати дещо різних результатів оцінки навчання в осінньому та весняному семестрах.
ІІ
Ознаки статистичних закономірностей починають виявляти себе, коли кількість "об'єктів" системи становить 8-12. Це добре знають ті, хто займаються прикладними статистичними дослідженнями чи комп'ютерними симуляціями методом Монте-Карло.
Очевидно, що до малочисельних магістерських груп добре вмотивованих молодих людей прямолінійне застосування статистичного аналізу може бути й некоректним, але коли йдеться про студентську групу у 25-30 осіб, і щобільше про потік з кількох груп, то тут закон великих чисел, згідно з яким, у нашому випадку, студенти розподіляються за своїми оцінками, показує свою силу і всеохопність повною мірою.
Історичний досвід оцінювання студентів зведено в добре відомих матеріалах Лісабонської конвенції (Лісабон, 1997) та Болонської декларації (Болонья, 1999).
Вітчизняна практика, якщо провести відповідне шкалювання, цілком узгоджується з цими результатами.
Наведемо тут цю ECTS-таблицю розподілу студентів за рівнем знань з проекцією на нашу п'ятибальну шкалу оцінювання. Саме за цією таблицею працюємо і ми в Україні після приєднання у 2005 році до Болонської декларації.
Насамперед зауважуємо, що середня оцінка, яку здобувають студенти на сесії, дорівнює:
середня оцінка = 5 × 0.1 + 4.5 × 0.25 + 4 × 0.3 + 3.5 × 0.25 + 3 × 0.1 = 4,
де вагові коефіцієнті взято з таблиці. Отже, середня оцінка студентів, які склали сесію, - "добре". Якщо обидві оцінки В, С за ЕСТS-шкалою спроектувати на "4", а D, Е - на "3", то середня оцінка буде нижчою і дорівнюватиме "3.75".
Отже, ця таблиця встановлює нормальний розподіл студентів за оцінками, який продиктований так званим законом великих чисел. Цей розподіл є симетричним, центрованим на оцінці "4" і з дисперсією, яка дорівнює 0.325:
Дисперсія = 52 × 0.1 + (4.5)2 × 0.25 + 42 × 0.3 + (3.5)2 × 0.25+ 32 × 0.1 - 42 = 0.325
ІІІ
Наведемо тепер міркування щодо визначення кількості студентів-стипендіатів, якщо середній "прохідний" бал, набраний студентом за всю сесію, дорівнює "4".
Першу складову видно з таблиці (тобто тих, хто набрав "4", "4.5", "5" балів) - вона дорівнює 65 %. Причому неважливо, куди викладач віднесе бал "4.5" - до "відмінно" чи до "добре".
Ще одну складову маємо від комбінації "одна трійка + одна п'ятірка", яка також дає середній бал "4". Причому, як видно з характеристики оцінки "3.5", викладач відносить її скоріше до "3", ніж до "4".
Тому цей перехресний внесок легко підрахувати - він становить 3.5 %, якщо не враховувати тонкі, так звані кореляційні ефекти. Наприклад, мова може йти про внесок подвійної комбінації "трійка + п'ятірка" за умови, що іспитів не менше, ніж чотири. Вони дадуть незначний, на порядок менший внесок в порівнянні з величиною 3.5 %.
Далі, навіть якщо оцінку D, тобто бал "3.5", частково розподілити (що у наших ВНЗ, узагалі кажучи, не роблять з огляду на характеристику цієї оцінки, а ставлять оцінку "3") до оцінки "4" (наприклад, десяту частину), то це зменшить перехресний внесок до 3.25 %, але збільшить основний внесок з 65 % до 67.5 %. Разом це дає 70.75 %.
Якщо викладач є гуманнішим або чимось чи кимось умотивованим "перекидати" студентів з групи D в групу C, або робить це під дією гіпнотичного ефекту добрих досягнень студента на минулих сесіях (щоб "не зіпсувати заліковку"), і тим самим неприродно деформує цю шкалу, то зрозуміло, що кількість студентів з середнім балом "добре" можна довести і до абсурдної цифри 90 %.
Саме тут криється механізм неякісного оцінювання знань студентів, і жодні слова про якісь "особливості" та "винятковість" не мають ані найменшої ваги, оскільки закони математичної статистики діють так само невблаганно та демонструють свою силу і універсальність, як і закони інших точних наук.
Отже, робимо висновок, що максимальна кількість студентів-стипендіатів зосереджена в околі 68.5-70.75 %, тобто флюктуює біля позначки 70 %.
Ми могли проектувати ЕСTS-шкалу на іншу нашу національну шкалу, скажімо на 12-бальну чи 100-бальну, але наведені висновки, зрозуміло, не зміняться.
ІV
З викладеного можна зробити немало і "прямих" висновків.
Наприклад, якщо в екзаменаційній відомості усім студентам виставлена оцінка "5", то маємо яскраве свідчення того, що такий лекційний чи семінарський курс є "ненасиченим", не університетського рівня, а такий собі пізнавальний курс, що дає лише неглибокі знання - навіть не знання, а відомості "газетного" характеру, і його осилить без особливої підготовки будь-хто з пішоходів на вулиці, і або викладач фактично не читає лекції і мусить бути "добрим" до всіх, або він є вразливим до додаткових мотивацій ззовні і надмірно позитивно оцінює студентів, або все це разом.
Очевидно, що такий курс потрібно зняти зовсім або оцінювати знання студентів позначкою "так - ні", тобто заліком, а не іспитом. А це в рамках процесу автономізації тепер належить до компетенції ВНЗ.
Зрозуміло, що поданий аналіз має дещо прикидний характер, а наведені міркування і розрахунки зроблені "з руками в кишенях", але вони є коректними, а невраховані механізми є другорядними.
Можна провести і тонший аналіз, який не змінить наших головних висновків, котрі фактично давно є у фольклорі академічного середовища і "ходять" університетськими коридорами.
Зауважимо, що критерії оцінювання за ECTS-шкалою не можуть пояснити таке відоме у нас явище, яке породила наша "неписана" українська "шкала": в гуманітарних дисциплінах вистачає, взагалі кажучи, "однієї студентської ночі" для одержання доброї оцінки, дещо складніше зробити це в природничих науках і неможливо без систематичної праці в дисциплінах з точних та технічних наук.
Попередній аналіз свідчить, що саме гуманітарна складова освіти наших студентів зміщує ECTS-розподіл і робить його асиметричним в бік завищення оцінок.
V
Мета цієї публікації - започаткувати широку розмову про стан і якість системи оцінювання знань наших студентів, зокрема поговорити і про запровадження зворотного зв'язку через моніторингові соціологічні опитування "Викладач очима студентів".
Нам потрібна якісна освіта, а не фальшиві чи "натягнуті" оцінки знань студентів.
Мова не йде про те, чи оцінюється одна "студентська ніч" перед екзаменом чи систематична праця впродовж семестру, тобто кількість вкладеної праці студентом для засвоєння певного "кванту" знань з різних дисциплін (це залежить і від здібностей студента).
Йдеться насамперед про національні стандарти оцінювання знань наших студентів - одну із складових піднесення якості української освіти до європейського і світового рівнів.
На завершення подаємо "рейтингову таблицю" ВНЗ, підпорядкованих МОН, за відсотками студентів-стипендіатів, яка дає оцінку нашої "близькості" до принципів Болонської декларації в частині оцінювання рівня знань студентів.
З огляду на великий особистий педагогічний і управлінський досвід, керівники ВНЗ можуть провести додатковий докладний кількісний аналіз результатів екзаменаційної сесії у своєму університеті, виявити їх локальну візерункову структуру і переконатися, що в Природі все впорядковано "мірою, числом і вагою".
Іван Вакарчук, міністр освіти і науки України
Українська правда
02.03.2009
