Методологія експертного оцінювання шкіл України в основному розроблена, проте практика застосування методів і технологій експертизи носить випадковий характер. Наказ МОН України "Про порядок державної атестації загальноосвітніх, дошкільних і позашкільних навчальних закладів" наголошує: "Атестація навчальних закладів здійснюється шляхом проведення атестаційної експертизи"
У матеріалах Бондар О. С., завідувачки лабораторії атестаційно-експертної оцінки Тернопільського обласного комунального інституту післядипломної педагогічної освіти викладено теоретичні основи експертизи як технології оцінювання освітньої діяльності та механізми її адаптування до практики атестації навчальних закладів.
Ключові поняття: оцінка й оцінювання, педагогічні вимірювання, критерії, параметри, показники, педагогічна експертиза, експертний метод, експертне оцінювання та його методики (діагностичне спостереження, співбесіда, інтерв'ювання, анкетування, хронометрування, тестування), методи колективної роботи експертів, експертна оцінка та експертні висновки.
План публікації:
Процедура оцінювання в освіті завжди займала пріоритетне місце. Проте вона довгий час була примітивною і пов'язувалась лише з оцінюванням знань, умінь і навичок.
Педагогічну дійсність можна виміряти (оцінити) через якість і кількість. Якість традиційно розвивається через опис ознак, кількість ототожнюється з мірою числом. Оцінити - значить проаналізувати якісний стан об'єкта, кінцевий результат якоїсь діяльності. Застосування комплексної оцінки до всієї освітньої діяльності розпочалося порівняно недавно у зв'язку з атестацією закладів освіти. Значення оцінювання освітньої діяльності передусім у тому, що воно допоможе простежити рівень розвитку освітнього процесу в Україні та в регіоні, зокрема. У сучасних наукових дослідженнях часто оцінювання поєднується зі словом "вимірювання". Мета вимірювання - отримати інформацію про ознаки об'єктів. Ми вимірюємо не сам об'єкт, а лише його властивості чи характерні ознаки. Вимірювання величин певною мірою спрощує спостереження.
Метод вимірювання - певна система фіксації та реєстрації кількісних характеристик досліджуваного об'єкта за допомогою різноманітних вимірювальних засобів.
Науковці стверджують, що, на жаль, жодна з відомих систем оцінювання не є абсолютно досконалою.
Критерії якості педагогічних вимірювань (за К. Корсаком)
1. Об'єктивність. Виступає як антипод суб'єктивності. Забезпечити об'єктивність оцінювання й адекватність його кількісних результатів, як показує практика, можна лише максимальною стандартизацією його проведення. Об'єктивність процедури вимірювання має доповнюватись об'єктивністю обробки даних та об'єктивністю інтерпретації результатів.
2. Надійність - рівень стійкості результатів, повторюваності їх під час додаткових вимірів у стандартних умовах. Ступінь надійності визначається за допомогою коефіцієнта надійності. Ступінь надійності залежить від об'єктивності методу, параметрів засобу вимірювання, стабільності вимірювальної характеристики. Важливою є стабільність характеристики, оскільки ознаки та характеристики в освіті часто лабільні (нестійкі). Наприклад, педагогам добре відомо, як упливає на результати оцінювання психічний та фізичний стан особи.
3. Валідність визначається параметрами засобу та процедури його виконання, властивостями досліджуваної ознаки. Забезпечення валідності виміру - обов'язкова передумова впевненості педагога в тому, що вимірюються первинні, а не вторинні ознаки. Отже, висока валідність методу вимірювання - належна відповідність отриманих даних. Одночасно критерій валідності окреслює простір, для якого метод вимірювання дає статистично надійні результати. Для педагогічних вимірювань можна визначити вужчі критеріальні ознаки: валідність змісту, валідність відповідності, валідність прогнозу.
4. Точність методу визначає мінімальну або систематичну помилку, з якою можна провести вимірювання цим методом (К. Корсак).
Критерії, параметри, показники
Процес оцінювання безпосередньо пов'язаний із такими поняттями, як критерії, показники, параметри. Їх значення полягає в тому, що:
Великий тлумачний словник сучасної української мови (К.: Ірпінь, 2001) подає такі трактування:
Критерій - підстава для оцінки, визначення кваліфікації чогось; мірило.
Параметр - змінна величина, від якої залежить значення іншої змінної величини; критерій, показник, ознака, відносно якої здійснюється оцінювання, за якою характеризується що-небудь (с. 705).
Показник - свідчення, доказ, ознака чогось (с. 838).
У науковій літературі показники - це статистичні дані, що дозволяють оцінити судження про ключові аспекти функціонування освітніх систем. У це визначення входить:
Найлегше оцінювати кількісні показники (кількість років навчання, тривалість уроку, розподіл часу тощо). Як зауважує К. Корсак, педагогічні вимірювання часто мають на меті отримати дані не лише стосовно конкретного предмета, а й стану, ефективності та якості систем національної освіти. Науковці поділяють ці дані на три великі групи:
Із початку 70-х років ХХ століття у країнах Європи посилився інтерес до проблем ефективності освіти і до нових моделей управління. У широкому розумінні слова ефективність системи освіти визначається ступенем досягнення поставлених перед нею цілей. У науковій літературі розглядають дві форми ефективності освіти:
1. Критерії якості зовнішньої ефективності (розвиток системи освіти на основі використання матеріальних і людських ресурсів, звітність, модернізація освіти на основі потреб ринку праці, створення нових технологія навчання).
2. Критерії внутрішньої ефективності освіти у навчальному закладі, до яких належать:
Починаючи з 80-х років до ефективної діяльності навчальних закладів зараховують такі показники, як зовнішнє середовище, характеристика персоналу, цілі та імідж школи, шкільний мікроклімат тощо. Сучасні науковці по-різному трактують таке поняття, як ефективність освітньої діяльності навчальних закладів.
На разі, чіткі критерії та показники оцінювання освітньої діяльності навчальних закладів на законодавчому рівні не уніфіковані.
Обґрунтування критеріїв і показників ефективності навчально-виховного процесу ускладнюється специфікою педагогічної діяльності та особливостями теорії, яка їх описує. Не все в педагогічній діяльності може бути оцінено з позицій загальнозначущих положень педагогічної теорії. Знання про людину, на які спирається сучасна педагогічна наука, ніколи не можуть бути кінцевими та абсолютними. Учитель може зустрітися з явищами, які являють собою винятки з існуючих правил і зразків. Педагогічна праця завжди супроводжується неповторністю своєрідних моментів. Не випадково К. Д. Ушинський визначав працю учителя як вид практичного мистецтва. Учені нерідко наголошують, що праця вчителя - це особлива форма мистецтва, яка базується на науковій основі. Учитель, як професіонал у своїй роботі, не може покластися лише на здоровий глузд та інтуїцію. Він повинен керувати навчально-виховним процесом, а не творити його стихійно. У той же час наука не відповідає на всі питання, які виникають у роботі учителя, а наукове обґрунтування критеріїв оцінки професійної педагогічної діяльності обмежене рівнем розвитку педагогічних дисциплін.
Тому в кожному регіоні орієнтовні критерії можуть бути адаптовані до місцевих умов шляхом уведення додаткових показників.
Аналіз - передумова об'єктивного оцінювання
Аналіз є невід'ємною функцією управління. Безумовно, без аналізу неможливо дати оцінку якомусь явищу. Аналіз дуже тісно пов'язаний із процедурою оцінювання, хоч у теорії менеджменту він виділяється як окрема функція. Аналіз виступає як етап, що передує прийняттю управлінського рішення, пов'язаного з оцінюванням. М. М. Поташник у аналізі визначає такі операційні дії:
Аналіз у широкому розумінні слова передбачає збір інформації, обробку, оцінювання та прийняття рішень на основі оцінки.
Результати оцінювання
Оскільки сучасна освітня система трактується як відкрита, результати державної атестації оприлюднюються. Закон України "Про загальну середню освіту", ст. 36, пункт 26 Наказу МОН України № 553 передбачає оприлюднення результатів атестації через засоби масової інформації. Основними варіантами оприлюднення результатів, які можуть застосовуватись, є:
Короткі відомості з історії експертизи
Експертна справа в Україні, як і всьому світі, посідає надзвичайно важливе місце. Законодавством передбачено випадки, коли проведення експертизи є обов'язковою дією, в інших випадках експертиза може призначатися за ініціативою або вимогою підприємства, організації, громадського формування окремої фізичної особи. Національне законодавство досить докладно регламентує питання організації та проведення різних видів експертиз. У даний час склалася дещо парадоксальна ситуація: експертиза стала нормою життя суспільства та престижною формою діяльності, однак єдина теорія експертиз до сих пір не сформувалась.
Треба зауважити, що, хоча експертна діяльність набула широкого використання порівняно недавно, вона має свою древню історію. Із давніх-давен люди висловлювали свою точку зору з тих чи інших питань, виконуючи в певному розумінні експертну функцію. Переважно прислуховувались до думки тих, хто користувався заслуженим авторитетом. Колись це були жерці, маги, релігійні та державні діячі. Лікарям і вчителям у всі часи приходиться займатися експертизою за родом своїх занять, оскільки вони дають експертну оцінку стану здоров'я пацієнтів, а вчителі оцінюють рівень навченості учнів. Учені та письменники завжди писали рецензії на праці колег, які також носять елементи експертизи.
Активне впровадження експертної діяльності йшло з другої половини ХХ століття, коли в розвитку системи природа-суспільство виникли достатньо складні задачі, які пов'язані з усвідомленням наявності блоку невизначеності в розвитку нелінійних систем і ряду їх властивостей, зокрема властивості розмитості. Це добре відображає принцип несумісності Л. А. Заде: висока точність дослідження не сумісна з великою складністю об'єкта дослідження. Такого типу задачі стали вирішуватися з використанням експертного методу дослідження. Під експертизою в загальному сенсі розуміють дослідження й вирішення за допомогою компетентних осіб питань, які потребують спеціальних знань [Словник іншомовних слів, с. 799]. З юридичної точки зору експертиза полягає у вивченні, перевірці, аналітичному дослідженні, кількісній або якісній оцінці певного питання, явища, процесу, предмета фахівцем (експертом) або групою фахівців, експертною радою, спеціально уповноваженим державним органом (експертною організацією), органом виконавчої влади (у межах його компетентності), підприємством, установою та організацією всіх форм власності, а також об'єднанням громадян. Термін "експертиза" походить від лат. expertus (франц. еxpertise) - досвідчений.
Основу методу експертних оцінок започаткували Дельфійські оракули (жерці храму Аполлона у підніжжі г. Парнас у Греції), які оприлюднювали свої передбачення після детального обговорення питання на раді дельфійських мудреців. Під час прийняття рішень вони користувалися системою правил, до яких, наприклад, відносились: "Добре в усьому дотримуватись міри", "Нічого занадто", "Пізнай самого себе", "Усе наперед обдумай" тощо. На сьогоднішній день метод колективного обговорення й узгодження різних думок і поглядів одержав назву методу Дельфі.
Експертиза перетворюється в самостійну, багаторівневу методологію наукового дослідження, оскільки склалась техніка її проведення: широкого розповсюдження набув метод Дельфі, стали розвиватись експертні інформаційні системи, розроблені методи науково-технічної та соціальної діагностики тощо.
Адекватна експертна оцінка заснована на вмінні розчленовувати систему на підсистеми, блоки, компоненти, ураховувати їх взаємозв'язки, а також в усвідомленні того, що цілісність системи породжує якісно нові властивості, які відсутні в їх компонентах.
Класифікація експертиз
Класифікаціями експертиз займалися В. А. Лисичкін, В. Л. Горє-лов. Г. Тейл, Ф. Глазовський. Проте до сьогоднішнього дня не створено жодної загальноприйнятої класифікаційної системи. Визначаючи експертизу науковим методом і враховуючи її зв'язок із певними сторонами людської діяльності, можна стверджувати, що кількість їх типів буде відповідати кількості наукових напрямів.
1. У залежності від рівня організації: міждержавні, державні, громадські, відомчі. За формою: постійні та тимчасові.
2. Залежно від об'єкта експертизи: експертиза проекту й експертиза об'єкта. Об'єктів експертизи існує безліч. Їх класифікація може йти в напрямку розвитку кваліфікації систем: природничо-господарські, технічні, інформаційні (наука, культура, юриспруденція), соціальні.
3. Експертизи можна класифікувати в залежності від світоглядних рівнів відображень існуючої реальності (рефлексії). Ю. М. Федоров пропонує такий поділ експертизи:
Педагогічна експертиза
У педагогіці область застосування науково-педагогічної експертизи досить широка. Вона пов'язана насамперед із необхідністю компетентно оцінити підручники та посібники, наукові дослідження, стандарти освіти, якість освітніх послуг у ракурсі конкретного закладу. Експертна оцінка є вихідним положенням для прогнозування шляхів розвитку системи освіти, прийняття державних і регіональних програм.
Значимість експертних оцінок виросла особливо в останні роки. Це пов'язано з реформуванням освіти, а саме: з порушенням одноманітності, появою різноступеневої освіти, варіативних освітніх програм, технологій, стандартів, а також із розширенням фінансової самостійності освіти, з розвитком нових економічних відносин у сфері освіти.
Здатність прийняти правильне управлінське рішення на основі науково обґрунтованої експертної оцінки - одне з найважливіших умінь менеджера освіти як спеціаліста.
У практиці оцінки результатів освітньої діяльності існує два основних підходи: інспекторська й експертна оцінка. Інспекторська оцінка здійснюється методом шкалування, порівняння з еталоном, фіксації статистичних даних. Експертна оцінка - результат науково-педагогічної експертизи, мотивована думка, судження спе-ціаліста про якість того, що було предметом експертизи.
Сучасна наукова педагогічна думка пропонує виділяти ще гуманітарну експертизу (С. Л. Брат-ченко). Основне її трактування пов'язане з тим, що повноцінне вивчення освітнього середовища здійснюється за базовими, первинними - гуманітарними, загальнолюдськими критеріями, які в кожному окремому випадку повинні доповнюватися частковими, вторинними показниками: рівнем знань і вмінь, рівнем розвитку окремих психічних функцій тощо. Власне, доповнюватись, а не підмінюватись. Гуманітарна експертиза передбачає не тільки залучення компетентних та авторитетних осіб, а й використання статистичних даних і точних діагностичних методик. При організації експертизи в першу чергу увага приділяється організації діалогу та дотримання етики. Гуманітарна експертиза не визнає абсолютної однозначності оцінок і категоричності висновків.
Серед основних функцій гуманітарної експертизи проекту виділяють такі:
При цьому варто завжди пам'ятати, що педагогам краще відомі особливості їх вихованців і специфіка навколишнього середовища. Тобто цифри не повинні заступити експертам живих людей та їх працю.
Звичайно, формальними методами можна добитись виявлення загальної думки. Але така думка, як правило, не має ніякої цінності з точки зору прийняття рішень. Як правило, сліпа орієнтація на думку більшості у сфері оцінки науково-педагогічної діяльності може призвести до негативних економічних і соціальних наслідків. А підсумки експертизи повинні сприяти переходу закладу освіти на новий ступінь розвитку.
Сутність науково-педагогічної експертизи розкривають три значення:
Новим у педагогічній практиці є атестація та акредитація закладів освіти, механізм яких заснований на науково-педагогічній експертизі.
Експертна оцінка результатів діяльності закладів освіти дозволяє регулювати та коректувати педагогічний процес, поведінку всіх її учасників.
Експертний метод
Розвиток експертного методу йшов знизу, від потреб практики. З'явилась велика кількість типів, класів і видів експертиз і близько 300 методів експертних оцінок. Специфіку експертного методу розкривають учені Евланов Л. Г., Кутузов В. А., Тарасов С. Е., Черпанов В. С., Підласий І. П. та ін. Ураховуючи сучасні досягнення науки, поняття "експертиза" визначається як метод дослідження й вирішення проблемних ситуацій компетентними спеціалістами, які володіють спеціальними знаннями, шляхами вибору найбільш аргументованих рішень.
Механізмом, що дозволяє проводити науково-педагогічну експертизу, є експертний метод. Експертний метод - це комплекс логічних і математичних процедур, спрямованих на одержання інформації, на її аналіз, узагальнення з метою підготовки та прийняття компетентного управлінського рішення. Практично такі методи реалізуються у вигляді експертиз: індивідуальних і групових, очних і заочних. Експертні методи за ступенем формалізації, складності та сфери застосування займають десь проміжне місце між соціологічними та кібернетичними методами.
Експертний метод дослідження застосовується в тих випадках, коли:
Метод експертних оцінок має логічно взаємозалежні етапи, що є основними етапами педагогічної експертизи.
Початковий етап (організація експертизи) включає:
Технологія експертизи, використання сукупності методів і критеріїв оцінки залежать від характеру експертизи, області її застосування.
Для педагогічної експертизи найчастіше потрібна: розробка анкет, опитувальників, тестів, контрольно-діагностичних завдань. Експертна оцінка є результатом аналітичної діяльності, заснована на вмінні бачити та розв'язувати протиріччя, прогнозувати, передбачати та знаходити нестандартні способи рішення.
Завершальний етап експертизи - опитування експертів (індивідуальний чи груповий; особистий, очний чи заочний; усний чи письмовий), оформлення документів (звіт, довідка, рецензія тощо), прийняття експертного висновку - основи для компетентного управлінського рішення, що приймає менеджер.
"Експертний висновок" та "експертна оцінка" - поняття близькі, але не тотожні.
У залежності від області застосування експертні методи в педагогіці розрізняють індивідуальні, групові та колективні експертні оцінки. Для прийняття важливих експертних висновків про перспективи та концепції розвитку системи освіти, державних стандартів, нових освітніх програм використовується метод колективних експертних оцінок.
Для проведення педагогічної експертизи доцільно використовувати методики вже розроблені, апробовані, що довели свою валідність та об'єктивність: вони, як правило, є результатом психолого-педагогічних досліджень. Якщо ж таких методик немає, їх доводиться розробляти самим експертам.
Вимагає розробки і визначення критеріїв експертної оцінки.
Алгоритм розробки критеріїв оцінювання:
При розробці показників виходять з того, що кожен із критеріїв оцінки, наприклад, матеріально-технічні та медико-соціальні умови перебування дітей в освітній установі, може бути представлений як сукупність підкритеріїв більш низького рівня (предметне розвиваюче середовище, безпека дитини, охорона здоров'я), а вони, у свою чергу, - у виді сукупності підкритеріїв ще нижчого рівня і т. д. Цей процес повторюють доти, поки не з'являється можливість визначити для кожного з критеріїв і під критеріїв один чи кілька показників оцінки (наявність устаткування, іграшок, посібників, показники захворюваності та травматизму, санітарний стан приміщень і території закладу освіти, сформованість культурно-гігієнічних навичок, рівень психофізичного здоров'я дітей тощо), значення яких визначають за допомогою вимірювальних методик експертної оцінки.
Огляд розвитку методів експертних оцінок в освіті показує тенденцію до розробки методів, що дозволяють конкретно позначити, визначити, назвати та виміряти результати педагогічної діяльності, піддати їх програмно-технічним засобам обробки.
Експерт
Експерт (від лат. expertus - досвідчений) - компетентна особа, яка запрошується у спірних питаннях.
Експертна діяльність має особливості, характерні тільки для неї. Предметом мислення експерта виступають події, процеси, які можуть бути прийняті соціумом під різним кутом зору. Тобто експерт повинен мислити як прогнозист -формувати висловлення в термінах модальності. Експерт у своїй діяльності ніколи не може бути абсолютно нейтральним до об'єкта експертизи.
Експертом може бути призначена будь-яка особа, яка має необхідні знання для підготовки висновку з досліджуваних питань, незалежно від того, чи працює вона у спеціальній установі та є професійним експертом, чи не працює в такій установі, і проведення експертизи не входить до кола її службових обов'язків. Експерт дає висновок від свого імені і несе за нього особисту відповідальність [Кримінально-процесуальний кодекс України, ст. 75].
Експертом може бути будь-яка особа, яка володіє необхідними знаннями для підготовки висновку [Цивільний процесуальний кодекс України, ст. 57].
Вірогідність експертної оцінки залежить від компетенції експерта. Незалежно від рівня експертизи її повинні давати найкваліфікованіші фахівці. Пропоновані загальні вимоги до експерта:
Ю. К. Бабанський виділяє такі вимоги до експертів: компетентність, здатність до вирішення творчих завдань, об'єктивність оцінювання, позитивне ставлення до експертизи, аналітичність і широта мислення, конструктивність мислення, колективізм і самокритичність.
Експертологія як наука пропонує таку модель ідеального експерта:
В. С. Черепанов визначає такі риси ідеального експерта:
Експерт, який запрошується для проведення державної атестації навчального закладу, безумовно, як професіонал повинен бути на порядок вище від найвищої професійної учительської категорії, повинен уміти аналізувати діяльність інших, знати цю діяльність, бути зацікавленим в об'єктивній оцінці.
Для незалежної експертизи дуже важлива етика поведінки експерта, насамперед його чесність, непідкупність. Найбільш простим способом оцінки компетентності експертів в області педагогіки є анкетування, розроблене в логіку "поетапного розгортання питання" (Г. Геллап):
Для підбору експертів використовуються також методи:
Поняття "статус експерта" означає сукупність прав та обов'язків, повноваження й відповідальність експерта. Визначається на основі нормативно-правових документів і затверджується президією експертної ради.
Як стверджує В. С. Черепанов, є п'ять способів, за допомогою яких оцінюються компетентність і якісні характеристики експертів:
Технологія експертизи освітнього середовища
Особливістю сучасного періоду є те, що допомога експертів необхідна практично в усіх галузях людської діяльності, що дало початок навіть розвитку науки - експертології.
Експертиза як метод передбачає орієнтацію на компетентність і досвід спеціалістів, особа якого є головним інструментом дослідження. У цьому полягає принципова відмінність експертизи від діагностики, яка основана на техніко-методичній оснащеності дослідника. Якщо метод діагностики передбачає прагнення до максимальної об'єктивності результатів шляхом методичного нівелювання особистості дослідника, то метод експертизи органічно включає суб'єктивні думки та судження експерта, які обумовлюються його професіональною інтуїцією. Як підкреслював А. У. Хараш, "...від експерта чекають не стільки застосування валідних методик, скільки мудрих суджень, неординарних висновків і, якщо хочете, навіть творчих прозрінь!" Прогноз, як пише В. П. Підласий, унікальний засіб, що дає можливість довідатись про майбутній перебіг подій, знаряддя для контролю швидкоплинних ситуацій та спрямування їхнього руху в бажане річище. Інформація про те, чого немає, але має настати, здавна прирівнювалась до найдорожчого скарбу, бо тому, хто володіє нею, не страшні ніякі несподіванки: належна підготовка до прийдешнього гарантує успіх за будь-яких умов (К. Корсак).
Експертна діяльність має характерні тільки для неї особливості. Предметом мислення експерта виступають події, які можуть бути прийняті соціумом під різним кутом зору. Спеціаліст-експерт після ознайомлення з поставленою проблемою вирішує, який методичний апарат і в якому об'ємі буде використаний, чи він взагалі відмовиться від застосування будь-яких традиційних технологій. Метод експертизи передбачає осмислення спеціалістом усієї сукупності різних відомостей, які отримані з різних джерел.
Перший етап експертизи - це збір так званої нової інформації. У процесі психолого-педагогічної експертизи освітнього середовища можуть бути зібрані відомості від відвідування закладу освіти до вивчення різних документів - журналів, щоденників, робочих і контрольних зошитів, звітів, адміністративних розпоряджень, стендів, анкет тощо.
Паралельно починається збір основної інформації - матеріали бесід експертів із зацікавленими особами - адміністрацією, педагогами, батьками, учнями. Дуже важливі відомості можуть бути отримані від спеціально організованих бесід за "круглим столом". У такій обстановці може бути виявлений величезний набір різних думок, які відображають позиції та установки різних учасників. Такого роду інформація складає основу базових гіпотез, а згодом і фундаментальних експертних оцінок і пропозицій експерта.
Наступний етап експертизи - застосування структурованих методик. Це дозволить пере-провірити складені суб'єктивні оцінки, дати їм дальшу впевненість у процесі подачі результатів експертизи замовнику, а також одержати певні кількісні результати для порівняння, ранжування, виявлення динаміки тих чи інших процесів, які відбуваються в освітньому середовищі.
Треба зауважити, що готовність адміністрації до педагогічної експертизи - основна умова роботи експерта. З однієї сторони, це готовність всесторонньо допомагати експертам у зборі необхідної інформації. Із другої - це готовність вислухати висновки спеціалістів і серйозно поставитись до їх рекомендацій.
Збір експертної інформації
Будь-яка діагностична методика не дає правильних рекомендацій, якщо експерт не володіє достатньою інформацією. Найскладніший крок експертизи - це збір інформації.
Основний етап експертизи пов'язаний зі збором даних, проведенням дослідницької роботи й експертною оцінкою, аналізом наявного матеріалу. Надійність рішень, які приймає експертна комісія, у значній мірі залежить від організації та спрямованості процедури збору та якості зібраної інформації. Тому процедури та прийоми збору, інтерпретації й оцінки інформації передбачають дотримання правил, які покликані забезпечити об'єктивність оцінки.
Управлінська інформація, за твердженням М. М. Поташника, може бути класифікована за:
Для педагогічної експертизи найчастіше потрібна: розробка анкет, опитувальників, тестів, контрольно-діагностичних завдань. Експертна оцінка є результатом аналітичної діяльності, яка заснована на вмінні бачити та розв'язувати протиріччя, прогнозувати, передбачати, знаходити нестандартні способи рішення.
Варто сказати, що отримати "чисту" виразну інформацію про педагогічні явища, процеси, об'єкти дуже складно. Для кожної зібраної інформації властиве нашарування суб'єктивної оцінки експерта та носія інформації. Для того, щоб відсоток суб'єктивності був мінімальним, експерт повинен досконало володіти інструментарієм збору та оцінки інформації.
Інструментарій експертного оцінювання
Діагностичне спостереження
Спостереження - найбільш поширений і доступний метод діагностування педагогічних проектів. Під науковим спостереженням розуміють спеціально організоване сприйняття досліджуваного об'єкта, явища або процесу у природних або навмисне створених умовах. Наукове спостереження суттєво відрізняється від ненаукового, побутового спостереження. Головні відмінності наукового спостереження:
До діагностичного спостереження ставляться високі вимоги. Воно має бути тривалим, систематичним, різнобічним, об'єктивним і масовим.
Перед тим як розпочати діагностичне спостереження, дослідник має чітко з'ясувати:
Діагностичне спостереження може набувати форм:
До нестандартизованого спостереження вдаються на початковому етапі дослідження і тут не дотримуються розроблених схем і фіксованих етапів. Отримавши попередні висновки, спостереження стандартизують, тобто максимально конкретизують його царину, етапи дають категоріальний опис, формують вимоги, формулюють вимоги та критерії оцінок.
При зовнішньому спостереженні дослідник реєструє явища "ззовні", бо саме бере участь у процесах, що відбуваються. При внутрішньому спостереженні він є співучасником подій, за якими спостерігає. Внутрішнє спостереження має переваги та недоліки. Переваги внутрішнього спостереження в тісному контакті, а недоліки - у погіршенні об'єктивності висновків. Зовнішнє спостереження забезпечує нейтралітет дослідника, підвищує надійність висновків, але знижує рівень розуміння глибинних процесів.
Несистематичне спостереження фіксує значні події, а при систематичному дослідженні значну роль відіграє вибір моменту проведення спостереження.
У діагностичному спостереженні перевага надається стандартизованому, зовнішньому, систематичному спостереженню, яке забезпечує валідність, надійність та об'єктивність висновків.
Діагностичне наукове спостереження повинно відповідати трьом таким характеристикам:
Наукові дослідження стверджують, що використання цього методу дає можливість керівникові закладу освіти зібрати 30-40 % інформації. Проте, цей метод має один недолік: спостерігаючи, експерт не має можливості втручатись у процес, наприклад, задати запитання, дати завдання. Тому спостереження найчастіше застосовують на початкових етапах діагностування та експертизи й обов'язково поєднують з іншими методами.
Співбесіда
До традиційних методів педагогічних досліджень належить співбесіда, що в науковій літературі трактується як бесіда із заданою метою. У бесідах, діалогах, дискусіях виявляються думки людей, їхні почуття, наміри, оцінки, позиції, ставлення до певних ідей, фактів, подій, а також виявлення знань відповідно до стандартних вимог. Часто використовується для отримання такої інформації, яку жодними іншими методами отримати неможливо. Педагогічна співбесіда як метод дослідження відрізняється цілеспрямованими намаганнями дослідника проникнути у внутрішній світ співрозмовника, з'ясувати причини тієї чи іншої поведінки. Основна мета співбесіди - збір інформації, яка дозволить оцінити досвід, кваліфікацію та особистісні якості співрозмовника.
Але співбесіда - дуже складний і ненадійний метод. Тому застосовується як допоміжний метод отримання необхідних пояснень і уточнень із приводу того, що не було достатньо ясним при спостереженні або використанні інших методів. Щоби підвищити надійність результатів бесіди та зняти відтінок суб'єктивізму, необхідно враховувати такі чинники:
Не існує якоїсь єдиної схеми проведення співбесіди. Проте, варто дотримуватись такої послідовності її проведення.
1. Заспокойте співрозмовника - він може нервувати з приводу майбутньої розмови. Намагайтеся зламати психологічний бар'єр і встановити атмосферу довіри. Тон бесіди повинен бути дружелюбно-діловим.
2. Поясніть, як ви збираєтесь проводи співбесіду і скільки часу вона триватиме.
3. Почніть розмову з розкриття мети бесіди. Проте не затягуйте цей момент.
4. Використайте біографічний підхід: попросіть співрозмовника коротко розказати про себе, його освіту та кар'єру до цього моменту.
5. Будьте терплячі. Уважно слухайте і не перебивайте співрозмовника.
6. Не бійтесь емоційно реагувати на слова співрозмовника, це підтримає інтерес бесіди.
7. Не відступайте від теми.
8. Реакцію на слова можна виражати кивком голови, поглядом, короткими зауваженнями ("добре", "розумію", "цікаво"), повторенням останніх слів, сказаних вашим співрозмовником.
9. Особисті питання та зауваження прибережіть на кінець розмови.
10. Дайте можливість на кінець задати запитання, які цікавлять вашого співрозмовника. Обов'язково подякуйте за бесіду.
Хід бесіди за згодою співрозмовника може записуватись.
Кількість запитань визначає експерт. Одне з питань, за бажанням респондента, може бути замінене захистом реферату чи публікацією з питань, що стосуються професійної компетентності та які є у списку співбесіди. За кожне питання можна ставити 1 або 2 бали. Один бал ставиться за добрі знання з проблеми, а два бали - за відмінні знання. Співбесіду може проводити один експерт або група. У комісію для співбесіди можуть входити: спеціаліст із професійно-управлінської культури, спеціаліст з педагогіки та психології та спеціалісти з профільних предметів. Застосовується співбесіда для збору інформації під час атестації педагогічних працівників, експертної оцінки стану викладання предмета тощо.
Інтерв'ювання
Різновидом традиційної бесіди є її нова модифікація - інтерв'ювання, яке перенесене в педагогіку із соціології. Вільна форма усного інтерв'ю вимагає від спеціаліста-експерта високої професійної та психологічної підготовки. Кваліфікована підготовка до інтерв'ю допомагає експерту стати істинним драматургом чи сценаристом, тобто запланувати гладке протікання процедури знайомства.
Правила для експерта під час інтерв'ю:
Відкриті питання називають тему чи предмет, залишаючи повну свободу респондента у виборі форми та змісту відповіді.
У закритому питанні експерт пропонує питання й варіанти відповідей. Наприклад: яка форма уроку вам найбільше до вподоби?
Інтерв'ювання передбачає оприлюднення позиції з обов'язковим записом відповідей та інформування про їхній зміст багатьох людей. При інтерв'юванні дослідник дотримується заздалегідь підготовлених запитань, ставить їх у певній послідовності. Відповіді готуються також заздалегідь. Використовуючи інтерв'ювання, не слід забувати застереження стародавніх мудреців, що мову людині дано не тільки для того, щоб оприлюднювати свої думки, а й для того, щоб успішно їх приховувати.
Анкетування
Одним із найпоширеніших методів отримання експертної інформації є анкетування, яке трактується як метод збирання інформації за допомогою спеціально розроблених опитувальників, що називаються анкетами. Анкетування ґрунтується на припущенні, що людина відверто відповідатиме на поставлені запитання. Для проведення анкетування необхідні відкриті й альтернативні анкети для учнів, учителів, батьків, засновників, працівників методичної та інспекторської служби. Психологи та соціологи ставлять такі вимоги до анкет:
Оцінка валідності та надійності анкет ще потребує окремого дослідження. Відомо, що під валідністю анкети розуміється здатність анкети виміряти те, що повинно вимірюватися за задумом організаторів експертизи. Поняття "валідність" відноситься не стільки до самого тексту анкети, скільки до мети експертизи. Замість терміна "валідність" часто використовують слова: "обґрунтованість", "достовірність", "інформованість".
Анкети розрізняють: іменні, що вимагають указувати прізвище опитуваного, та анонімні, які обходяться без нього; повні й неповні; пропедевтичні й контрольні. За формою анкети бувають:
Наприклад (анкета для учнів)
1. Назвіть найкращих учителів вашої школи.
2. Назвіть предмети, які вам найбільше подобаються;
В альтернативних анкетах часто закладається індикатор брехні. Тобто, найкраща відповідь ховається тільки під однією буквою;
Наприклад
Обведіть кружечком рівень сформованості певної якості.
5 - дуже організований;
4 - організований;
3 - скоріш організований, ніж неорганізований;
2 - скоріше неорганізований, ніж організований;
1 - неорганізований.
Крім цього, характерні властивості особистості можна визначати за шестибальними шкалами, що містять по шість градацій позитивного та негативного виявлення досліджуваної ознаки.
Мінімум -6 -5 -4 -3 -2 -1 0 +1 +2 +3 +4 +5 +6 максимум.
Наприклад
Обведіть кружечком число, в якій кількості, на вашу думку, проявляється названа ознака в роботі керівника вашого закладу.
Звичайно, найкраще обробляти результати анкетування за допомогою комп'ютерних програм. Якщо застосовується механічний спосіб, то за основу береться метод випадкової вибірки.
Проте анкетування не вирішує проблеми в цілому, адже діє як закон: яке питання, така відповідь. А прямих відповідей, як і прямих запитань, бути не може. Запитати вчителя: "Ви майстер?" - так само неможливо, як і одержати об'єктивну інформацію на це запитання.
Позбутися зазначеного недоліку можна двома способами:
У першому випадку анкета розростається до необмежених розмірів, що значно скорочує кількість бажаючих відповідати, а в другому - перетворюється у твір на вільну тему. Обробка анкет в обох випадках дуже ускладнюється, метод утрачає одну зі своїх головних переваг - швидкість збирання інформації.
Анкетування допомагає дещо розширити висновки, уточнити їх. Його з успіхом можна використати на завершальному етапі експертизи.
Метод хронометрування
Цей метод використовується для замірювання часу, затраченого на конкретні елементи педагогічного процесу: робочого часу вчителя, учня, керівника закладу освіти; урочного робочого часу, вільного часу учня тощо. Вивчаючи, наприклад, бюджет часу вчителя, можна виявити не тільки його педагогічне навантаження, а й структуру робочого тижня. Педагогічним працівникам варто проводити самохронометрування часу, адже це дасть можливість контролювати затрачений час та забезпечити його правильний розподіл.
У педагогіці часто використовується хронометрування уроків. Психологами встановлено, що засвоєння знань на уроці різко падає після 34-ї хвилини. Тому важливо простежити, чи правильно вчитель розподіляє час на уроці. Такий аналіз поможе експертам глибше проникнути в педагогічний процес та оптимізувати його.
Хронометрування тісно пов'язане з іншими методами, особливо з анкетуванням і тестуванням.
Тестування
Слово "тестування" (testing) у широкому розумінні - це сукупність процедурних етапів планування, складання та випробування тестів, обробки та інтерпретації їх результатів.
Крім цього, тестування розглядається як метод педагогічної діагностики. У педагогіці класичним і досить повним уважають "критеріальне" означення К. Інгекампа: "Тестування - це метод педагогічної діагностики, за допомогою якого вибір поведінки, що презентує передумови або результати навчального процесу, повинен максимально відповідати принципам зіставлення, об'єктивності, надійності та валідності вимірів. Він має пройти обробку й інтерпретацію і бути прийнятим для застосування в педагогічній практиці".
С. Д. Дрябо наводить декілька основних вимог до умов проведення діагностичних методик, зокрема тестування:
У тестуванні, як правило, виділяють три основні стадії:
Слово "тест" (test) в англійській мові означає "випробування, проба, експеримент, перевірка". У науковій літературі є багато визначень тесту. Наприклад, тестолог В. А. Кокота вважає, що тест - комплекс завдань, які пройшли попереднє випробування з метою визначення якісних показників і дозволяють виявити в учасників тесту ступінь компетенції, і результати якого піддаються певному оцінюванню заздалегідь установленими критеріями.
У педагогіці розрізняють ще тест навченості або тест успішності, які трактуються як сукупність завдань, орієнтованих на вимірювання рівня засвоєння певних аспектів змісту навчання.
Згідно з рекомендаціями відомих текстологів, можна сформулювати основні вимоги до тесту.
Тести повинні бути:
У залежності від галузі досліджень К. Інгенкамп розрізняє такі види тестів.
Тести досягнень
Психометричні структурні тести
Тести шкільної успішності
Класифікація тестів (за І. Рапопортом та ін., 1987)
За цільовими, функціональними та смисловими ознаками
За формальними ознаками
За змістом тести можна поділити на п'ять типів (У. Бреддик):
Методи колективної роботи експертів
Після завершення збору інформації необхідно виділити, для яких питань будуть ураховуватись індивідуальні експертні оцінки, а для яких - групові чи колективні. Зміст колективних методів роботи експертів складається з активізації колективного пошуку рішення проблеми шляхом збору ідей та пропозицій, що виникають у процесі дискусії.
Метод "мозкового штурму"
Метод і термін "мозковий штурм" або "мозкова атака" запропоновані американським ученим А. Ф. Осборном (за основу взятий варіант евристичного діалогу Сократа).
Метод "мозкового штурму" може бути рекомендований для отримання нетрадиційного, оригінального рішення в дуже стислий термін часу. У педагогіці цей метод трактується як розв'язання певної проблеми або задачі за допомогою активного розумового пошуку рішень певною групою людей. Він може бути короткочасним або тривалим, письмовим або усним. Під час проведення "мозкового штурму" неодмінно повинен бути ведучий експерт, який підказує напрями пошуку. Необхідно обрати секретаря, який фіксує всі ідеї за допомогою малюнків, ключових слів, своїх позначок. Сеанс здійснюється в два етапи: на першому заохочується висування будь-яких, навіть безглуздих, пропозицій. На другому експерти уважно вивчають усі ідеї та оцінюють за допомогою спеціальних критеріїв. Після створення певного банку ідей ведучий здійснює рефлексію діяльності та переходить до обговорення ідей з метою пошуку чогось корисного в кожній пропозиції. Потім проводять обробку результатів і відбирають найбільш правильні рішення. На даний момент вироблено декілька модифікацій методу "мозкової атаки".
Прямий колективний "мозковий штурм"
Основні принципи та правила цього методу полягають у повній забороні критики запропонованих ідей, а також заохочення реплік і жартів. Успіх застосування методу залежить передусім від ведучого експерта, який повинен уміло направляти дискусію, удало ставити стимулюючі питання, здійснювати підказки, використовувати жарти та репліки. Кількість учасників - від 4-х до 15-ти осіб. Бажано, щоб учасники були різного віку, різних спеціальностей, однак варто дотримуватись балансу між учасниками різного рівня активності, характеру, темпераменту. Час проведення "мозкового штурму" - від 15 хвилин до години.
Масовий "мозковий штурм"
Цей метод, запропонований Дж. Дональдом Філіпсом, дозволяє суттєво збільшити ефективність генерування нових ідей у більшій аудиторії (кількість учасників від 20 до 60).
Особливість цієї модифікації методу заключається в тому, що присутніх ділять на групи по 5-6 осіб. Після поділу проводять сесію прямого "мозкового штурму". Час генерування ідей у всіх групах повинен бути однаковим.
Ефективність методу "мозкового штурму" полягає в тому, що в розкутій емоційній атмосфері ідеї одних можуть наводити інших на нові ідеї. Це дає змогу згенерувати значно більшу кількість ідей, ніж за умов, коли ці люди працюють поодиноко. Наведемо повчальний приклад "мозкового штурму". Під час війни за його методами вивчалась проблема боротьби з корабельними мінами. Одна пропозиція рекомендувала: коли з'являється міна, команда стає до борту і щосили дмухає на неї. При аналізі ця ідея трансформувалась у метод відштовхування високочутливих мін потужними струменями води.
Методи впорядкування й оцінювання експертної інформації
Кількість і якість у педагогіці безпосередньо поєднані. Аналізуючи єдність кількості та якості, професор Е. Карповіц підкреслює: "Немає якісної визначеності без кількісної характеристики". Якість виражається у властивостях, а кожна властивість має свою інтенсивність. Кількість можна виразити математичними засобами (числами, графіками, формулами). Математичні засоби лаконічні, тому графік чи таблиця можуть дати набагато більше, ніж довгий опис. Разом з тим не можна математичні методи протиставляти методам якісного аналізу. Їх треба використовувати у взаємозв'язку.
Оскільки не кожну інформацію можна виміряти безпосередньо і за один раз, для математичної обробки застосовують різні методи впорядкування. Для обробки результатів досліджень (експертизи), формалізації процесу та висновків експертизи часто застосовують кількісні методики. І. П. Підласий пропонує використовувати такі кількісні методи.
Метод реєстрації
Реєстрація - це виявлення належності певних об'єктів до певного класу й підрахунок їх кількості за належністю (наявністю або відсутністю певної ознаки). Приклад: кількість учнів з високим і низьким рівнем навчальних досягнень.
Метод рангових оцінок або ранжування
Ранжування - процедура встановлення відносної значимості ознак (переважності) досліджуваного об'єкта на основі їх упорядкування. Метод рангових оцінок відносно простий і зручний для одержання узагальненого судження експертів. Він полягає в тому, що будь-яку досліджувану інформацію розташовують у порядку зростання чи убування величини ознаки. Наприклад, список учнів у залежності від кількості пропущених занять. Кожній ознаці приписують число, що позначає його ранг. Ранг - це показник, який характеризує порядкове місце об'єкта, явища, події чи показників, критеріїв, факторів у групі інших (об'єктів, явищ тощо). Переважно найбільш вагомому об'єкту присвоюється перший ранг, а найменш вагомому - останній. Точність і надійність ранжування залежить у значній мірі від кількості об'єктів. Тобто чим менше об'єктів, тим більший ступінь їх розрізнення. Отже, при ранжуванні експерт повинен розставити об'єкти в такому порядку, який є, на його думку, найбільш раціональним, і присвоїти їм ранг з ряду натуральних чисел. Наприклад, необхідно ранжувати показники впливу анкетних даних на підвищення фахового рівня.
Ранг
1. Загальний педагогічний стаж -7
2. Стаж роботи безпосередньо в даній школі -6
3. Підтримка сім'ї, родини -8
4. Матеріальне стимулювання -9
5. Моральні заохочення -5
6. Участь у конференціях -4
7. Публікації -3
8. Переможці олімпіад -2
9. Участь в конкурсах "Учитель року" -1
Як видно з прикладу, експерт може довільно присвоювати ранг певним показникам. Якщо експерт не може вказати ранг декільком чи двом об'єктам, він може присвоїти їм однаковий ранг, який називається стандартизованим. Найчастіше під час атестаційної експертизи приходиться ранжувати показники в діагностичних картах та анкетах. Для більшої об'єктивності ранжування пропонується виконати кільком експертам. А результативний ранг можна визначити за допомогою таблиці (Черепанов В. С.).
Аналогічно можна ранжувати ознаки, критерії, фактори, явища тощо.
Отримані результати легко піддаються математичній обробці. На практиці метод ранжування "у чистому вигляді" використовується рідко. Найчастіше він використовується разом з іншими методами впорядкування.
Шкалування
Шкалування - присвоєння балів або інших цифрових (умовних) показників досліджуваним об'єктам чи їхнім характеристикам. Цим досягається більша визначеність, точніше окреслення меж. Відомі чотири типи вимірних шкал:
Шкали полегшують оцінки ознак і тому при користуванні ними фіксується не наявність самої ознаки, а ступінь її присутності. Експерт фіксує лише своє бачення ситуації в межах запропонованих йому оцінок. Такі шкали, якщо вони детально розроблені й містять важливі ознаки, сприяють точнішій фіксації результатів спостережень.
Методи безпосередньої оцінки
Для прийняття обґрунтованого рішення необхідно намагатись перевести в кількісну форму всі елементи аналізу. Оцінки, які використовуються в експертизі, можна розділити на дві групи: абсолютні та відносні. Абсолютні у своїх формулюваннях мають такі терміни, як добре - погано, задоволений - не задоволений, так - ні, завжди - інколи - ніколи, повністю - частково - зовсім тощо або числові форми трьох-, п'яти-, десяти-, стобальної системи оцінювання. Більш широке застосування мають відносні оцінки, в основі яких лежать методи порівняння визначеного набору об'єктів (альтернатив) за визначеним правилом чи критерієм.
Варто чітко розуміти різницю між мірою та оцінкою. Для оцінок характерна наявність додаткового джерела помилок, якого немає при безпосередньому вимірюванні. Будь-яка оцінка виникає в результаті намагання виразити у вигляді числа істинне значення об'єкта дослідження. Зрозуміло, що коли б істинне значення було відоме, щезла потреба в його оцінці. Крім того, треба пам'ятати, що оцінка сама по собі суб'єктивна і залежить від багатьох факторів.
Експертні методи оцінювання
На даний момент склалася загальноприйнята модель оцінки. Вона передбачає чотири основних етапи:
А. В. Філіппов за основними параметрами діяльності виділяє такі оцінки:
Експертні методи оцінювання, як правило, здійснюються в єдності з іншими методами оцінювання. Розрізняють експертні методи оцінювання кількісні та якісні.
Відомі три рівні таких оцінювань:
Розрізняють індивідуальні та групові експертні оцінки. При використанні індивідуальних оцінок важливо брати до уваги не тільки величину та якість інформації, а й особливості тієї особи, яка проводить експертну оцінку. Тобто для постановки задачі вибору необхідно знати:
Скільки б інформації не мав експерт, завжди найбільше бракує статистичної інформації. При цьому експертні рішення та оцінки все ж доводиться приймати, не чекаючи, поки наступить абсолютна ясність. Тим більше, що ситуація може прояснитись не так вже швидко або зовсім не бути до кінця чіткою та зрозумілою. З цього приводу варто згадати слова Наполеона, який казав, що захід вже добре продуманий, якщо 2/3 шансів припадають на долю розрахунку, а 1/3 - на долю випадку. Тому експерт при оцінці педагогічних явищ не може нехтувати випадковостями. Завдання щодо підвищення точності і надійності оцінок, які необхідні для прийняття рішення, полягають не тільки в одержанні абсолютно точних аналітичних розрахунків, а найперше в тому, щоби скоротити кількість факторів, які не піддаються вимірюванню. Нагадаємо, що в науковій літературі вимірювання трактується як можливість приписати числову форму об'єктам і подіям відповідно до визначених правил (В. С. Черепанов). Таким чином, науковці твердять, що для прийняття обґрунтованого рішення необхідно намагатись якнайбільше елементів аналізу подати у числовому вигляді, варто використати всі можливості для перетворення методів аналізу в більш удосконалену кількісну науку.
Варто чітко розрізняти відмінності між поняттями "оцінка" і "міра". Оцінка виникає в результаті спроби виразити у формі числа якусь якість предмета. Тобто, якби істинне значення предмета було відоме, не було б необхідності мати його оцінку. Крім цього, оцінка завжди суб'єктивна і залежить від особливостей та мети суб'єкта, який її виносить.
Далі важливим є вибір процедури вияву думок експертів. Саме тут можливим є проведення одно-етапного чи багатоетапного анкетування, проведення дискусій та інтерв'ю. Застосовуються також різні методи обробки результатів опитування з метою отримання узагальнених даних. У результаті різних оцінок, які винесли експерти, застосовуються якісні методи обробки результатів експертизи. Проводиться також кількісна обробка результатів, що засновані на методах математичної статистики.
Експертні методи колективної оцінки можна розділити на такі групи:
Медіаною є оцінка 5, що вважається отриманою в результаті першого туру опитування. Далі свої оцінки повинні обґрунтувати експерти, які поставили найвищий та найнижчий бали. Причому експерти не повинні знати, яку оцінку і хто поставив. З їх висновками ознайомлюють інших експертів. Далі проводиться повторне оцінювання. Подібна процедура дозволяє спеціалістам у разі необхідності змінити свою оцінку, приймаючи до уваги обставини, що виявили експерти, які поставили найвищу та найнижчу оцінки. Завдяки цьому результат другого та наступних опитувань дають менший розрив у оцінках. Після кожного туру проводиться ранжування оцінок і виявляється медіана. У кінці оцінки будуть максимально наближені. Метод Дельфі дозволяє отримати більш надійні групові оцінки, ніж у випадку знаходження середнього арифметичного оцінок або колективного обговорення. До недоліків методу відноситься те, що взаємовплив експертів абсолютно виключити неможливо.
Використання цих методів дозволяє на науковому рівні робити досить глибокий аналіз, діагностику педагогічних процесів, які відбуваються у школі, та отримувати конкретніші результати для їх оцінки.
Методи експертних оцінок дозволяють аналізувати складні педагогічні процеси, явища, ситуації, що характеризуються в основному якісними, неформальними ознаками (що утрудняє їхній аналіз та оцінку). Методи експертних оцінок використовуються при прогнозуванні розвитку системи освіти в її взаємозв'язку із соціальним середовищем для визначення й ранжування за заданим критерієм найбільш істотних факторів, що впливають на функціонування і розвиток педагогічної системи. Даний метод забезпечує оцінку альтернативних рішень і вибір кращих варіантів рішення.
При експертизі використовуються також методи безпосередньої оцінки, парного порівняння, послідовного порівняння й ранжування.
Варто відмітити, що проблема надійного опитування експертів ще не вирішена повністю. Тому найважливіше розробляти систему методів самооцінки експертів, щоб забезпечити якість їх відбору.
Результати та підсумки експертизи
Завершальний етап експертизи - опитування експертів (індивідуальне чи групове; особисте очне чи заочне; усне чи письмове), оформлення документа (звіт, довідка, рецензія тощо), прийняття експертного висновку - основи для компетентного управлінського рішення, яке приймає менеджер.
Оскільки педагогічна експертиза має груповий характер, важливо не загубити жодну індивідуальну точку зору. Тому під час підбиття підсумків та підготовки експертних висновків не може бути мови про середні дані та заміну оригінальних суджень загальною експертною думкою. Кожна індивідуальна експертна оцінка повинна розглядатись як колективна, загальна.
Підбиття підсумків - важливий етап. Результати експертизи, в основному, не складають для респондентів таємниці в силу принципової відкритості процедур експертизи та проміжного обговорення результатів аналізу та оцінки. Усі результати експертизи можна поділити на три основні групи:
Факти. Фундамент підсумків складає сукупність отриманих відомостей, матеріалів, у тому числі суб'єктивний матеріал - спостереження, враження, взаємовпливи. Під час обробки фактів важливо не загубити в загальних висновках конкретних відомостей.
Коментарі. Якщо для інших типів експертиз факти мають вирішальне значення, то для педагогічної експертизи значимими є також коментарі, думки експертів з приводу фактів, їх трактування, гіпотези.
Передбачення. На основі конкретних результатів і розуміння їх смислу експерти роблять висновки про можливості та конкретні перспективи розвитку даної школи, необхідні ресурси, можливі труднощі та умови їх подолання. Можливий обережний прогноз наслідків у разі припинення розвитку. Передбачення експертів повинні бути не керівництвом до дії, а інформацією до роздумів.
Експертні висновки - це підсумковий етап психолого-педагогічної експертизи освітнього середовища, які, як правило, складаються з таких розділів (А. У. Хараш):
"Експертний висновок" і "експертна оцінка" - поняття близькі, але не тотожні.
Експертний висновок - це документ, оформлений відповідно до встановлених вимог, який містить мотивовану експертну оцінку, тобто думку, судження експерта про предмет експертизи.
Основним критерієм якості експертизи є її переконливість, яка забезпечується сукупністю зібраних реальних фактів, їх добросовісним аналізом і системним осмисленням. Сама стратегія експертизи, безумовно, визначається уявленнями, якими керується експерт при виборі критеріїв оцінки якості освітнього середовища.
Варто пам'ятати, що в будь-якому випадку результат експертизи несе на собі відбиток суб'єктивізму.
Педагогічні експертні системи
Педагогічні експертні системи - це спеціалізовані комп'ютерні програми для обробки та структурування аморфної (неповної, невизначеної, ненадійної, складної, заплутаної, суперечливої) інформації та формування висновків у галузях, де така інформація циркулює і використовується. Основне призначення таких ЕС - "виловити", "відфільтрувати" в інформаційному потоці головні знання, з'ясувати зв'язки між ними та закріпити їх порівняннями. На наступному етапі ці систематизовані знання використовуються для формування причинно-наслідкових зв'язків, на підставі яких шляхом логічного аналізу формулюються висновки для різноманітних потреб - діагностування, прогнозування, проектування, оцінок ефективності, прийняття управлінських рішень, вибору стратегії тощо. Більш детально про педагогічні експертні системи можна прочитати в посібнику: І. П. Підласий "Діагностика та експертиза педагогічних проектів". - К.: Україна, 1998. - С. 69-95.
Самоосвітні завдання
Автор: О. Бондар
За матеріалами: Освіта.ua
Дата публікації: 05.12.2005