Osvita.ua Середня освіта Сучасна освіта Оцінювання для розвитку школи
Оцінювання для розвитку школи

Користь оцінювання в системі освіти полягає в тому, що його результати дають змогу працівникам місцевих управлінь освіти, директорам шкіл і вчителям поліпшити суть освітніх програм та якість навчального процесу в місцевих управліннях освіти, школах і класах

Оцінювання для розвитку школи

Ця проблема особливо актуальна у Великій Британії, багатій на нововведення, які одержують цільове фінансування. Зміни у шкільному плані, які ініціює керівництво, та урядові законопроекти, зазвичай, супроводжуються підсумковою оцінкою діяльності На жаль, вплив оцінкових коментарів обмежений, однак навіть їхня невелика користь руйнується, розбиваючись об бюрократичні зволікання та стиль подання, що неприйнятно для тих, кому ці звіти призначені. Це створює особливі проблеми для тих, хто цікавиться аспектами оцінювання, пов'язаними з розвитком.

Визначення поняття «оцінювання»

Для багатьох визначення слова «оцінювання» здається дещо дивним, позаяк ця інтерпретація не відповідає загальноприйнятому погляду. Ралф Тайлер визначав оцінювання як «процес виявлення того, наскільки вирішено освітні завдання». Багато вчених, які займаються оцінюванням, особливо ті, що працюють у Північній Америці, погоджуються із цим визначенням. Як зазначає Нево, «учені здебільшого згідні із трактуванням терміна «оцінювання» як вимірювання заслуг особистості» або як діяльності, що складається з опису й висновку. Однак існують і протилежні погляди.

Звернімося до думки Нево:

«Протилежною до трактування оцінювання як висновку є інтерпретація, що належить групі Стенфордського консорціуму з питань оцінювання, які визначають його як: «систематичний аналіз наслідків сучасної навчальної програми - аналіз, який проводиться, щоби вдосконалити цю та інші програми, що мають спільну мету». Кронбах та його колеги заперечують природу оцінювання як судження й захищають підхід, згідно з яким того, хто оцінює, сприймають як «педагога, успіх якого оцінюють тим, що вивчили інші», а не як «суддю в баскетбольній грі», якого наймають, щоби вирішити, хто «правий» або «неправий».

Інтерпретація Кронбаха близька до тієї, яку я спробував подати раніше. І я погоджуюся із Стенхаузом, який виступає проти відокремлення того, хто розробляє програму, і того, хто аналізує її, для того, щоб інтегровано дослідити навчальну програму. Хоча мета цієї публікації ширша, ніж дослідження навчальної програми, дискусія залишається відкритою. Як зазначив Стенхауз, оцінювання повинне керувати розвитком і бути його складовою. Тоді умоглядна відмінність між розвитком та оцінюванням зникає і два поняття виступають як дослідження. Аналіз навчальної програми має пояснювати, а не рекомендувати, як це було прийнято на ранньому етапі розвитку навчальної програми.

Стенхауз використав цю тезу для того, щоб докладно розробити аналіз навчальної програми та визначити роль учителя як дослідника. Я також вважаю, що схожість між оцінюванням і розвитком установлює нові можливості для освітнього процесу і для осіб, які є його учасниками.

Хоча я підтримую трактування оцінювання з погляду розвитку, це не означає, що оцінювання не передбачає судження. Чіткий аналіз і розгляд сприяють розвиткові. Отже, матеріал, поданий нижче, доводить, що висновки правильні тоді, коли висвітлюють чітко сформульовані стандарти, з яких можна зробити висновки. Для того щоб зробити правильний висновок, треба визначити його головну ідею, відкриту для уважного вивчення, та чітко уявляти роль оцінних критеріїв.

Іншою особливістю мого трактування оцінювання є те, що оцінювання - це не вчинок однієї особи стосовно іншої. Це також не обмежена діяльність, яку проводять учасники ієрархічних стосунків у органах управління освітою. Як указує Стейк, оцінювання є важливою діяльністю: «Ми маємо справу з людським життям - не тільки із життям молоді, а й із життям учителів та інших дорослих людей... Ми втручаємося в їхнє життя, упевнені в тому, що допомагаємо їм удосконалитися». Ми так переконані в добрі цих мотивів, що часто не зважаємо на моральний бік такого втручання. Однак не варто ігнорувати важливу роль досвідченого експерта та кваліфікованого аналізу. За своєю природою оцінювання через розвиток вимагає співпраці між «усіма стейкхолдерами освітнього підприємства». Важливою ознакою недавнього збільшення нововведень у навчальну програму є те, що вчителі почали брати активну участь в освітньому оцінюванні. Велика кількість нових ініціатив у навчальній програмі (зокрема «Професійно-технічна освітня ініціатива») наголошує на оцінюванні на місцевому рівні, і це природне очікування щодо інших нововведень. Місцеві управління освіти сприяють учителям у проведенні оцінювання або сподіваються, що оцінювання буде проведене у школі. Хоча вчителі працюють в освітній сфері й ознайомлені зі змінами, їм часто не вистачає спеціальних знань, щоби проводити оцінювання. Ця публікація створена саме для вчителів, які працюють у початкових, середніх або вищих навчальних закладах - для тих, хто цікавиться оцінюванням навчальної програми. Отже, основна мета цієї публікації - розробити докази того, що оцінювання - це складова розвитку, а також опис того, як проводити оцінювання.

Еволюція оцінювання навчальної програми у Великій Британії

Суперечки стосовно розвитку або оцінювання навчальної програми розпочалися 1949 року з публікацією книги Ралфа Тайлера «Основні принципи навчальної та освітньої програми». Тайлер, уражений недбалим підходом до розвиту навчальної програми, очевидцем якого був у Сполучених Штатах у 1940-х роках, як протидію запропонував систематичний і надзвичайно простий підхід до планування навчальної програми, що ґрунтується на чотирьох питаннях:

1. Які освітні цілі має ставити перед собою школа?

2. Який педагогічний досвід треба використати, щоб досягти цієї мети?

3. Як можна ефективно організувати цей педагогічний досвід?

4. Як ми можемо визначити, чи мети досягнуто?

Так зване «пояснення Тайлера» часто представлене у спрощеній формі: Цілі - Зміст - Організація - Оцінювання.

Підхід Тайлера, який часто називають цільовою моделлю, мав настільки великий вплив, що багато педагогів твердили, що це єдиний спосіб розвитку навчальної програми. Цільова модель також глибоко вплинула на оцінювання навчальної програми, тому що логічний спосіб оцінювання її за цією схемою передбачає вміння розпізнати деякі зміни в поведінці, які визначають досягнення мети з боку учня, зазвичай у вигляді результату тестів або іспиту. Своєю чергою, мету варто виражати відносно норм поведінки так, щоб досягнення мети можна було спостерігати й оцінювати. Форма оцінювання за моделлю Тайлера дуже практична й орієнтована на результат.

Бурхливий розвиток оцінювання навчальної програми у Сполучених Штатах 30 років тому, після запуску штучного супутника, ґрунтувався на цільовій моделі. Ця модель також уплинула на розвиток навчальної програми у США в 1960 та на початку 1970 років. Перша британська публікація в галузі оцінювання навчальної програми, невелика за обсягом книга Вайсмана й Піджина «Оцінювання навчальної програми», яку опублікувала Національна освітня науково-дослідна фундація, була тісно пов'язана із традицією Тайлера. Вайсман і Піджин стверджують, наприклад, що «тільки через оцінювання досягнутих цілей ми можемо гарантувати, що навчальна програма залишатиметься гнучкою й чутливою до нових вимог змін».

У цей час відбувалося активне розроблення Програми шкільної ради з розвитку навчальної програми й оцінювання. Велика кількість задіяних у цих проектах людей переймалася корисністю й універсальністю цільового підходу. Лоуренс Стенхауз, керівник Проекту навчальної програми гуманітарних наук, досліджував цю проблему в конструктивній праці «Деякі обмеження у використанні цілей для дослідження навчальної програми та планування», а далі у впливовій монографії «Вступ до дослідження навчальної програми й розвитку». Лоуренс Стенхауз підсумував свої дослідження стосовно цільової моделі так:

1. Цільова модель не узгоджується з емпіричним вивченням шкільного колективу. Дослідження доводять, що зазвичай немає залежності між тим, як навчаються учні, й тим, як викладають учителі. Навчання та викладання у своєму найліпшому вияві - довершені і не тяжіють до досягнення мети: вони діють на найвищому рівні.

2. Аналіз змісту навчальної програми, згідно з цілями поведінки, не узгоджується із природою та структурою знання - з епістемологією. Знання не можна звести до поведінки. Зокрема його не можна виразити як конкретизовану дію, позаяк функція знання, на противагу простому нагромадженню фактів, не у визначенні поведінки; знання звільнює поведінку. Знання - це підстава для різноманітних дій, яким притаманне розуміння.

3. Цільова формула оминає або ж нечітко розглядає етичні та політичні проблеми, які асоціюються з управлінням освітою та індивідуалізацією. Хто повинен визначати цілі: державні урядовці, ті, хто розробляють навчальну програму, учителі чи учні?

4. Усе це наштовхує мене на думку, що цільова модель дещо переоцінює нашу здатність зрозуміти освітній процес. Вона, може, й окреслює чіткіше наші задуми, але не робить майже нічого або робить мало для того, щоби підвищити якість.

Причиною дискусії між Тайлером і Стенхаузом було те, що, з одного боку, модель Тайлера встановила напрям оцінювання навчальної програми та дещо обмежила її, з іншого боку, критика та інтелектуальне провідництво Стенхауза в 1970 роках мали на меті впровадити альтернативний підхід до оцінки навчальної програми на батьківщині та в інших країнах. Стенхауз зробив великий внесок в освітню справу, працюючи над Проектом навчальної програми гуманітарних наук при шкільній раді, а пізніше в Освітньому науково-дослідному центрі в університеті Східної Англії. Його критика цільової моделі сформулювала модель процесу дослідження й розвитку навчальної програми, приклад якої - Проект навчальної програми гуманітарних наук. Ця модель описана у праці Стенхауза «Вступ до дослідження й розвитку навчальної програми». Критика біхевіористського підходу до оцінювання навчальної програми, яку ініціював Стенхауз, витворила альтернативний підхід. Стенхауз не був автором цього підходу, але інтелектуально керував новою хвилею оцінювання навчальної програми, яку створив Освітній науково-дослідний центр, і яка й досі асоціюється з ним.

Найважливішим внеском у нову хвилю оцінювання навчальної програми була праця Малкома Парлетта та Дейвіда Хемілтона «Оцінювання як пояснення: новий підхід до вивчення новаторських програм», у якій зазнав критики панівний «сільськогосподарсько-ботанічний» (за їхньою термінологією) підхід до оцінювання з акцентом на меті, експериментальному плані та статистичному аналізі. Натомість Парлетт і Хемілтон запропонували свій підхід, який ґрунтується на методах соціальної антропології, і назвали його «демонстраційним оцінюванням». У ньому враховано широку сферу функціонування освітніх програм. Основна мета цього підходу - опис та інтерпретація, а не вимірювання й передбачення. У 1970 роках було організовано низку конференцій, що мали на меті дослідити зміст альтернативного підходу.

Через кілька років провідні вчені, які представляли новий напрям в оцінюванні, опублікували збірку лекцій з вишуканою назвою «По той бік гри чисел». Цінність збірки полягає в описі альтернативного підходу. Хоча конференції в Кембриджі й пов'язані з ними публікації стали істотними віхами у виникненні альтернативного підходу, шлях до цього був довшим. Упродовж десятиріч його торувало багато науковців, які зробили свій внесок у створення альтернативного підходу. Особливе місце серед них займають дві групи вчених, перша з яких працювала над оцінюванням проектів навчальної програми шкільної ради, а друга діяла під керівництвом Лоуренса Стенхауза або була пов'язана з його дослідженням при Освітньому науково-дослідному центрі. Обидві групи були нечітко сформовані й часто їхні ролі перепліталися.

Оцінювання проектів навчальної програми шкільної ради дало поштовх новій хвилі оцінювання, яка була пов'язана з великою кількістю проектів навчальних програм. Оскільки багато проектів було спрямовано на зміну тогочасної навчальної програми і мало форму стратегії «дослідження-відкриття», незабаром виникла потреба у традиційних формах оцінювання. Сумнівно, що праця Баррі МакДоналда була найвпливовіша в розвитку методології оцінювання навчання у Проекті навчальної програми гуманітарних наук, хоча, як переконаємося пізніше, макдоналдівська «політична класифікація» підходу оцінних моделей до повідомлення результатів оцінювання була, як побачимо далі, також важливою. Група експертів шкільної ради, яка займалась оцінюванням, опублікувала серію книг про головні аспекти своєї роботи. Ці книги як практично, так і теоретично сприяли розвиткові альтернативного підходу до оцінювання навчальної програми.

Друга група експертів працювала із Стенхаузом в Освітньому науково-дослідному центрі й перебувала під впливом його поглядів. Стенхауз заснував Освітній науково-дослідний центр 1972 року. Це стало наслідком його роботи та роботи його колег над Проектом навчальної програми гуманітарних наук. Первісний склад центру - Лоуренс Стенхауз, Баррі МакДоналд, Джин Раддак і Джон Елліотт - працював спочатку над проектом навчальної програми гуманітарних наук. Ця група експертів розробила серію проектів оцінювання, що стали підґрунтям впливових документів, які наприкінці 1970 років, разом з іншими зазначеними вище працями, сприяли розвиткові альтернативного підходу до традиційного оцінювання навчальної програми.

Наприкінці 1970-х вплив Освітнього науково-дослідного центру був дуже великим. Те, що здавалося надзвичайно радикальним десять років тому, стало банальним, і можна було б вибачити випадкового спостерігача за його подив стосовно цієї метушні. Однак наближався час змін - промова Каллагана Раскіна, прихід уряду Тетчер 1979 року та відставка шкільної ради позначили драматичні зміни у звітності та керуванні освітою. Трагічна передчасна смерть Лоуренса Стенхауза 1982 року позначила кінець цієї епохи.

Освітнє оцінювання в 1980 роках

Якщо не враховувати попереднього етапу розвитку оцінювання, можна виділити дві фази в еволюції освітнього оцінювання 1980 років. Перша з них пов'язана з розширенням розуміння оцінювання для звітності. Друга - із практичним застосуванням оцінювання навчальної програми в контексті цільового фінансування. Хронологічно ці фази розділяють десятиріччя.

У першій фазі домінують дві теми, для обох характерний наголос на звітності. Головна проблема першої теми - оцінювання на шкільному рівні, що характеризується поширенням моделей шкільного самооцінювання наприкінці 1970 - на початку та всередині 1980 років. Велика кількість цих схем була зорієнтована на звітність, але деякі, як, зокрема, проект «Вказівки про проведення шкільної атестації і внутрішній розвиток школи», мали яскраво виражене спрямування на розвиток. Друга тема відображає зацікавлення в оцінюванні навчальної програми. Цей інтерес стимулювали звіти стосовно навчальної програми і робота Підрозділу з оцінювання навчальних досягнень, який було створено всередині 1970 років для розвитку методів оцінювання навчальних результатів учнів з окремих предметів. Мета діяльності Підрозділу близька до цільової моделі або моделі Тайлера і до поглядів фахівців із «тестового руху» у США. Підрозділ був створений тоді, коли освітня система перебувала під політичним тиском і громадськість була зацікавлена в уважному розгляді шкільної навчальної програми. Оцінювання в цьому контексті відігравало більше політичну, але все ще досить узагальнену роль.

Друга фаза розпочалася нещодавно, тому окреслити її досить важко. Її характерна риса - реакція на пропоноване оцінювання все більшої кількості фінансованих проектів розвитку навчальної програми, які з'явилися в освітній системі за останні роки. До цього поняття «цільове фінансування» було невідоме вченим Великої Британії. Джанет Гарленд описує цій підхід так: цільове фінансування, як я розумію, - це стратегія, яку можна використати, щоби спростити політику за тих обставин, коли політичні діячі або їхній керівний орган не мають ні встановленого законом права, ні засобів, щоби здійснити потрібні зміни без співпраці з тими, хто має і права, і засоби. Вони, однак, мають ресурси й надалі впроваджують свою політику згідно з укладеною угодою. Політика цільового фінансування, яку вдосконалила й застосувала Комісія з обслуговування персоналу, має декілька чітких стадій:

1. Розвиток політики.

2. Потреба в достатній кількості фінансів, щоби привернути увагу тих, хто здатний і має можливість зробити свій внесок. (Це особливо важливо тоді, коли місцева влада відчуває нестачу коштів.)

3. Заохочення співпраці для того, щоб обмінюватися ресурсами.

4. Надання ресурсів прирівнюється до сприйняття політики, а також до здатності зробити внесок.

Серед механізмів цільового фінансування існують деякі ключові поняття, серед яких, на мою думку, критерії, пропонування ціни, контракт, моніторинг, оцінювання і реакція.

Цільове фінансування призвело до розквіту оцінювання. Це мало багато наслідків, про які поговоримо пізніше, але про три з них варто згадати зараз. По-перше, аналіз свідчить про щораз більшу політизацію оцінювання; по-друге, чітко встановлені часові рамки, обмеження в бюджеті й надмірний наголос на ефективності коштів часто руйнують прийняті методи оцінювання; по-третє, існує розбіжність у статусі тих, хто займається оцінюванням. Разом ці наслідки створюють напруження між цінностями представників альтернативного підходу, який виник у 1970 роках, і вимогами тих, хто фінансує оцінювання у США. Сьогодні про суть суперечки не згадують, але напруження існує й досі, слугуючи джерелом інформації для цієї публікації.

Комплексність оцінювання

Оцінювання - комплексна діяльність. Комплексність оцінювання ілюструють такі запитання: «Які цілі оцінювання?», «Які критерії оцінювання?» і «Кого насправді оцінюють?». Думки про те, що оцінювання - це комплексна діяльність, дотримується Дейвід Дженкінз, який порівнює оцінювання із підйомом альпіністів на скелю.

Я міг би поставити декілька «оцінних» питань. Міг би, наприклад, обмежитися докладним описом того, що відбувається, опитати всіх учасників, щоб ознайомитися з їхніми поглядами, і зробити висновок. Однак припустімо, що в мене є свій інтерес; уважайте, що я запитаю, наскільки вправним є альпініст. Я можу звернути увагу на розмаїття прийомів, які він використовує, та на швидкість підйому. Мені варто визнати, що у провідника інше завдання, ніж в інших альпіністів, що важко порівнювати їхні ролі, хоча роль провідника може обмежуватися всього лише формальним керівництвом. Але якщо б я запитав про якість обладнання, мені треба було б оцінити не тільки його надійність, а й указати на випадки, коли наявні засоби не могли вирішити всіх питань. Мені також може здаватися, що підйом на вершину не буде випробуванням обладнання, яке можна випробувати під час роботи з валунами. Урешті-решт, я можу звернутися до іншого запитання: яка поверхня скелі чи принаймні вибраний маршрут? На останнє запитання не можна відповісти, якщо не зважати на альпіністів, обладнання, ступінь важкості та норми досягнення. Однак це запитання відрізняється від інших. Можна вважати, що оцінювання навчальної програми найліпше висвітлюється через запитання, аналогічні «до тих, які стосуються скелі», а не через «питання про альпіністів» чи «про обладнання».

Дженкінз співвідносить аналіз підйому на скелю з важливою працею Кронбаха «Оцінювання для поліпшення навчального курсу». Кронбах виділяє три типи завдань, для вирішення яких використовують оцінювання:

1. Удосконалення навчального курсу: визначення того, яке обладнання та які методи треба застосовувати і чи є потреба у змінах.

2. Індивідуальний підхід: визначення потреб учня, щоб мати можливість планувати його навчальну програму; оцінювання учнівських здібностей, щоб установити навчальні потоки та об'єднати учнів у групи згідно з навчальними потоками; ознайомлення учня з його досягненнями та прогалинами в навчанні.

3. Адміністративне регулювання: аналіз шкільної системи та діяльності вчителів тощо.

Кронбах виступає за вдосконалення навчального курсу як основної мети оцінної діяльності. Поверхневий аналіз сучасної державної політики наштовхує на думку, що сьогодні всі три типи завдань актуальні у Великій Британії. Поняття оцінювання, подане в цій публікації, передбачає вдосконалення навчального курсу та частково адміністративне регулювання, позаяк значення цього терміна зосереджується на шкільній системі або організації. Докладний аналіз оцінювання індивідуальної діяльності учня в цій праці не висвітлено.

Дейвід Нево нещодавно намагався окреслити значення терміна «оцінювання» за допомогою десяти запитань, які відображають «головні проблеми визначальних підходів до оцінювання в освіті». Нижче наведено результати його аналізу.

Одним зі способів короткого опису оцінювання можуть бути такі поширені відповіді на десять запитань, які ми, ризикуючи занадто спростити підхід до оцінювання, подаємо на підставі огляду літератури.

1. Як визначити термін «оцінювання»?

Освітнє оцінювання - це систематичний опис об'єктів і/або визначення їхньої цінності чи вартості.

2. Які функції оцінювання?

Освітнє оцінювання виконує чотири функції:

а) креативну (удосконалення);

б) підсумкову (вибору та звітності);

в) соціополітичну (мотивації й одержання підтримки громадськості);

г) адміністративну (виявити владу).

3. Що і хто є об'єктом оцінювання?

Об'єктом оцінювання може бути будь-хто і будь-що. Типовими об'єктами оцінювання в освітній системі є учні, освітній та адміністративний персонал, навчальні плани, директивні матеріали, програми, проекти та заклади освіти.

4. Якою інформацією про об'єкт треба володіти?

Треба враховувати чотири величини стосовно кожного об'єкта. Це, зокрема:

а) цілі об'єкта;

б) його стратегії та плани;

в) процес упровадження;

г) результати та вплив.

5. Які критерії варто використовувати для оцінювання об'єкта?

Щоб визначити цінність або якість освітніх об'єктів, ураховують такі критерії:

а) відповідність конкретним потребам дійсних або потенційних клієнтів;

б) відповідність національним ідеям, ідеалам, соціальним цінностям;

в) відповідність установленим стандартам і нормам;

г) перевага над альтернативними об'єктами;

ґ) досягнення цілей, які ставляться перед об'єктами.

Для оцінювання будь-якого об'єкта варто використовувати різноманітні критерії.

6. Кому має слугувати оцінювання?

Оцінювання слугує інформаційним потребам усіх потенційних сторін, зацікавлених в об'єкті оцінювання («стейкхолдерів»). Експерти відповідають за визначення учасників оцінювання та проектування їхніх інформаційних потреб.

7. Як проходить оцінювання?

Незважаючи на метод дослідження, процес оцінювання має охоплювати такі види діяльності:

а) фокусування на проблемі оцінювання;

б) збір та аналіз емпіричних даних;

в) повідомлення про результати учасникам оцінювання.

Ці види діяльності можуть проходити в різній послідовності, і така послідовність має (і деколи повинна) повторюватися кілька разів упродовж оцінювання.

8. Які методи дослідження використовувати під час оцінювання?

Оцінювання як складна діяльність повинно мобілізувати багато альтернативних методів, які вживаються в біхевіористичних науках і пов'язані з оцінюванням в областях дослідження, і використовувати їх відповідно до природи конкретної проблеми оцінювання. На сучасному етапі розвитку науки невиправдано надавати перевагу якомусь одному методу дослідження апріорі.

9. Хто має проводити оцінювання?

Оцінювання мають проводити особи чи група осіб, які:

а) компетентні в методології дослідження та інших техніках аналізу інформації;

б) розуміють соціальний контекст і суть об'єкта оцінювання;

в) уміють підтримувати стосунки та співпрацювати з особами та групами, які беруть участь в оцінюванні;

г) володіють концептуальною схемою для інтеграції згаданих вище якостей.

10. За якими стандартами треба аналізувати оцінювання?

Оцінювання має оптимально поєднувати такі стандарти:

а) користь (бути корисним і практичним);

б) точність (бути технічно адекватним);

в) імовірність (бути реалістичним і розсудливим);

г) відповідність (до закону й моральних норм).

Хоча, на думку Нево, відповіді на ці запитання репрезентують одностайність стосовно основних проблем оцінювання, спільних поглядів на цілі, учасників і критеріїв оцінювання немає. У мене є деякі сумніви в дефініції «оцінювання», яку подав Нево, та «робочого опису» експерта, позаяк цей образ здається ідеальним, а не реальним. Незважаючи на зауваження, ці відповіді роблять корисний вступ до безмежної і часто езотеричної літератури про оцінювання.

Вище було розглянуто не лише кілька запитань, що свідчать про сферу використання та складність оцінювання, а й було зазначено ключові моменти дослідження. На жаль, експерти не позбулися притаманних оцінці гострих кутів, використовуючи зрозумілу лише їм термінологію та створюючи безліч моделей оцінювання. Це був короткий вступ і, сподіваюся, спрощений виклад тих питань, до розгляду яких ми повернемося нижче.

Мова оцінювання

Кожна дисципліна або область дослідження неминуче розвиває власну мову, або термінологію, і оцінювання не виняток. У такій публікації, як ця, важливо подати словник ключових термінів. Під час підготування цього розділу я звернувся за допомогою до праці, яку видав декілька років тому. Зроблена в рамках програми «Підвищення кваліфікації вчителів», вона містить розділ, присвячений оцінюванню, в якому серед низки витягів і цитат міститься опис «поширених вимірів для пояснення проектів оцінювання», який підготував Боб Стейк. Його думки слушні, і я вирішив, за згодою Стейка, відтворити їх.

Проміжне - підсумкове. Найглибшою є відмінність між оцінюванням під час розвитку програми і тим, яке проводять, коли програма вже завершена. Важко відрізнити підсумкове оцінювання завершеного компонента та проміжне оцінювання частини програми. Ця відмінність виражена нечітко. Чітку відмінність можна встановити щодо тих, хто користується даними оцінювання. Проілюструймо це таким прикладом: коли кухар куштує суп, це проміжне оцінювання, коли гості куштують суп, оцінювання підсумкове. Основне не те, коли і чому здійснюється процес. Основне те, для чого призначена інформація: щоб далі готувати та вносити зміни чи щоб смакувати та споживати. Ці дві цілі ведуть до прийняття різних рішень.

Формальне - неформальне. Неформальне оцінювання - це універсальна й постійна людська діяльність, яку навряд чи можна відділити від думки та почуття. Формальне оцінювання керованіше, відкритіше і не таке особистісне. Воно необхідне тоді, коли про результати треба кудись повідомляти. Із цих двох видів формальне оцінне дослідження повинне пройти випробування на точність, правильність, надійність і корисність.

Оцінювання окремого випадку - узагальнення. Найважливіша відмінність існує між вивченням програми як довершеної й остаточної мети та дослідження програми як однієї з багатьох. Більшість результатів дослідження повинна бути якось узагальнена, наприклад, стосовно часу, довкілля або предмета дослідження. Оцінювання можна проводити, щоб розкрити цінність конкретної програми або цінність загального підходу. Відповідно до цього, дослідники й учасники дослідження трактують його результати по-різному, тому можуть виникнути деякі непорозуміння. Якщо дані дослідження стануть основою для узагальнення, то потрібний більший контроль, контрольовані зміни, докладний опис неконтрольованих змін.

Продукт - процес. Іншим аспектом розрізнення досліджень у сфері оцінювання є те, чи вони надають першорядної ваги результатам програми чи процесу її виконання. Вивчення «продукту» має вказувати на загальну цінність; вивчення «процесу» виявляє справжню цінність програми. Ці обидва види потрібні для того, щоб отримати повну інформацію про цінність програми, але, фактично, у дослідженні можна аналізувати лише невелику її частину.

Опис - судження. Багато експертів, які займаються соціальними науками, визначають завдання оцінювання як забезпечення інформацією, із акцентом на об'єктивних даних і відкиданні суб'єктивних. Ті вчені, які займаються гуманітарними науками, акценти ставлять навпаки. Деякі дослідження можуть зосереджуватися на учнях та умовах навчання, аналізуючи відмінні та спільні риси, але в них немає прямого зв'язку із критеріями ціннісних стандартів. В інших оцінних дослідженнях розглядають тільки якості освітньої ситуації. Будь-яке дослідження має на засадах компромісу поєднувати протилежні положення всіх поданих тут опозицій, а не базуватися на чомусь одному.

Попереднє вивчення - реагування. Дослідження визначаємо на підставі спостережень над діяльністю та встановлення вимог учасникам програми. Попереднє вивчення орієнтується на завдання, гіпотези й очікування, термінологія його абстрагована. Експерти, які проводять попереднє вивчення, знають, чого вони шукають, і складають своє дослідження так, щоб виявити це. Дослідження-реагування зосереджуються навколо явищ, з якими зіткнулися експерти - часто несподівано - під час виконання програми.

Холістичне - аналітичне. Дослідження у сфері оцінювання розрізняють на основі того, як вони трактують програму як цілісність, визначаючи схематичні кордони, характерні для нетехнічних наук. Поширеним підходом у дослідженні соціальних наук є зосередження на невеликій кількості ключових характеристик. Вивчення всієї програми часто використовується для того, щоби зберегти її цілісність, а багатоскладовий аналіз ліпше визначає зв'язки між величинами.

Внутрішнє - зовнішнє. Важлива відмінність у вченнях про оцінку полягає в тому, чи їх проводить персонал установи, яка відповідає за програму, чи сторонні люди. Вони відрізняються тим, наскільки формально/неформально підходять до оцінювання, наскільки вільно можуть експерти виносити питання і трактувати результати, як будуть впроваджуватися зміни в навчальних планах.

Ці вісім аспектів не дають 256 різних моделей у сфері оцінювання. Багато з них накладаються за суттю та за частотою використання. Наприклад, «внутрішнє» оцінювання скоріше проміжне, а не підсумкове, у формі опису, а не судження. Ці характеристики та співвідношення особливо корисні, коли оцінювання відбувається за стандартним зразком. У нових ситуаціях оцінювання ключові виміри та комбінації можуть бути різні.

Моделі оцінювання

Хоча історію питання сучасного оцінювання було викладено в попередньому розділі, ця інформація неповна. Зрештою подана книжка не ставить за мету такий аналіз. Ті, хто цікавляться цим процесом докладніше, можуть звернутися до книги Дейвіда Хемілтона «Оцінювання навчальної програми» та його наукової статті про походження й розвиток оцінювання навчальної програми. Достатньо сказати, що розвиток освітнього оцінювання має тривалу історію, яка є свідком руху «оплати за результати» в Англії й Уельсі наприкінці ХІХ сторіччя, розвитку тестування на визначення коефіцієнта розумового розвитку (після виходу праці Байнета на початку ХХ сторіччя), прийняття в освітніх колах сільськогосподарської схеми Фішера у 1930 роках.

Проекти оцінювання зазвичай вважали «моделями», що відображають своєрідний метод або підхід до проблеми оцінювання. Ці моделі називали за ім'ям їхніх авторів (наприклад, модель підтримки Стейка), за проблемами, які вони висвітлювали (наприклад, модель підтримки Стейка), за проблемами, які вони висвітлювали (наприклад, модель від супротивного), або і за ім'ям ученого, і за проблемою (наприклад, модель Стаффлбіма «Зміст, інформація, процес, результат»). Особисто я не вважаю, що збільшення кількості таких моделей приносить велику користь. Вони не гнучкі, обмежують самостійність експертів та перешкоджають еклектиці.

Для того щоб доповнити аналіз моделей оцінювання, маємо розглянути характерну британську систему моделей. Цю інформацію подає Деніс Лотон, який виділяє шість моделей оцінювання навчальної програми, що іноді частково збігаються:

1. Класична (або сільськогосподарсько-ботанічна) модель.

2. Дослідницько-розвивальна (або промислова/фабрична) модель.

3. Демонстраційна (або антропологічна) модель.

4. Інструктивна (або політична) модель.

5. Професійна модель (або модель «учитель як дослідник»).

6. Ситуаційна модель (або модель опису проблемних ситуацій).

Класична та дослідницько-розвивальна моделі демонструють традиційне попереднє й підсумкове тестування контрольних груп, експериментальній підхід до освітніх досліджень. Демонстраційна та інструктивна моделі, як ми вже зазначали і як буде зазначено далі, ґрунтуються на працях Парлетта, Хемілтона і МакДоналда відповідно. Модель «учитель як дослідник» асоціюється із працею Стенхауза, а модель вивчення фактів репрезентує позицію так званих експертів «нової хвилі».

Аналіз Лотона якраз відповідає історичному оглядові розділу 1, шість підходів, які Лотон розкриває майже в хронологічному порядку, позначають основні напрями розвитку оцінювання в післявоєнний період, за винятком останніх років. Я також погоджуюся з тим, що його моделі частково збігаються і представляють два або три, а не шість окремих підходів. Але ще раз нагадую, що цей перелік допомагає зрозуміти сферу дослідження.

Незважаючи на мої дещо критичні зауваження стосовно моделей цього підрозділу, нижче хотілося б докладніше розкрити чотири підходи. Спочатку прокоментую недоліки класичного або сільськогосподарсько-ботанічного підходу, тоді коротко розгляну ті інші, на мою думку, дуже важливі підходи.

Класичний або сільськогосподарсько-ботанічний підхід

Лотон уважає, що експерт, який працює в цій моделі:

1. Перевіряє дві групи учнів за навчальною програмою.

2. Використовує нові методи викладання в одній із цих груп.

3. Знову проводить перевірку.

4. Порівнює вивчення в експериментальній групі з результатами учнів у контрольній групі.

Також виділено п'ять завдань дослідницько-розвивального оцінювання:

1. Трансформувати узгоджені цілі в конкретні, вимірні поведінкові результати.

2. Створити відповідні навчальні кваліфікації.

3. Скласти тести, щоб визначити рівень знань учнів.

4. Провести тестування у класах, використовуючи нову програму.

5. Обробити результати, щоби забезпечити експертів, які створюють нову програму, засновників і потенційних користувачів проекту корисною інформацією.

Хоча ці підходи дуже поширені, вони мають деякі суттєві недоліки для експерта, діяльність якого спрямована на розвиток. Причина популярності цих підходів - простота використання і те, що вони розкривають результати та засоби, причинно-наслідковий зв'язок, прямолінійний і бюрократичний аналіз того, що цікавить керівництво проекту. Сумнівною для нас здається можливість цих підходів поглиблювати аналіз. Підхід «не зважає на основні відмінності між людьми та рослинами, а саме на те, що люди змінюють свою поведінку під час спостереження, а капуста - ні». У тому ж дусі Парлетт і Хемілтон порівнюють експерта, який проводить сільськогосподарсько-ботанічне дослідження, із «критиком, який рецензує п'єсу на основі сценарію й кількості оплесків, не проглянувши самої вистави».

У 1930 роках учені освітньої галузі, бажаючи поєднати дослідження з діяльністю, використовували дуже успішні «сільськогосподарсько-ботанічні» моделі Р. А. Фішера. Основною ідеєю моделей Фішера є те, що до експериментів залучають учасників, які звичайно поділяються на контрольні й експериментальні групи, результати експерименту спеціально узагальнюють для цільової аудиторії. Головне те, що вибірку учасників формують випадково і вважають її репрезентативною вибіркою цієї цільової аудиторії.

Стенхауз так описує підхід Фішера: сильною стороною парадигми Фішера є визнання випадкового вибору учасників, вибір проводиться так, що кожен представник цільової аудиторії має однаковий шанс потрапити в число учасників, тому що це результат випадку...

Звичайно, цей короткий опис - занадто спрощений. Розкриті вище підходи часто збігаються. У різних авторів і різних експертів стиль різний. Кожен учений визнає, що один підхід не ідеальний для всіх цілей. Будь-яке дослідження може охоплювати декілька підходів. Ця таблиця демонструє спрощений підхід. Вона має на меті показати типові відмінності між сучасними видами оцінювання.

Результатом такого експерименту є визначення ймовірності того - при тому, що інші умови рівні - яке насіння, добриво чи кількість води дасть у результаті більший урожай... Дослідники використовують модель Фішера під час упровадження експериментальних методів в оцінювання процесу викладання й навчальної програми у школах. Ми припускаємо, що методика викладання або навчальна програма може бути випробувана в порівнянні, так само як ми можемо випробувати насіння або добриво в сільському господарстві, наприклад, методику можна перевірити на врожаї без реального теоретичного підґрунтя.

Цей підхід до освітнього дослідження проблематичний, особливо коли його результати застосовувати у класі. По-перше, неймовірно важко обрати випадкових учасників в освітній ситуації (наприклад, випадковий вибір шкіл, учнів і вчителів). По-друге, існує безліч суттєвих характеристик школи і класу (наприклад, культура спільноти, особистість учителя, шкільний етос, соціоекономічна ситуація тощо), які впливають на результати. По-третє, важко визначити критерії оцінювання ефективної роботи класу або школи. Навіть якщо вдається подолати ці труднощі, існують дві глибші проблеми, які стосуються природи освітньої діяльності.

По-перше, сільськогосподарсько-ботанічний підхід ґрунтується на вимірюванні величини врожаю (тобто скільки ми можемо зібрати з ділянки землі). Це вимірювання не придатне для освіти. Як учителі, ми зацікавлені в індивідуальному прогресі учнів, а не в загальних результатах класу або школи. Ми наголошуємо на використанні різних методів навчання, для того щоб задовольнити потреби окремих учнів і допомогти їм досягнути вершини їхніх потенційних можливостей. Стенхауз так описує цю проблему: «Учитель - це садівник, який по-різному ставиться до різних рослин, а не фермер великого господарства, який стандартно вирощує стандартні рослини».

Друга глибока проблема стосується усвідомлення діяльності. Взаємодія «учитель - учень» або «учень - учень» підвищує ефективність навчання, яка не є наслідком стандартних методів, а того, що і вчителі, і учні усвідомлюють свою діяльність. Усвідомлену діяльність неможливо стандартизувати за допомогою контролю або вибору.

Лотон указує ще й на інші проблеми. Він правильно зазначає, що значення результатів тестування часто переоцінюють. Лотон також указує на то, що такий вид експерименту часто ґрунтується на помилкових висновках, тому що тести відштовхуються від різних припущень про навчання, тому під час розгляду результатів тестування ми не порівнюємо те саме. Класичний або цільовий підхід сприймає реальність обмежено й лінійно, тому експерт, потрапивши в пастку цього підходу, не може розвивати навчальної програми.

Демонстраційне оцінювання

Незважаючи на прагнення бути еклектичним у підходах до оцінювання, мушу відзначити, що демонстраційне оцінювання - ліпший підхід до оцінювання, ніж традиційні експериментальні моделі. У своїй праці Парлетт і Хемілтон описують цей підхід як альтернативу традиційним формам оцінювання, бо він ураховує ширший контекст, у якому функціонують освітні програми. Його головна мета - опис та інтерпретація, а не вимірювання та передбачення.

Головним для розуміння зміни парадигми, яка передбачає сприймання демонстраційного оцінювання, є поняття «інструктивної системи» та «навчального рівня». «Інструктивна система» - це представлення у програмі структури викладання, яка включає серію педагогічних припущень, нову навчальну програму й докладну інформацію про методи та засоби. Хоча все це вже було розглянуто в оцінюванні, проте проігноровано деталі впровадження та соціопсихологічного довкілля, в якому працюють учителі й учні. «Навчальний рівень» - це ланка культурних, соціальних, інституційних і психологічних рис, які по-різному взаємодіють й утворюють унікальний набір обставин, що нашаровуються на навчання та викладання. Демонстраційне оцінювання передбачає розуміння цих понять та їхньої взаємодії.

Демонстраційне оцінювання - це загальна стратегія дослідження, мета якої бути адаптованою та еклектичною, а її методи мала б визначати наявна проблема. Як стратегія демонстраційне оцінювання має три характерні стадії:

1) спостереження;

2) дослідження;

3) тлумачення.

На початку дослідник ознайомлюється зі щоденним станом того, що він вивчає. Ознайомившись із першою стадією, на другій дослідник збирає гіпотези, і його діяльність стає зосередженою, спрямованою, систематичною. На третій стадії, побудувавши гіпотези, дослідник установлює загальні принципи, виділяючи причину та наслідок, розглядаючи індивідуальні дані в ширшому контексті тлумачення. Відштовхуючись від величезної бази даних, дослідник зосереджується на проблемах, що дає змогу сфокусувати увагу на унікальних і непередбачуваних явищах.

У цих трьох стадіях утворюється інформаційний зріз, який складається з даних, отриманих із чотирьох джерел:

1. Спостереження. Фаза спостереження займає центральне місце в демонстраційному оцінюванні.

2. Співбесіди. Виявлення думок учасників вирішальне для встановлення впливу нововведення.

3. Анкетування та результати тестів. Зосереджуючись на спостереженні та співбесіді, експерт не ухиляється й від письмових методів.

4. Документи. Висвітлити мету та зміст інновації часто можна за допомогою складної та докладної роботи над документами.

Головна мета оцінювання, на думку Парлетта й Хемілтона, - це взяти участь у прийнятті рішень. З огляду на неоднорідність аудиторії (учасники програми, спонсори, зацікавлені сторонні особи тощо), експерт не може прийняти рішення про майбутнє нововведення. Тому демонстраційне оцінювання зосереджується більше на зборі інформації, ніж на компоненті оцінювання для прийняття рішень. Його завдання - забезпечити всебічне розуміння складної реальності (або реальностей), які оточують програму, словом, «пояснити». У звіті експерт намагається загострити дискусію, вирішити проблеми, відокремити важливе від незначного, що підносить дебати на новий, вищий рівень.

Короткий виклад демонстраційного оцінювання подано в тексті Парлетта й Хемілтона, але в ньому не враховано недоліків цього методу. Критикуючи підхід, Лотон вказує, що демонстраційне оцінювання - це спірна й неточна методика, з тенденцією до суб'єктивності, невідповідності функцій і надмірного ускладнення термінології. Критика Еткінсона та Деламонта категоричніша та глибша.

Суть їхньої критики можна відчути в цьому уривку:

Відносні недоліки «демонстраційного» підходу показують, що експерти, які ним займаються, є, як свідчить останній аналіз, такими ж обмеженими, як і прибічники розкритикованого сільськогосподарсько-ботанічного підходу. Без правильно сформульованої теоретичної та методичної бази експерти не могли і не зможуть удосконалювати та створювати зрозумілу й містку методику дослідження. Вони не здатні проаналізувати короткочасне існування будь-якої програми нововведень у навчальній програмі, а просто заміняють один різновид нетеоретичних відомостей, які ґрунтуються на спостереженні й співбесіді, іншим, який ґрунтується в основному на результатах тестів.

Хоча я підтримую критику демонстраційного оцінювання (мій аналіз підтверджує обмеження у використанні цього підходу), однак метод Парлетта йХемілтона подає досить професійно ту кількість освітніх параметрів, у яких працює експерт. У наступних розділах я продемонструю, що методи експертів стали стратегічними, свідомими та точними.

Матриця Стейка

Я вважаю, що модель «Підтримка освітнього оцінювання» придатна для розуміння й організації оцінювання. Вона також слугує засобом застосування критеріїв і винесення рішень. Не задоволений «об'єктивними» підходами до оцінювання (стандартизовані тести), Стейк запропонував модель підтримки для того, щоб розкрити складний і динамічний характер освіти. Він розрізняє антиседенти, тобто попередні умови, які можна зіставляти з результатами, транзакції, те, що насправді трапилося - «послідовність дій, які складають процес освіти», і результати, тобто вплив нововведення на учасників. У моделі він протиставляє наміри в кожній фазі спостереженням над тим, що насправді трапилося. Він правильно передбачає, що існують (або повинні існувати) взаємовідносини між намірами та спостереженнями в кожній фазі, логічний хід подій через фази, який пов'язаний з намірами, та логічний емпіричний хід подій через фази, який пов'язаний зі спостереженнями. Зібрані й проаналізовані описові дані висвітлюють ситуацію, яка є об'єктом дослідження. Результатом цього методологічного підходу є описовий аналіз освітньої програми, яка могла би бути відносно несуперечливою (якомога об'єктивнішою) і демонстраційною (яка пов'язує наміри та спостереження або інші форми отримання даних, проаналізовані обумовленим способом).

У своїй моделі Стейк також пропонує матрицю суджень, яка дає можливість використати різноманітні критерії, щоб описати освітню програму. Після завершення та можливого обговорення описової матриці з «користувачем» експерт переходить до більш спірної ділянки - матриці суджень. Комірка стандартів або критеріїв може бути узгоджена заздалегідь і буде змінюватися відповідно до ситуації. Національне або місцеві управління, освітня теорія або науково-дослідна робота, узгоджена практична робота можуть установити норми, на основі яких оцінюють діяльність навчальних програм. Після визначення та встановлення норм в описовій матриці судження стають очевидними. Принаймні підстави для суджень чітко визначені й відкриті для дослідження та обговорення.

Найбільшою перевагою матриці Стейка є те, що він розрізняє свідчення та судження. Позаяк оцінювання є політизованою діяльністю (у великому та невеликому масштабах), такий підхід зменшує негативний вплив і посилює захист, особливо якщо описова матриця й матриця судження заповнені незалежно одна від одної, і опис проводять упровадженням стандартів. З погляду розвитку корисно, якщо норми та критерії, які використовуються в матриці суджень, погоджені з «клієнтом» і якщо судження, що ґрунтуються на використанні матриць, виникають унаслідок співпраці.

Оцінювання та поліпшення роботи школи

Прокоментувавши матрицю Стейка, ми переходимо до обговорення проблеми оцінювання та поліпшення роботи школи. Нещодавно Пітер Холлі і я досліджували зв'язки між оцінюванням і поліпшенням роботи школи (Holly and Hopkins, 1988). Ми встановили три підходи до оцінювання й поліпшення роботи школи, а саме: оцінювання поліпшень у роботі школи, оцінювання для поліпшення роботи школи, оцінювання як поліпшення роботи школи (див. мал. 2). Кожний підхід має власне методичне підґрунтя. Такий аналіз удосконалює нашу здатність працювати ефективно в кожній з цих сфер і глибоко розуміти роль оцінювання у процесі поліпшення роботи школи.

Оцінювання поліпшення в роботі школи часто набуває форми вимірювання досягнення цілей. У так званій традиції Тайлера таке оцінювання, спрямоване на «продукт», кількісне та статистичне. Ця ментальність, спрямована на продукт, дещо змінилася на початку 1970 років, новий напрям оцінювання як процесу часто ґрунтувався на якісних і натуралістичних методах дослідження і продовжував пошук «результатів процесу». Тому постійно наголос падав на результати нововведень, передбачені або непередбачені, головні або «побічні» впливи.

Суть поняття оцінювання для шкільного розвитку можна найкраще збагнути із загальнозрозумілого виразу «проміжне оцінювання». Це оцінювання, яке проводиться, щоби втілити зміни у практику. Головною рисою такого підходу до оцінювання є те, що він спрямований на зміни. Однак сам собою він не є процесом змін, як і оцінювання, як поліпшення роботи школи або оцінювання поліпшень у роботі школи, тому що оцінювання орієнтоване на зміни та його основна мета - поліпшення. Отже, оцінювання та зміни - це різні поняття.

Оцінювання як поліпшення та вдосконалення в ролі експерта й користувача чітко пов'язані. Оцінювання та поліпшення роботи школи за своїми намірами та цілями, а також за підходами до шкільного само оцінювання, такими як проект «Вказівки про проведення шкільної атестації і внутрішній розвиток школи», - аналогічний процес.

Головною відмінністю між оцінюванням поліпшень у роботі школи, оцінюванням як поліпшенням роботи школи й оцінюванням для поліпшення є те, що різні цілі потребують різних методик і мають різні наслідки. Для того щоб наша діяльність приносила максимальну практичну користь, нам треба чітко розрізняти ці аспекти роботи. Ми не маємо на увазі, що один із підходів ліпший за інший, у процесі роботи вони базуються один на одному. Якщо добре провести оцінювання поліпшень у роботі школи, це поліпшить роботу, а цей підхід, своєю чергою, слугує підставою для оцінювання як поліпшення роботи школи. Усвідомлення цих відмінностей допомагає експертові, який проводить оцінювання змін, ефективніше працювати, але розгляд відмінностей повинен бути частиною фази моделювання оцінювання.

Добре проведене оцінювання рідко є випадковим явищем. Тобто так само як геній складається на 99 % із важкої праці й на 1 % із таланту, так і ефективне оцінювання ґрунтується на підставі аналогічних щоденних і загальноприйнятих видів діяльності. Часто ми не зважаємо на очевидні загальноприйняті види діяльності, що завдали шкоду успішному оцінюванню. Тому цей розділ присвячений питанням стадії моделювання та планування оцінювання.

МОДЕЛЮВАННЯ ТА ПРОВЕДЕННЯ ОЦІНЮВАННЯ

Коли я аналізував підрозділи цього розділу, то хвилювався, щоб мимоволі не нав'язати думки, ніби фаза оцінювання складається із серії окремих і послідовних кроків. Насправді всі ці види діяльності перехрещуються й базуються один на одному. Хоча різні види діяльності, які належать до процесу моделювання оцінювання - наприклад, укладання контракту, підготування моделей і планів оцінювання, вирішення етичних питань, - для спрощення розуміння описані окремо, варто взяти до уваги це застереження. Після обговорення питань, перелічених вище, наприкінці розділу дано від Яна Штронаха дещо розважальну пораду, як проводити практичне оцінювання.

КОНТРАКТ ОЦІНЮВАННЯ

Процес оцінювання здебільшого поділяю на чотири фази:

  • ініціювання;
  • збір даних або розвідка;
  • аналіз даних;
  • повідомлення даних або зворотний зв'язок.

Мені здається, що більшість експертів з оцінювання приділяють надто багато часу на збір даних і цим завдають шкоду іншим трьом фазам. Нижче я наведу аргументи, які підтверджують важливість аналізу та зворотного зв'язку, але найголовніше - виділити достатню кількість часу на початок, визначення контракту оцінювання.

Контракт оцінювання надзвичайно важливий у встановленні параметрів, напряму та відповідної атмосфери для проведення процесу оцінювання. Звичайно, слово «контракт» - неправильно вжитий термін. Цей процес більше нагадує угоду, ніж справжній контракт, хоча зберігає деякі його риси, а саме: визначення запитань, обговорення відповідей, визначення узгодженої позиції. Час, витрачений на цій стадії, часто рятує від метушні, яка може виникнути пізніше.

Наводжу запитання, які потребують відповідей на стадії контракту:

  • Що ви оцінюєте?
  • Чому ви оцінюєте?
  • Коли ви оцінюєте?
  • Кому потрібний процес оцінювання?
  • Як буде проводитися процес оцінювання?
  • Як використати дані оцінювання?

Ці запитання повинні ставити собі не тільки призначені експерти, а й ті, хто уповноважує проведення оцінювання. Хоча ці запитання можуть змінюватися, важливо визначити, хто є учасниками, у чому вони зацікавлені, як вони визначають основні завдання, чи є в них приховані інтереси. Отже, для тих, хто проводить або керує оцінюванням, важливо впорядкувати перелік запитань, які треба обговорити на початковій стадії. Крім цього переліку відносно загальних запитань варто вирішити три проблеми: роль експерта, визначення критеріїв і наявних ресурсів.

РОЛЬ ЕКСПЕРТА

Те, що я маю на увазі під роллю експерта, це його/її позиція стосовно прийняття рішень. Вище я розкрив думку Кронбаха, що оцінювання є насамперед інформуванням про прийняті рішення. Прийняття рішення не є завданням експертів, але їм варто давати інформацію для того, щоби прийняти рішення, і, як зазначає МакДоналд, це має політичний і рольовий підтекст. На його думку, експерту слід чітко визначити політичне спрямування оцінювання й відповідно реалізувати контракт. МакДоналд визначає три «ідеальні типи» у політичній класифікації оцінювання:

1. Бюрократичне оцінювання - вид оцінювання, під час якого експерт дає інформацію тим урядовим організаціям, під безумовним контролем яких знаходиться оцінювання. Експерт ураховує правила управління і дає інформацію, щоби допомогти досягнути цілей управління. Його/її роль - це роль консультанта; головне - задовольнити потреби клієнта; результати оцінювання стають власністю бюрократів. Експерт отримує плату за надану інформацію й не несе відповідальності за остаточне рішення.

2. Автократичне оцінювання - оцінювання за обмеженого контролю, коли експерт приймає самостійні рішення щодо поверхневого аналізу діяльності, зважаючи на бюрократичні рекомендації. Оцінювання спрямоване на переваги освітнього процесу, роль того, хто проводить оцінювання, - це роль експерта. Методи експерта повинні бути законними та надійними, позаяк його/її діяльність ґрунтується на дослідженні академічної спільноти. Контракт гарантує повне невтручання, і експерт зберігає право власності на отримані дані.

3. Демократичне оцінювання - це оцінювання для якоїсь спільноти. Спонсорування, яке здійснює група, не дає їй права на вказівки або приховування інформації. Демократичний експерт визнає цінність плюралізму й намагається представити широкий діапазон інтересів у підбитті підсумків. Найцінніше для нього - інформоване населення. Експерт працює як брокер в обміні інформацією. Техніка збору інформації та її представлення мусять бути зрозумілими професіоналам. Інформантам гарантовано конфіденційність і контроль над поданою інформацією. Звіт про результати проведеної роботи не обов'язковий, а критерієм успіху є кількість людей, які користуються результатами оцінювання. Результати оцінювання набувають статусу бестселера. Ключовими поняттями демократичного оцінювання є конфіденційність, обговорення та доступність, а ключовим положенням - «право знати».

Ці типології є ідеальним варіантом і ніколи не трапляються в чистій формі. Однак вони допомагають визначити в контракті владні відносини та цілі оцінювання та діяти згідно з ними.

ВИЗНАЧЕННЯ КРИТЕРІЇВ

Друга проблема пов'язана з політичним характером оцінювання і стосується визначення його критеріїв. Мене, так само як інших експертів, звинувачували в застосуванні невідповідних критеріїв оцінювання. Це переважно реакція тих реципієнтів, яким не подобається те, що я сказав чи написав. Для того щоб уникнути цих проблем (хоча важливо розуміти, що оцінювання - неоднозначна діяльність), я використовую критерії дескриптивного аналізу або узгоджую критерії, які застосовують на стадії контракту. У деяких видах оцінювання ця процедура небажана або неможлива, тому що критерії під час оцінювання перебувають у розвитку. Тоді на стадії контракту треба взяти до уваги, що критерії будуть розвиватися, тому їх, а також загальні дані варто чітко сформулювати в підсумковому звіті. Хоча жодна зі стратегій не допоможе уникнути критики або негативної реакції щодо звіту про оцінювання, однак вони виправдовують такі коментарі.

ЗАСОБИ

Третє питання, яке потребує вирішення на стадії контракту, стосується засобів. Сучасні проекти, які одержали цільове фінансування, як відомо, фінансуються тільки частково, і це неминуче порушує процес оцінювання. Клієнту потрібно знати, що він/вона отримує за свої гроші, а експерту - бути впевненим, що підприємство життєздатне. Такі обговорення коштів і прибутку допомагають наблизити оцінювання на стадії контракту до реального життя.

ВИЗНАЧЕННЯ ПИТАНЬ ДЛЯ ОЦІНЮВАННЯ

Визначення питання дуже допомагає у фокусуванні оцінювання. У деяких видах оцінювання питання очевидні й безпосередні, в інших вони є частиною оцінювання. У першому випадку експерт проводить оцінювання без попередньої підготовки, у другому - потрібна попередня робота. Звичайно, у поглядах на цю проблему немає одностайності. Зокрема Петтон вважає, що визначення питань і критеріїв допомагає чіткіше встановити мету оцінювання, уникнути збору неправильної інформації та дає змогу проаналізувати складові вдосконалення. На думку інших учених, зокрема Х'юба та Лінколна, збір інформації підштовхує до виникнення нових критеріїв і питань, а перевірка проблем поліпшує оцінювання.

Не думаю, що експерти повинні вибирати якусь одну з двох ситуацій. Хоча я вважаю, що питання допомагають експерту зосередитися, саме проблема оцінювання визначає ситуацію: «у «закритому оцінюванні» питання визначені, у «відкритому» їх розробляють. «Закрите» оцінювання - це оцінювання, в якому експерт отримує перелік питань для того, щоби провести роботу. Прикладом контракту «закритого» оцінювання є перелік запитань до мене. Маючи таку початкову базу, легко розробити план для оцінювання.

Процес установлення запитань оцінювання складний. Один зі способів визначити запитання - це поставити ще більше запитань. Важкі, але нереалістичні запитання до освітньої програми такі:

  • Які зміни відбулися в базі знань учасників?
  • Які зміни відбулися в рівні й використанні вмінь учасників?
  • Які зміни відбулися в думках і почуттях учасників?
  • Які зміни відбулися в організаційній діяльності місцевого управління освіти/коледжу/шкіл?

Методика планування оцінювання

1. Причині, цілі та мотивація:

  • Хто є ініціатором оцінювання?
  • Які причини, щоб ініціювати оцінювання?
  • Кому потрібна інформація, отримана внаслідок оцінювання?
  • Які причини для того, щоб отримати інформацію?
  • Хто ще отримає інформацію?

2. Цінність:

  • Які дії або рішення можуть випливати з оцінювання?
  • Які дії або рішення можна передбачити?
  • Які перешкоди існують у плануванні та проведенні оцінювання?

3. Інтерпретація завдань оцінювання:

  • Якої думки учасники про природу оцінювання?
  • Яка існує система прийняття рішень і як оцінювання відповідає їй?

4. Предмети оцінювання:

  • Що підлягає оцінюванню?
  • Яка інформація для цього потрібна?

5. Експерти:

  • Хто буде збирати інформацію?
  • Хто буде координувати процес?
  • Хто буде готувати звіти?

6. Методи оцінювання:

  • Чи використані методи відповідають потрібній інформації?
  • Яких засобів, обладнання, підтримки вимагають задані методи?
  • Чи методи збору даних відповідатимуть тим, хто бере участь у забезпеченні інформації?

7. Період часу:

  • Який період часу потребує оцінювання?
  • Чи за цей період можна зібрати й опрацювати потрібну інформацію?

8. Контролювання інформації:

  • Яка процедура буде керувати збором і поширенням інформації?
  • Кого вважатимуть власником інформації?

9. Критерії для прийняття рішень:

  • Хто встановлює критерії для використання інформації?
  • Чи буде потреба або можливість застосовувати альтернативні критерії?

10. Звітування:

  • У якій формі проходитиме звітування?
  • Чи учасники будуть ознайомлені зі звітом перед його завершенням?
  • Для кого призначений звіт?
  • Які кроки зроблено для того, щоб визначити, чи звіт досягнув визначених користувачів?

МОДЕЛЮВАННЯ ОЦІНЮВАННЯ

Підхід до моделі оцінювання, який я використовував інтуїтивно, нещодавно детально описала С. Лаукс-Хорслі та її колеги. Цей підхід не єдиний спосіб планування оцінювання, але він є корисною точкою відліку, особливо для не надто досвідченого експерта.

Цей процес моделювання передбачає п'ять дій:

1. Узгодити питання оцінювання. Важливість визначення питань для того, щоби встановити мету оцінювання, уже було обговорено. Також важливо не бути занадто амбіційним щодо кількості й діапазону поставлених запитань.

2. Визначити інформаційні потреби та методи збору інформації. Коли запитання поставлені, чітко визначені та сформовані за пріоритетом, треба розробити способи відповіді на них. Для кожного запитання оцінювання варто використати можливі джерела інформації та методи її збору. Що більше джерел і методів було використано, то більша ймовірність того, що інформація буде достовірною. Використання простої схеми - це один зі способів структурувати цю важливу стадію моделювання (таблиця 3).

3. Зібрати та проаналізувати інформацію. Ця діяльність повинна йти паралельно зі збором даних. Якщо спочатку експерти аналізують отримані дані, це дає можливість шукати нові джерела інформації й допрацьовувати нові та непередбачувані результати.

4. Звіти. Зворотний зв'язок зазвичай швидкий, повинен узгоджуватися з інтересами аудиторії й передбачати, за потребою, подальшу діяльність.

5. Поточний аналіз. Важливо аналізувати виконану роботу і вносити в неї поправки. Також наприкінці кожного циклу варто проводити докладне оцінювання.

Описане вище оцінювання занадто лінійне та раціональне. Насправді деякі із зазначених кроків накладаються і час їхнього виконання збігається. Часто буває, що запитання потребують додаткового опрацювання, а також під час оцінювання виникають непередбачувані матеріально-технічні проблеми. Це неминуче, тому експерти мають бути готовими до невдач. Насамперед треба встановити реальний час виконання, переконатися, що ніхто не очікує забагато й за швидко, і зважати на всі проблеми, які можуть виникнути.

Думаю зробити собі ще два зауваження стосовно цього процесу. По-перше, між питанням оцінювання, зібраними даними, аналізом, зворотним зв'язком і дією повинен існувати логічний зв'язок або перехід. Завдяки цьому оцінювання здобуває міцність, тому що кожна стадія базується на іншій. По-друге, варто переконатися, що запитання оцінювання важливі для школи та учасників оцінювання. Оцінювання - довготривалий процес; його результати повинні бути відповідними, забезпечувати реальні потреби та надавати корисну й суттєву інформацію. Хоча цей підрозділ головним чином стосувався роботи школи, його основні принципи можна використати в різних видах оцінювання, спрямованого на розвиток.

ЕТИЧНІ ПРОБЛЕМИ

Оцінювання - особиста діяльність, що часом несе потенційну загрозу. Відповідно до видів діяльності, описаних у цьому розділі, і почуттів, які вони викликають, експерти у своїй роботі дотримуються моральних правил, правил, установлених не законом, а людяністю й турботою. Експерт уповноважений втручатися у професійне життя людей, тому завжди варто зважати на конфіденційність.

Деякі засади не висвітлюють винятково етичних проблем, а мають перспективний підтекст. Адже на практичному та глибинному рівні мораль керує поведінкою і стає її частиною.

Дотримуйтеся протоколу: переконайтеся, що учасників проконсультовано, проінформовано й отримано потрібний дозвіл і згоду відповідальних осіб, комітетів і владних структур.

Залучайте учасників: залучайте інших, які причетні до процесу поліпшення роботи школи, до змін форми роботи.

Проводьте обговорення з усіма, від кого залежить процес: не кожен хоче брати пряму участь; у своїй роботі ви повинні зважати на обов'язки та побажання інших.

Повідомляйте про досягнення: проводьте відкриту роботу та сприймайте всі пропозиції. Це допоможе передбачати несподівані й невидимі розгалуження процесу, колеги повинні мати можливість висловити свій протест.

Отримайте дозвіл перед початком спостережень: отримайте згоду для того, щоби проводити записи діяльності своїх колег або інших учасників (спостереження за власними учнями не входить у цей принцип, якщо ваша мета - удосконалити навчання й викладання).

Отримайте дозвіл на вивчення картотек, кореспонденції та інших документів: знімайте копії тільки після отримання відповідного дозволу.

Аналізуйте роботу інших людей: дайте можливість тим, чию роботу аналізують, перевірити ваші звіти на справедливість, відповідність і точність.

Ураховуйте погляди інших учасників (наприклад, стосовно обміну інформацією): дайте можливість учасникам інтерв'ю, зборів і письмових обмінів інформацією вимагати поправки, які підвищують справедливість, відповідність і точність.

Отримайте дозвіл на використання цитат: із письмових записів, спостережень, уривків з аудіо- та відеозаписів, рішень, висновків або рекомендацій, висловлених у звітах (письмових або на зборах).

Обговорюйте звіти для різних адресатів: Пам'ятайте, що різні адресати потребують різних звітів; неформальний словесний звіт на засіданні кафедри може бути недоречним для зборів педагогічного колективу, він має відрізнятися від звіту для ради, журнальної статті, газети, листа-повідомлення батькам; будьте консервативними у своїх судженнях, якщо ви не можете проконтролювати, хто буде адресатом доповіді.

Дотримуйтеся конфіденційності.

Зберігайте за собою право звітувати про виконану роботу: якщо учасники процесу задоволені справедливістю, відповідністю та точністю повідомлень, які їх стосуються; якщо звітна доповідь не створює труднощів для учасників, тоді її варто оприлюднити без страху бути звинуваченим у порушенні конфіденційності.

Нехай принципи вашого процесу будуть логічними та відомими для всіх: учасники вашого проекту дослідження, перед тим як розпочати роботу, мусять погодитися із принципами та усвідомити свої права у процесі.

ПРАКТИЧНЕ ОЦІНЮВАННЯ

У цьому розділі я намагаюся окреслити основні кроки у плануванні оцінювання. На мою думку, це важливо, проте я не зазначив взаємозв'язку між усіма кроками. Щоби заповнити цю прогалину, друкую з дозволу Яна Штронаха його статтю «Практичне оцінювання». Вона презентує цікаву противагу загальноприйнятій логіці оцінювання. Я звернувся до Яна Штронаха із пропозицією підбити підсумок одноденної конференції, яка відбувалася кілька років тому і стосувалася оцінювання програми «Професійно-технічна освітня ініціатива» на місцевому рівні. Ось його відповідь на моє прохання:

«Мене попросили зробити підсумок одноденної конференції. Але я не зробив цього. Натомість я хотів допомогти місцевим експертам, які відчувають нестачу знань або досвіду для того, щоб вирішити завдання. Вони в такому ж становищі, як і я декілька років тому - недосвідчений учитель, який мало знає про оцінювання та професійну освіту і не може проаналізувати проект на рівні школи (важливо визнати свою некомпетентність). Отже, що допоможе їм? На мою думку, порада досить своєрідна. Можливо, іноді вона занадто категорична, невідповідна, неправильна чи нерозумна. Але ця порада пояснює модель оцінювання й висвітлює практичні питання, тому що на цій моделі експерти випробовували власні ідеї. Вона сприяє аналізові, навіть якщо сповнена протиріч, однак це не абстрактна розмова про методику та моральні питання.

У будь-якому разі це лише намір.

УПРОВАДЖЕННЯ

1. Не зважайте на літературу, що висвітлює тему проведення досліджень та оцінювання. У вас немає часу на пошуки методів або «моделей». Крім того, більшість статей занадто абстрактні, щоби бути корисними, - вони демонструють стиль, а не суть. Це розважальна література.

2. Плануйте оцінювання, тверезо аналізуючи наявні засоби (час, уміння, особисті якості), вимоги до вас у рамках проекту (іноді проекти потребують допомогти в тому, щоби поставити запитання) і проблеми, які виникають під час роботи. Проникайте всередину, а не досліджуйте лише ззовні. Правильно оцінюйте адекватність власного викладацького досвіду або знання ситуації - головне вміти розмовляти з учнями, персоналом, учасниками проекту, розуміти проблеми предмета, кафедри, розкладу занять.

3. Отримайте всю інформацію про проект як про освітнє, а не адміністративне явище, не звертайте уваги на бюрократичне довкілля, яким би незвичним воно не було. Це означає: ставте запитання, які стосуються освіти і спрямовані на характер учня, навчання у школі або на викладання предмета Х. Як можна подолати труднощі у профільному навчанні, які знання при цьому здобувають учні, як проходить обмін знаннями? Як учні «інтегрують» отриманий досвід у формальну та особисту навчальну програму? Які взаємовідносини у класі створюють однакові можливості для діяльності? Яке визначення має поняття «релевантність» у навчальній програмі професійно-технічних шкіл? (Неосвітній тип питання - скільки відсотків учнів уважають отриманий досвід корисним?)

4. Дізнайтеся про важливі галузі дослідження, зокрема профільне навчання. До цього також відносяться робота над проектами, їхнє ініціювання та спонсорування, діяльність програми «Професійно-технічна освітня ініціатива» у різних сферах, вивчення схожих проектів, таких як «Протоколи успішності». Деякі з нововведень упроваджують уже вдруге або втретє - варто звернути увагу на звіти з їхнього оцінювання. Використовуйте порівняльний метод у ключових сферах вивчення для того, щоби мати тло діяльності; розробляйте нові теми для подальшого дослідження (наприклад, 365 питань, щоб отримати загальне свідоцтво про середню освіту, було проаналізовано декілька разів: робочі схеми були поділені на кілька типів). Використовуйте ці проекти як джерельну базу. Вивчайте економно - відвідуйте семінари, використовуйте телефон, звертайтеся до інших проектів і проведеного оцінювання. Читайте стільки, скільки вам потрібно для дослідження.

5. Сформулюйте ключові питання і теми вашого проекту, які ґрунтуються на всьому сказаному вище. Будьте творчими - використовуйте нові ідеї, шукайте нових значень і думок (на що схожа програма «Професійно-технічна освітня ініціатива» - на модернізацію у Третьому світі, пам'ятник 2001 року, грошову одиницю освітньої теорії чи нову валюту?).

6. Варто мати джерело інформації та поглядів стосовно діяльності проекту. Це джерело, незалежне від політичного впливу проекту, має бути задіяним у проведення досліджень та інтерпретації.

7. Інтелектуальні проблеми «початку оцінювання» легко порівняти з дипломатичними. Правило перше: працюйте відкрито - бувайте у школах, розмовляйте неформально з учителями, відвідуйте їх удома, дізнавайтеся думку кожного про питання оцінювання, про те, як воно повинно проходити.

8. Будьте тактовними. Подолайте недовіру перед тим, як проводити у класі спостереження. Запропонуйте анонімне анкетування та розгляд отриманих даних. Обговоріть упровадження проекту з усім персоналом від керівництва (директора школи, голови кафедри, координатора програми «Профільно-технічна освітня ініціатива») до вчителя. Проаналізуйте і перевірте точність даних у зворотному порядку, щоб захистити інформантів. Пам'ятайте, що хоча ваша робота здається вам жахіттям через помилки, неточності, некомпетентності й невідповідності, для них це ніби оплачувана відпустка.

9. Становище у службовій ієрархії буде непомітно впливати на думку персоналу. Інформація, яку вони подають, перебуватиме під впливом цього становища. Не зважайте на ієрархію, ураховуйте погляди керівництва та персоналу.

10. Зважайте, що на оцінювання впливає багато чинників, але не переймайтеся цим занадто (пам'ятайте - якщо ви переймаєтеся, це не може не вплинути на оцінювання). Оцінювання може загрожувати «іміджу» проекту, звітності місцевого управління освіти, кар'єрі координатора, автономії директора школи, приватності вчителя тощо. Кожен має більшу владу, ніж ви, але не обов'язково більший вплив. Будьте готові до несправедливої критики та прислухайтеся до неї для того, щоб зрозуміти її політичне підґрунтя й очевидне значення, однак не вважайте, що перше передбачає останнє.

Отже:

І. Спонукайте до сприйняття незалежної ролі оцінювання. Створіть керівну групу оцінювання, яка би давала поради та захищала цілісність роботи. Розширте членство поза межами місцевого управління освіти та Комісії з обслуговування персоналу. Стороння людина може сприяти незалежності.

ІІ. Затрачайте більше часу, ніж ви вважаєте за потрібне, щоби пояснити, хто ви, на кого працюєте, у чому ви незалежні, як будуть використані дані, які права на них мають інформанти, які ваші особливі наміри. Не сподівайтеся на те, що письмові документи про ваше дослідження будуть проаналізовані, прочитані або усвідомлені.

ІІІ. Переконайте учасників проекту, що вам потрібно навчитися оцінювати так само, як їм потрібно навчитися впроваджувати зміни. Умовою цього є «навчання на помилках».

IV. Ураховуйте, що учасники, а особливо координатори проекту, часто перебувають під сильним тиском «продемонструвати проект». Імідж і реклама - невід'ємна частина цього. Не вважайте себе «апостолом правди на землі» - не втручайтесь у рекламу, а працюйте, навчайтесь відділяти уявний розвиток від справжнього. І не трактуйте цинічно координатора, вона/він провели більше безсонних ночей, ніж ви.

V. Будьте чесними. На вас чекає безліч небезпечних ситуацій. Три найпоширеніші - удавання, що ви розумієте, коли насправді не розумієте (утрата довіри); перебільшення надійності та важливості даних (утрата компетенції); зміна рішень для того, щоби пристосуватися до політичних віянь у проекті та за його межами (утрата чистого сумління). Ваші запитання в дослідженні повинні перевіряти ваші початкові припущення та цінності, а не просто орієнтуватися на них.

VI. Стежте за часом. Спочатку вам буде здаватися, що у вас багато часу, а потім ви почнете хвилюватися через те, що не видно кінця роботі. Така самодисципліна важка і для колишніх учителів, і для колишніх учнів. Два основні правила: складіть плани роботи та поділіть їх на дві частини; виділіть удвічі більше часу на аналіз і написання висновків. Отримання інформації часто швидке й відносно легке (наприклад, три дні на аудіозапис проведених у невеликих групах співбесід про досвід, отриманий під час роботи); але трактування, аналіз і запис даних - повільний і важкий процес (скажімо, три тижні на виконання цього завдання, зокрема подальший аналіз роботи вчителя/координатора/роботодовця).

VII. Будьте розсудливими у співпраці з іншими експертами. Найбільшою вашою помилкою може бути повторення вже дослідженого. Співпрацюйте не з досвідченими експертами, а з тими, які недавно досягли деяких успіхів у тій сфері, яку ви маєте намір досліджувати.

МОДЕЛЮВАННЯ ТА ВИКОНАННЯ

1. Уникайте думки про те, що інші експерти можуть бути досвідченішими. Люди можуть краще проводити оцінювання вперше, ніж уп'яте, коли вони творчі, уміють спілкуватися з дітьми, енергійніше працюють тощо. Експерти можуть багато знати про оцінювання, але не знати, як правильно його проводити.

2. Експерти визначають свої ролі, так само як діти вирішують, якими вони будуть, коли виростуть. Найактуальніша така рольова модель, як Антрополог або Вчений, та етична модель Жебрака та Злодія (відповідно). Учений, який отримує інформацію без попереднього обговорення, «об'єктивний», він проводить дослідження, установлює зв'язки та правила, намагається не спотворювати інформації. Антрополог звертається за дозволом на використання інформації, обговорює власну інтерпретацію з іншими, проводить дослідження окремих справ, намагається досягти розуміння й не перейняти поглядів інших.

3. Уникайте цього рольового поділу. Оцінювання повинно розірвати теоретичні пута. Ці два стилі не можуть сприяти розвиткові (надто малий, побічний і невчасний вплив).

4. Пам'ятайте про два основні міфи оцінювання - міф про учасників і міф про тих, хто приймає рішення. Усвідомте потребу провести обговорення проекту. Часто ті, хто працює над проектом, і вчителі не мають часу на аналіз, не знають механізмів зустрічі, не мають стимулу для того, щоби зробити свій внесок, тобто не бажають сідати у спільний човен тощо. Також організуйте ширше обговорення проблем проекту (таких як навчання, спрямоване на учня, навчальна програма із професійним нахилом, управління змінами). Не має потреби діяти в межах проекту, аналізувати та звітувати, впливати на зміни та негативно впливати на дані; також немає потреби проводити аналіз за межами проекту, розглядати його діяльність, використовуючи порівняльний і критичний методи. Тому використовуйте ці два підходи, будьте відкритими у своїй роботі для обох. Відкидайте звинувачення в тому, що ви не дотримуєтеся нейтральності або об'єктивності; ці підходи оманливі.

5. Проводьте двобічне вивчення проекту не тільки із зовнішнього та внутрішнього боку, а й згідно із творчим і підсумковим підходом. Це означає роботу над короткотерміновим завданням, яке сприятиме досягненню підсумкової мети.

Тема «Профільне навчання»

Якщо процес відбувається за такими кроками, він механічний. Тому його не обов'язково проводити в даній послідовності. Дії, передбачені в першій, другій, третій і четвертій колонках, сприяють розробленню нових питань і перевірці їхньої важливості на тлі старих і нових даних.

Щоб навести приклад описаної вище стратегії, візьмемо програму «Професійно-технічна освітня ініціатива» і дамо її школі. Одразу встановляться ворожі відносини. З імпресіоністичного погляду, це була би модель «вигнання», коли програму «Професійно-технічна освітня ініціатива» виселено на периферію. Існує модель, при якій школа бере гроші та втікає від відповідальності. Що ще? Звичайно існує проект «Марія Селесте», який використовують бездумно й безцільно. Як можна найкраще охарактеризувати ці типи?

8. Розкриті вище приклади не всеохопні та не обов'язкові. Розробіть власну стратегію для сприяння розвиткові, зберігаючи критичний аналіз процесу, наслідків і контексту. Невідповідність між «внутрішніми» та «зовнішніми» ролями може бути продуктивною, коли ми прагнемо позбутися деякої упередженості - принаймні упередженості глядача, який думає, що насправді розуміє, - та у створенні нового розуміння. Роль оцінювання завжди проблематична, вона потребує додаткового вивчення й піддається зворотному опитуванню.

9. Оцінювання, спрямоване на розвиток, має охоплювати деякі види діяльності, а не бути «методом-у-дії»: вивчення справи, походження, діалог, природний експеримент, дослідження, порівняльний аналіз та соціальна критика можуть бути компонентами, але не детермінантами.

Ці види діяльності повинні відбуватися поза інформацією та думками. Оцінювання мусить концептуалізувати проект, вибрати ідеї та проаналізувати поняття й наміри. Одна офіціантка на семінарі поставила найкраще запитання: «Що означає програма «Професійно-технічна освітня ініціатива»?». Можна поставити ще й такі запитання: Яка економічна теорія є підґрунтям програми «Професійно-технічна освітня ініціатива»? Як узгоджуються освітні принципи та практична діяльність? Якщо існує таке «хороше» поняття, як професійність, то чи існує таке «погане» поняття, як освітність? Якщо не будемо ставити собі такі запитання, то можемо наприкінці знати все про програму «Професійно-технічна освітня ініціатива», крім її суті. Проект не має стати «німим» центром, навколо якого проводяться дебати.

Якщо в оцінюванні беззаперечно приймати визначення проекту, його припущення та межі, то тільки тоді ми починаємо обговорювати значення проекту в розумінні самого проекту.

Отже, оцінювання, спрямоване на розвиток, повинно мати на меті організувати аналіз у проекті та стосовно проекту. Оцінювання має бути водночас і дзеркалом, і вікном. Воно повинно бути спрямоване і на діяльність, і на розмірковування, розглядати діяльність як форму дослідження. Під час оцінювання не можна давати привілеїв тим, хто приймає рішення, або вчителям. Коли Пітер Холлі намагається об'єднати вчителів та учнів у «професійній» моделі оцінювання, це великий ідеологічний поступ в інтересах учителя, але не обов'язково в інтересах учня. Під час проведення оцінювання не варто виділяти такі групи, як німе тло, треба критично розглядати поняття про всі цінності, зокрема власні. Крім того, відстороненість не може бути позитивною рисою.

Дивитися для того, щоб дізнатися, показувати для того, щоб навчити, - схоже на мовчазне знущання, образливе мовчання над хворим, якого треба заспокоїти, а не демонструвати іншим.

10. Мабуть, уже забагато порад. Наприкінці декілька практичних рекомендацій:

  • накресліть план оцінювання, пов'язаний із проектом; зважте на те, що його, можливо, доведеться змінити;
  • записуйте всю доступну інформацію, зберігайте її;
  • ведіть щоденник, куди записуйте проблеми, враження, почуття, початкові пояснення, дуже корисні на всіх стадіях звіту;
  • виділяйте достатньо часу на кожну ділянку проведення оцінювання, так ви зможете дізнатися про неї більше, ніж учасники (або, що особливо корисно, ви отримаєте іншу інформацію);
  • давайте доручення стороннім особам, якщо бракує фахівців з конкретної сфери і вам треба отримати дані;
  • залишіть багато часу на написання підсумкового звіту, на найважче. Часто трапляються такі помилки: надто багато даних, а часу для опрацювання немає;
  • стежте, щоби звіт ґрунтувався на достовірній інформації та не був занадто наказовим, особливо стосовно контексту вашого оцінювання.

ЗВІТ

1. Написання звіту нагадує складання іспиту, коли ви не впевнені в суті питання, але знаєте, що світ прочитає та оцінить вашу роботу відповідно до непередбачуваної примхи. Деякі перешкоди, велике бажання відкласти написання звіту до проведення додаткового дослідження або після ще однієї філіжанки кави - це природне явище. Добре, якщо ви початківець, далі стає ще гірше.

2. Люди, які читають звіти, кажуть, що вони або надто довгі для читання, або надто короткі, щоб у них повірити. Найкращий вихід - короткий і стислий звіт (з докладним поясненням у додатках). Найбільша спокуса - бажання продемонструвати вашу продуктивність у кількості сторінок. Опирайтеся цій спокусі.

3. Заздалегідь визначте, на що ви хочете вплинути, для кого ви пишете, який креатив і стиль будуть найефективнішими (але це рішення може приймати не тільки експерт). Там, де неможливо уникнути довгої розповіді, як під час вивчення деяких справ, зокрема взаємодії учнів і викладачів у профільному навчанні, підсумків наради з питань досвіду роботи, зробіть анотацію про головні проблеми.

4. Проводьте обговорення проблем. Підготуйте чіткі звіти, які принесли би користь проектам у професійно-технічній освіті та різним видам оцінювання.

5. Визначте головну тему або метафору, які могли би передати вашу основну думку, не зруйнувавши її суті. Наприклад, якщо ви пишете звіт про управління нововведенням, ви мусите зазначити, що виявили у проекті, як він перейшов від вивчення ролі дослідника (наведіть власний приклад) до вивчення ролі піддослідного (наприклад, 365 запитань для здобуття загального свідоцтва про середню освіту) або навпаки.

6. Стежте за відгуками на ваш звіт (можливо, щоб отримати інформацію, вам доведеться просити вчителів прочитати та прокоментувати вашу доповідь). Намагайтеся отримати різнобічний аналіз - ви можете дізнатися багато про те, хто критикує і як критикує. Запитайте, яким повинен бути звіт. Які питання було не розкрито або розглянуто невідповідно, чи були правильними припущення автора тощо. І запам'ятайте, що (майже) завжди можна повторити.

7. На оцінювання програми «Професійно-технічна освітня ініціатива» на місцевому рівні витрачають щорічно понад 350000 фунтів. Це найбільша частка бюджету оцінювання. Отже, ніщо не заважає їй бути найпродуктивнішою.

8. Щастя вам.

ВИСНОВОК

У цьому розділі розглянуто питання мети та моделі оцінювання. Наголошено на важливості контракту або початкової стадії, яку часто трактують поверхнево. Обговорено переваги стратегічного підходу до оцінювання, важливість зв'язку планування та моральних питань. На противагу цьому, Ян Штронах у «своєрідній наказовій пораді» наголошує, що експерти повинні бути прагматичними, еклектично і з деякою долею скептицизму ставитися до літератури з оцінювання. У наступному розділі ми будемо розглядати більш знайому і не таку спірну теорію та обговоримо методи збору інформації, які відповідають моделям оцінювання.

МЕТОДИ ОЦІНЮВАННЯ

Збір даних - це особливо наочний аспект оцінювання, а для багатьох експертів - найважливіший. Хоча я вже зазначав, що збір інформації має зайняти своє місце, тобто його не варто проводити в невизначений період порівняно з іншими фазами оцінювання. Однак це не означає, що я не визнаю чи недооцінюю важливості цього аспекту. Існує безліч літературних джерел, присвячених техніці збору інформації, та широкий досвід, щоби доповнити це питання. Неможливо в одному розділі вступного тексту повністю розкрити таке нагромадження розуму й досвіду. Я прийняв компромісне рішення накреслити структуру для збору інформації та описати методи, які я вважаю особливо корисними у проведенні оцінювання, а саме: відомості, анкети, спостереження, співбесіди, вивчення документів та особових справ. Наприкінці книги пропоную додаткові джерела, які дають повніший огляд методів збору інформації.

СТРУКТУРА ЗБОРУ ІНФОРМАЦІЇ

Спочатку варто взяти до уваги три важливі тези про збір інформації. По-перше, зібрані дані повинні систематично пов'язуватися не лише з питаннями, визначеними в моделі оцінювання, а й і з запланованими діями та наслідками. По-друге, техніка збору інформації для конкретного питання оцінювання має відповідати суті цього питання, наприклад, коефіцієнт інтелекту буде важко визначити за допомогою спостереження. По-третє, треба використовувати якнайбільше джерел інформації, щоби перевірити достовірність даних і висунутих гіпотез.

Ці три положення здебільшого взаємопов'язані, на них треба зважати на початку оцінювання, зазвичай на стадії планування. Оцінювання можна пов'язати зі збором та обробленням інформації, щоб забезпечити логічне проведення дослідження. Аналогічно різноманітні схеми методів збору інформації з підручників допомагають пов'язати відповідну техніку збору інформації з конкретним питанням оцінювання. Прикладом такої схеми є перелік підходів до збору інформації в підручнику «Методика дослідження класного колективу».

Іншим способом визначення джерел інформації є побудова матриці, яка пов'язує дані з питаннями або дані з аналізом. Залежно від обставин різне запитання може передбачати інше джерело інформації, і така залежність може спросити стратегічний процес вибору інформації. Наприклад, зміни у знаннях учасника можна легко оцінити за допомогою анкетування, а зміни в уміннях і ставленні учасника до конкретного питання ліпше простежити під час співбесіди. Аналогічно в подальших таблицях подано матрицю, яка відображає різні стадії аналізу відповідно до джерел інформації, описаних у цьому розділі. На практиці різний рівень аналізу потребує різної інформації, і така матриця допомагає у плануванні методів збору даних.

Кожний процес оцінювання має власні джерела інформації, але ці загальні моделі допоможуть експерту бути систематичним і цілеспрямованим у виборі способу збору даних.

ОПИТУВАННЯ Й ВИМІРЮВАННЯ ДО ТА ПІСЛЯ ПРОВЕДЕННЯ ЕКСПЕРИМЕНТУ

Опитування, вимірювання до та після проведення експерименту та інші стандартні форми вимірювання можуть дати величезний обсяг інформації, до того ж ці способи вважаються економними під час збору даних. Хоча існує деякий опір кількісним методам (так само як існує опір і якісним підходам) серед тих, хто проводить оцінювання, вони відіграють важливу роль в арсеналі методів, доступних експерту. Опитування можуть бути дуже цінними, особливо в поєднанні з іншими методами збору інформації. Вони дають можливість експерименту охопити широке коло респондентів і простежити зміни впродовж деякого проміжку часу. Навіть якби я був уповноважений обговорити статистичні методи або складання стандартної анкети, я не робив би цього. Натомість я опишу три різні підходи до використання опитування, які застосовував у різних процесах оцінювання.

Перший приклад взято з поточного оцінювання схеми місцевої програми «Професійно-технічна освітня ініціатива», коли ми проводили тестування на визначення коефіцієнта інтелекту всіх учнів четвертого уроку навчання професійно-технічних шкіл. Письмове тестування проведено для того, щоб отримати базові дані та порівняти здібності учнів професійних і непрофесійних шкіл. Виявлено, що від учнів професійно-технічних шкіл очікувано незадовільного рівня, тому було зазначено, що на майбутнє має встановитися рівновага. Ми також мали змогу порівняти коефіцієнт інтелекту та спосіб навчання учнів. Отримана інформація дала можливість зробити такі спостереження (Hopkins, 1986: 21):

1. Схемою зацікавилися здебільшого хлопці.

2. Хлопці та дівчата вибирають різні професії.

3. Учениці професійно-технічних шкіл мають дуже високий коефіцієнт інтелекту.

4. Учні мають відносно низький соціально-економічний статус.

5. Учні не очікують і не вимагають багато від своєї роботи та спеціальності.

6. Директори та вчителі вважають, що їхні учні мають середній або низький рівень здібностей.

7. Учні вважають, що їхні здібності коливаються від середнього до низького рівня.

Моє тлумачення цієї інформації не обмежується тільки висновком про різностатеві стереотипи (що характерно не лише для професійно-технічних шкіл, а й для нашого соціального та освітнього рівня). Я звертаю вашу увагу на те, що, як свідчать результати опитування, у дівчат високий рівень здібностей. Однак учителі думали, що рівень їхніх здібностей низький, так само вважали і самі дівчата, занижуючи свої результати. У мене склалося враження, що у школі та місцевій спільноті існують стереотипи, які професійно-технічній освіті буде важко подолати.

Ця інформація підштовхнула до проведення глибоких досліджень і дала матеріал для зворотного зв'язку й розвитку цієї галузі. Це також удалий приклад, який ілюструє переваги використання багатьох джерел інформації. У цій ситуації висновки ґрунтувалися на двох опитуваннях, які мали різні цілі, тобто визначення коефіцієнта інтелекту учнів професійно-технічних шкіл, доповнене співбесідами з учителями та директорами.

Другий приклад взято з оцінювання «Проекту аналізу діяльності вчителів шкіл в Англії та Уельсі». Частиною стратегії оцінювання було дослідження, що ставило за мету визначити ставлення вчителів до аналізу. Погоджений документ, на якому ґрунтувався процес, містив перелік результатів аналізу. Ми прагнули, щоб учителі вказали на важливість кожного з цих результатів, однак не хотіли, щоб аналіз був надто складним. Отже, ми розробили нейтральний перелік результатів і попросили респондентів визначити по три бажані й небажані результати. В іншому опитуванні ми попросили респондентів визначити, чи кожен результат дуже важливий - (важливий) - неважливий. Це дало змогу порівняти те, що вважають бажаним учителі перед аналізом, і те, що насправді відбувається. Цей підхід - один зі способів визначити реакції на результат проведеної діяльності без прямих запитань.

Третій приклад - це анкета «Методика інституційного навчання», яка є складовою програми інституційного розвитку міжнародного руху за зміни в освіті (Національної фундації освітнього дослідження). Достатньо сказати, що анкета є засобом стандартного вимірювання спектра змінних, які висвітлюють організацію й атмосферу школи. Отже, цей засіб забезпечує точне визначення всіх даних, дає змогу порівнювати стан однієї школи з іншими і, завдяки шкалі реального та бажаного, дає підставу для цільового визначення загальношкільної атестації.

АНКЕТИ

У цьому розділі я створюю умовну розбіжність між опитуванням та анкетою. Я вже дав визначення «опитуванню» як стандартному засобу, який має відносно високий ступінь надійності, тобто узгоджується із ситуацією, в якій його використовують. У цьому розділі я даю визначення «анкети» як більш неформальному засобові, який може бути не настільки надійним у технічному розумінні, але має високий ступінь достовірності, тобто анкета вимірює те, що мала на меті виміряти. Багато експертів не потребують надійності своїх засобів, тому що ці засоби створені тільки для однієї ситуації. Однак вони мають бути достовірними, щоби вимірювати те, що вважається причиною, яка зумовлює наслідок (внутрішня достовірність). Коли дані анкети треба порівнювати й повідомляти респондентам, тоді важливо, щоб засіб мав зовнішню достовірність (тобто вимірював те, що поставив за мету виміряти), щоби мав змістову достовірність (тобто охоплював усі суттєві питання), щоби був достовірним з погляду респондентів (тобто щоб ті, хто заповнював анкету, підтвердили її достовірність).

Достовірні, хоч і не зовсім надійні анкети мають переваги для експерта. Їх легко скласти і вони виявляють спектр думок. Я використовував такі анкети, щоби дослідити погляди шкільного персоналу або консорціуму на конкретне питання. Після попереднього спостереження та співбесіди, що мали на меті виявити ключові запитання (змістова достовірність), я склав анкету на половині листка формату А4 з переліком 4-6-ти запитань, на які треба відповісти. Ці анкети легко заповнити, вони відображають інтереси того, хто відповідає (достовірність із погляду респондента), і також містять опис оцінювання (зовнішня достовірність). Анкети розсилають персоналу, тоді результати зводять у таблицю, їх повідомляють опитуваним досить швидко, викликаючи зацікавленість персоналу та створюючи позитивне ставлення до можливого розвитку школи.

Анкета «Технологія навчальної програми»

1. Що ви розумієте під «Технологією навчальної програми»?

2. У якому напрямі навчальної програми ви працюєте? Чи в ньому використовуєте технологічний процес? Якщо так, наведіть короткі приклади.

3. Чи ви проходили підвищення кваліфікації або навчання за «Технологією навчальної програми»? Якщо так, то чому? Якщо ні, то яку підтримку ви відчуваєте, що потребуєте, щоб вивчити технологічний процес?

4. Яку користь принесе «Технологія навчальної програми» учням вашого предмета навчальної програми?

СПОСТЕРЕЖЕННЯ

Матриця класифікації видів спостережень в оцінюванні

Взаємне спостереження

Взаємне спостереження - це колегіальна форма спостереження, коли вчителі спостерігають за викладанням інших учителів, щоби розвинути процес. Така співпраця може мати також творчі оцінні цілі за наявності зв'язку зі шкільним самооцінюванням та аналізом діяльності вчителів. Недостатню увагу приділяють ролі взаємного спостереження або парного спостереження як ланки між оцінюванням і професійною діяльністю, спрямованою на розвиток. Використання навчання як стратегії підвищення кваліфікації вчителів, яку описують у розділі 9, - інша форма взаємного спостереження.

Зовнішнє спостереження

У типовій ситуації зовнішнє спостереження, як можна краще сформулювати, відображає приховану невідповідність у впливі спостерігача та об'єкта спостереження. Хоча ця невідповідність здебільшого може бути виражена нечітко, вона є їхньою характерною рисою, тобто хтось робить щось комусь іншому.

Відкрите спостереження

Відкрите спостереження - це термін, який я вживаю стосовно дослідної форми спостереження учасників, яка асоціюється з етнографічним вивченням. Спостереження не має чіткої структури і повністю залежить від таких умінь експерта, як інтерпретація та інтуїція. Парлетт і Хемілтон (1977: 15) так описують цей особливий підхід до спостереження:

«...фаза спостереження займає центральне місце в демонстраційному оцінюванні. Дослідник веде постійний запис поточних подій і справ, робить неформальні помітки. У той же час він хоче організувати отриману з певного джерела інформацію, доповнюючи її тлумаченням очевидних і прихованих рис ситуації. Крім спостереження й документування щоденної діяльності програми дослідник може бути присутнім в інших подіях (наприклад, збори кафедри студентів, дні «відкритих дверей», збори екзаменаторів тощо)».

Клінічний нагляд

Клінічний нагляд - це техніка, що розвивалась як метод інспектування роботи викладачів, але цей метод можна використовувати в оцінюванні та інших видах діяльності, мета яких - розвиток (Acheson and Hall, 1980). Це структурована форма спостереження, яка зосереджується на викладацькій діяльності вчителя й використовує трифазовий підхід до спостереження за навчанням. Ця форма особливо придатка для взаємного спостереження.

Три основні фази клінічного нагляду - це планування, спостереження у класі та зворотний зв'язок. Планування дає можливість спостерігачеві й учителю розглянути запропоновані уроки, це зумовлює прийняття взаємного рішення про збір інформації стосовно викладання. На цій стадії спостерігач та об'єкт спостереження часто укладають своєрідний контракт про збір інформації та її використання, про тих, кому ця інформація буде доступна, про те, як буде проведено спостереження. Під час фази спостереження у класі експерт спостерігає за вчителем у процесі викладання, збирає об'єктивні дані про той аспект викладання, який вони узгодили раніше. На фазі зворотного зв'язку спостерігач і вчитель обмінюються інформацією, приймають рішення про корективні дії (якщо потрібно) і часто планують тривалий збір даних для спостереження.

Існує кілька принципів, на які варто зважати під час проведення «клінічного нагляду». По-перше, атмосфера взаємодії між учителем і спостерігачем має бути незагрозливою атмосферою підтримки та взаємної довіри. По-друге, діяльність треба спрямовувати на вдосконалення навчання й підтримки успішних моделей, а не на критику невдалих моделей і зміну особистості вчителя. По-третє, процес залежить від збору та використання об'єктивних даних спостереження, а не від несуттєвих суджень. По-четверте, учителів заохочують робити висновки про власне викладання на основі даних і використовувати їх, щоби побудувати гіпотези, які можна перевірити в майбутньому. По-п'яте, кожен цикл нагляду ґрунтується на іншій частині поточного процесу. По-шосте, спостерігач і вчитель взаємодіють між собою, що поліпшує викладання, спостереження та утвердження творчого оцінювання. Отоже таке оцінювання двобічне.

Фокусоване спостереження

Фокусоване спостереження - це термін, яким я називаю підхід, що використовує перелік питань чи схеми спостережень, які розробив спостерігач або той, за ким спостерігають, для конкретної ситуації. Цей підхід можна застосовувати в межах клінічного нагляду. Коли експерти спостерігають за викладанням, усе, що їм часто потрібно, це прості способи збору інформації за основними темами, наприклад, опитування, поведінка під час і після керування та управління класом. Експертам бажано створити власну схему спостереження, скласти її для конкретної ситуації. У такому разі експерт буде краще володіти ситуацією дослідження, та, імовірно, існуватиме відповідність між об'єктом спостереження та методом збору даних. Отже, ці засоби важливі так само, як і термін «фокусоване спостереження», який ми використовували вище, тобто стосовно конкретної ситуації.

Перед тим як скласти перелік запитань для спостереження, корисно поставити деякі організаційні запитання, щоби з'ясувати мету спостереження:

1. Яка мета спостереження?

2. За якими діями вчителеві треба спостерігати?

3. На чому зосереджене спостереження?

4. Які методи збору інформації найкраще відповідають меті?

5. Як буде використано дані?

«Професійно-технічна освітня ініціатива»

Прокоментуйте та наведіть докази:

Дата: Школа: Учитель: Клас:

Спостерігач: Хлопці Дівчата

Зміни в методиці

Професійне спрямування

Активне вивчення / вирішення проблеми

Обговорення серед учнів процесу навчання

Сприйняття здібностей учнів: (І) учителі; (ІІ) учні

Чи вчителі / учні усвідомлюють те, що вони беруть участь у програмі?

Робочий досвід або візити

ЗАГАЛЬНІ ЗАУВАЖЕННЯ

У моїй книзі про дослідження наведено багато прикладів схем спостереження, що склали вчителі, які займаються збором інформації про методи опитування стосовно поведінки під час і після виконання завдання (Hopkins, 1985).

Підхід, який я вважаю особливо корисним у проведенні оцінювання, - це використання «базової структури спостереження». Нещодавні нововведення в навчальну програму виявити потребу змінити методи викладання. Методика викладання буде зазнавати змін і доповнень залежно від стилю викладання кожного вчителя. Після попереднього періоду спостережень і співбесід розробляю набір, або структуру характерних рис цього методу, що базується на навчальній програмі чи навчальній ситуації. Ця структура дає змогу проводити спостереження в багатьох класах досить швидко й неформально, тому що попередній аналіз допомагає визначити ключові або характерні риси методу. Така шкала спостереження має високу зовнішню достовірність і може бути основою для зворотного зв'язку. Приклад такої «базової структури спостереження» наведено в ілюстрації 2. Будь-яку іншу цільову структуру, яка є базовою, тобто випливає з контексту, до якого належить, можна розглядати в цій категорії.

Систематичне спостереження

Систематичне спостереження використовує стандартну шкалу кодування для аналізу взаємодії у шкільному колективі. Статистична точність й аналітична деталізація підходу, як мені здається, зумовлюють скоріше абстрактність, а не аналіз діяльності. Якщо перефразувати Т. С. Еліотта, систематичні спостерігачі можуть мати досвід, але у процесі роботи він утрачатиме сенс.

Однією з найвідоміших кодових систем є «Система категорій інтерактивного аналізу Флендерса». Її широко використовують через вплив на багато інших систем категорій. Ця система ґрунтується на десяти аналітичних категоріях, які відображають, за Флендерсом, вербальну взаємодію вчителя - учня (табл. 5). Кожна з цих категорій має номер, але не входить до певної шкали (Flanders, 1970).

Непрямий вплив

1. Увага до почуттів: зважає на почуття учня у невимушеній манері. Почуття можуть бути позитивними або негативними.

2. Похвала або підбадьорення: учитель підбадьорює учня, хвалить його дії чи поведінку. До цього належать також жарти, які позбавляють напруженості, але не жарти над кимсь, кивання головою, такі слова, як «так», «продовжуй».

3. Сприймання й використання ідей учня: утвердження, опрацювання й розвиток ідей чи пропозицій учня. Якщо вчитель вносить у роботу більше власних ідей, відбувається перехід до п'ятої категорії.

4. Учитель запитує про зміст чи процедуру з наміром отримати відповідь учня.

Прямий вплив

5. Лекції: розкриття фактів і поглядів про зміст чи процес, висловлення власної думки; риторичні запитання.

6. Указівки: учитель дає вказівки, команди, накази, з якими учень має погодитись.

7. Критика чи виправдання влади: неприйнятні положення, які мають на меті змінити поведінку учня; підвищення голосу на когось; визначення, чому вчитель робить те, що він робить, надмірний контроль.

8. Висловлення думок у відповідь: учень відповідає вчителю. Учитель ініціює контакт або підштовхує учня до.

9. Висловлення власних думок: ініціатором виступає учень. Під час опитування учень повинен указати, хто говоритиме наступним, спостерігач повинен вирішити, чи учень хотів говорити. Якщо він погодився, використайте цю категорію.

10. Мовчання або збентеження: паузи, короткі періоди мовчання, збентеження, при якому спостерігач не може зрозуміти спілкування.

Двома основними перевагами системи Флендерса є те, що її легко вивчити та застосовувати і що ці десять категорій описують види поведінки, які, на думку багатьох, дуже важливі. З іншого боку, багато інформації втрачається, особливо я маю на увазі невербальні аспекти спілкування. Деякі категорії занадто широкі, інші недостатньо розрізнені. Також мало категорій, які стосуються учнів. Тому цю систему важко використати в неформальній ситуації у класі. Інші приклади систематичного спостереження класу дано в підручниках Хелтона (1978) і Кролла (1986).

Однією з проблем цього підходу є те, що кожна шкала репрезентує авторське розуміння ситуації. Одна людина дивиться на клас очима іншої, однак їхні цілі та уявлення різні. Тому легко потрапити в пастку намірів дослідника, який створював шкалу. Експерту важливо пристосувати свої потреби до намірів і центральної проблеми шкали. Отже, вони можуть контролювати ситуацію. Другою проблемою є те, що більшість шкал створено для творчого оцінювання. Їхня початкова мета - слугувати дослідницьким засобом для аналізу класу. Отже, вони не завжди є відповідним медом спостережень, особливо для тих експертів, які займаються ситуаціями з відносно невеликою шкалою.

СПІВБЕСІДИ

Співбесіди дають змогу провести глибинний аналіз, розкрити й дослідити суб'єктивне значення ситуації. Загалом співбесіди займають більше часу, ніж анкети, але виявляють глибшу інформацію. Існує багато чудових описів проведення співбесіди (наприклад, Powney and Watts, 1987), про співбесіду розповідає більшість вступних текстів про методи дослідження. Ми можемо виділити три різні види співбесіди: структурована, неструктурована й фокусована.

Структуровані співбесіди дуже схожі на усні анкети, в яких зміст, процедура та схема підготовлені заздалегідь. У такому підході в кореспондента немає можливості виявляти ініціативу, тому що характерна риса цього типу співбесіди - типовість, а тому й узагальнення.

Неструктуровані співбесіди, з іншого боку, відкриті для внесення змін, якщо кореспондент дотримується тих відтінків значення й реальності, які запропонував респондент. Крайньою формою такого підходу буде безпосередня співбесіда, яка виникла з досвіду розмови, в якій кореспондент не має обмежень.

Хоча більшість цих підходів, особливо неструктурована співбесіда, використовують в оцінюванні, жоден з них не придатний для таких видів обмеженого в часі оцінювання, що є центральними в цій книзі.

Корисно проводити фокусовану співбесіду, визначна риса якої - попередній аналіз предмета співбесіди. Мертон і Кенделл (1946: 541) так описують характерні риси фокусованої співбесіди:

1. Відомо, що особи, з якими проводять співбесіду, перебувають у конкретній ситуації.

2. Гіпотетично важливі елементи, моделі й загальну структуру цієї ситуації попередньо проаналізував дослідник.

3. На підставі цього аналізу дослідник змоделював проведення інтерв'ю, визначивши основні сфери дослідження й гіпотези, які виявляють інформацію, потрібну для того, щоби провести співбесіду.

4. Співбесіда зосереджена на суб'єктивному досвіді людей, виявленому в попередньо проаналізованій ситуації. Безліч відповідей на цю ситуацію дає можливість експертові:

а) перевірити надійність гіпотез, побудованих під час аналізу змісту;

б) з'ясувати несподівані відповіді на запитання, створюючи нові гіпотези.

Особливо корисно виділяти неструктуровані, напівструктуровані та структуровані запитання. Неструктуровані запитання - це запитання, в яких стимул і реакцію не визначають заздалегідь (наприклад: «Що вразило вас найбільше в цьому відеофільмі?»); напівструктуровані запитання - це запитання, в яких або стимул, або реакція, але не обидва чинники чітко визначені («Що нового ти дізнався на уроці, чого не знав раніше?» (реакція структурована) або «Що ти відчуваєш, дивлячись на цей клас?» (стимул структурований); структуровані запитання - це запитання, в яких і стимул, і реакція чітко визначені («Коли ти слухав лекцію, ти відчував, що вона більш розважальна, ніж інформативна?»).

Неструктуровані запитання дуже корисні на початковій стадії співбесіди, коли респондент складає власне визначення реальності. На подальших стадіях інтерв'ю кореспондентові треба мати більший контроль і конкретизувати ситуацію (наприклад, визначити стимули та реакцію наприкінці співбесіди), особливо якщо кореспондент не зміг дотримуватися деяких аспектів ситуації протягом співбесіди.

Схема співбесіди, яку ми використовували з учнями професійно-технічних шкіл (табл. 6), відповідає цим принципам. Вона була складена так, щоби дати змогу респонденту відповісти будь-як на початкове запитання. Це дало можливість з'ясувати ставлення до програми «Професійно-технічна освітня ініціатива» і сприйняття реальності без впливу підказок, натяків та уявлень кореспондента. Коли співбесіда тривала далі, запитання розкривали нові аспекти, в яких був зацікавлений дослідник. Наприкінці схеми був перелік запитань, які можна поставити тільки тоді, коли на них не відповіли під час співбесіди. Хотів би зазначити, що схему інтерв'ю в таблиці 6 часто використовують із групами із 3-4-х учнів у короткий проміжок часу. За сприятливої атмосфери й заохочень індивідуальних і, можливо, протилежних думок ця схема дає достовірну інформацію.

Співбесіда з учнями професійно-технічних шкіл

1. Як ти опишеш навчання за програмою «Професійно-технічна освітня ініціатива» новому учневі твоєї школи?

2. Що би ти хотів робити після 16-ти?

3. Які два предмети у школі найважливіші для тебе?

(Примітка: чому ти так уважаєш?)

4. Будь ласка, опиши урок (або частину уроку), який тобі сподобався.

(Примітка: чому?)

5. Будь ласка, опиши урок (або частину уроку), який тобі не сподобався.

(Примітка: чому?)

6. Коли ти найкраще працюєш на уроці?

(Примітка: у групі, самостійно, під керівництвом учителя тощо.)

7. Як ти можеш охарактеризувати свою роботу у школі протягом більшості часу?

(Примітка: дуже цікава, досить цікава, не дуже цікава, нецікава.)

8. Чи не ви думаєте, що обрані предмети впродовж чотирирічного навчання допоможуть вам у майбутньому?

(Примітка: дуже, трохи, зовсім ні, не впевнений.)

9. Чи програма «Професійно-технічна освітня ініціатива» привернула увагу деяких груп учнів?

(Примітка: серед них більше дівчат, порівну, більше хлопців, серед них більше із практичним нахилом чи з теоретичним, різні.)

10. Чи ви би порадили учням третього року навчання вчитися за програмою «Професійно-технічна освітня ініціатива»?

(Примітка: дуже рекомендую; варто спробувати; не має значення; порадив би не робити цього; деяким - так, а іншим - ні; не давав би їм жодної поради. А чому ти би сказав саме так?)

Такий докладний опис фокусованої співбесіди не применшує важливості неструктурованої співбесіди. Неструктурована співбесіда була описана в багатьох підручниках (McDonald, Sanger, 1982; Simons, 1980), тому я хотів би приділити більше уваги іншому підходові.

ДОКУМЕНТИ Й БАЗОВА ІНФОРМАЦІЯ

Нововведення, як уважають Парлетт і Хемілтон, не виникають зненацька. Їм передують протоколи засідань комітетів, фінансові пропозиції, плани проведення й доповіді консультантів. Існують і інші попередні джерела, наприклад, конфіденційна інформація з архіву, автобіографічні докази та свідчення на користь нововведень; записи зборів; зразки виконаних учнівських завдань. Нагромадження такої інформації може мати важливу функцію. Ця інформація демонструє історичне бачення того, як різні люди сприймали нововведення перед тим, як почалося оцінювання. Дані можуть також виявити сфери дослідження (наприклад, які групи учнів брали участь?); указати на теми для глибшого обговорення (наприклад, чому відмовилися від основних рис початкової пропозиції?); розкрити аспекти нововведення, на які б за інших умов не звернули уваги (наприклад, чому не були виконані основні вимоги?).

Ще одне запитання - як аналізувати документальні дані. Корисні рекомендації можна знайти в роботах Х'юба та Лінколна (1981: розділ 8) і Белла (1987: розділ 6). Белл уважає, що наведені нижче запитання є підставою ретельного аналізу документа:

1. Який це вид документа? Статут? Наказ? Протокол? Лист із кореспонденції? Скільки є копій?

2. Про що йдеться в документі? Чи використані терміни мають те саме значення, яке використовуєте ви?

3. Хто автор цього документа? Яка його мета? Чи автор прагнув повідомити, наказати, нагадати (як у меморандумі) або здійснити інший вплив на читача?

4. Коли і за яких умов створено цей документ? Як він виник?

5. Наскільки типовий цей документ?

6. Чи він повний? Чи його змінено й перевидано?

У курсі Відкритого університету про «Оцінювання навчальної програми» наведено інші важливі структури для аналізу матеріалів навчальної програми. У багатьох недавніх проектах оцінювання документальні дані допомогли визначити структуру оцінювання, установити першочергові проблеми, забезпечити критерії аналізу. Однак такі документи часто мають політичне забарвлення, є неглибокими або показують компромісну ситуацію. Тобто всі документи треба розглядати дещо скептично, як і інші джерела інформації.

ВИВЧЕННЯ ПРОБЛЕМНИХ СИТУАЦІЙ

Вивчення проблемних ситуацій не є, незважаючи на його трактування, методом збору інформації. Це засіб подання інформації про якусь справу; систематичне дослідження окремого випадку. Багато було написано про корисність вивчення проблемних ситуацій у процесі оцінювання (Simons, 1980). Існує також багато важливих посібників з методології аналітичного ситуаційного навчання (Yin, 1984). Цей метод користується все більшою увагою.

Вивчення проблемних ситуацій має на меті описати ситуацію так, щоби виявити деякі загальні принципи. Визначення, прийняте 1976 року на конференції в Кембриджі, звучить так: «Вивчення проблемних ситуацій - це загальний термін для групи методів дослідження, спільним для яких є зосередження навколо проблемної справи». Цей метод має на меті справедливо й точно аналізувати конкретну справу, щоби читач зміг проникнути в поверхневі записи та перевірити трактування автора за допомогою аналізу відповідних об'єктивних даних (Nisbet and Watt, 1984).

Багато експертів використовують вивчення проблемних ситуацій для того, щоби передавати результати оцінювання. Однак тут нас більше цікавить, як починається збір даних для вивчення справи. В оцінюванні «Проекту аналізу діяльності вчителів» ми збирали дані, щоби мати можливість вивчати справи по-різному. Наприклад, ми заохочували вчителів вести щоденник, у якому вони занотовували свої міркування про аналіз проекту, підтримку деяких шкіл, як і описували власний досвід у проведенні аналізу. Нижче дано поради про те, як збирати дані в цих сферах.

Щоденники

Ось уривки з буклету «Як вести щоденник аналізу».

Чому мене попросили вести щоденник?

Програма оцінювання «Проекту аналізу діяльності вчителів» проводить незалежне оцінювання в шести місцевих управліннях освіти. Як елемент вивчення, група дослідників хотіла б отримати інформацію про те, як учитель та експерт розуміють аналіз. Записи, які зроблено у формі щоденника, допоможуть нам отримати інформацію.

Яку інформацію варто вносити у щоденник?

Основна мета щоденника - отримати достатньо точний запис послідовності формальних частин аналізу, наприклад, самоаналіз, спостереження, обговорення зворотного зв'язку, співбесіди - коли і де вони відбулися, як їх проведено. Запис у щоденнику може бути таким:

„11 травня"

У п'ятницю ввечері вдома почали нотувати відповіді на запитання із самоаналізу. Дуже втомлена і не могла чітко думати, але не мала часу на обідній перерві. Вирішила залишити на сьогодні (неділя). Набагато краще. Завдяки запитанням я обдумала речі, які мене хвилювали (див. записи). Раймонд із дітьми, тому я спокійно можу виконати свою роботу. Сказала Раймондові, що я трохи хвилююсь, але він запевнив мене, що це буде корисно. У них у банку запроваджено нову програму, що, як він каже, їм дуже допомагає.»

Як часто мені треба робити записи у щоденнику?

Коли відбулося щось важливе, на вашу думку. Це відрізнятиме вас від інших людей, але намагайтеся охопити якомога більше інформації, навіть якщо ви будете робити короткі нотатки. Якщо за тиждень ви не зробили записів, будь ласка, запишіть, що не трапилося нічого важливого, наприклад:

„15 липня"

У сфері оцінювання не трапилося нічого важливого. Не займалася цим питанням увесь тиждень. Була дуже зайнята завершенням підготовки до шкільного концерту.»

Шкільні записи

Нижче наведено уривки із записів «Що означає бути школою, де вивчають проблемні ситуації»

Чому група експертів проводить вивчення проблемних ситуацій?

Вивчення проблемних ситуацій допоможе нам глибше зрозуміти аналіз, який проводиться у звичайному шкільному житті, усвідомити зв'язок різних аспектів аналізу. Воно має дати глибше розуміння аналізу.

Як буде проведено вивчення?

Залежно від конкретного вивчення й узгодження з учасниками дані можна отримати так:

  • розмови з учителями та директорами;
  • прохання до вчителів і директорів записувати свої враження;
  • аналіз документів, які були складені й використані у школі;
  • спостереження над деякими аспектами аналізу.

Хоча не всі ці аспекти придатні для вивчення конкретної ситуації, важливо використовувати багато джерел інформації.

Усі джерела експерти обговорюватимуть заздалегідь зі шкільним колективом. Жоден з методів не можна використати без бажання та згоди директора та вчителів.

ВИСНОВОК

Хоча мені довелось уважно вибирати з усієї інформації тільки найважливіші дані, я сподіваюся, що деякі приклади підходів до отримання інформації, які допомогли мені, стануть у пригоді вам. Книжки, на які я покликаюсь у переліку рекомендованої літератури, повніше описують різні методи збору інформації. Закінчуючи розділ, я повторюю одну з найважливіших думок: назріла потреба стратегічного поєднання доцільного джерела інформації з конкретним питанням оцінювання, завдяки чому виникає причинний зв'язок між запитанням, джерелом інформації, зворотним зв'язком і дією.

Джерела інформації, описані в попередньому розділі, за своїм характером скоріше якісні, ніж кількісні. Іншими словами, інформація для типу оцінювання в цій книжці подана словами, а не цифрами. Якісні методи важливі для освітнього оцінювання тоді, коли мета дослідження - розуміння, а не доказ. Однак це не означає, що кількісні методи не можуть подавати доказів і що оцінювання має на меті породжувати гіпотези про складні суспільні ситуації, а не випробовувати їх. Багато експертів наголошують на цінності й придатності якісних методів, коли «вивчені явища - це складні взаємодії осіб та організацій, які нелегко виразити в цифрах».

Аналіз інформації та підвищення її валідності

На жаль, як зазначають Майлз і Х'юбермен, у цьому їхня Ахіллесова п'ята: лише декілька вчених погоджуються на процедуру аналізу якісних даних, і тому достовірність і валідність такої роботи непевна. Майлз і Х'юбермен ілюструють цю проблему в такому уривкові: «Незважаючи на посилений інтерес до якісних методів, у нас немає бази чітко визначених методів, щоб отримати валідне значення з якісної інформації. Нам потрібні практичні, комунікаційні методи, тобто наукові, у позитивістському значенні слова, націлені на тлумачне розуміння (у найліпшому розумінні цього терміна).

Проблема в тому, що немає достатньої бази надійних, валідних, навіть мінімально узгоджених з роботою процедур аналізу якісної інформації. Щонайгірше, як виявляється, немає обміну досвідом навіть на елементарному рівні використання засобів. Ми не маємо повного уявлення про те, як дослідники якісної інформації вибирають, аналізують та інтерпретують дані.

Здається, це палка з двома кінцями: статус висновків якісного дослідження непевний, тому що дослідники не повідомляють про свою методологію, і навпаки, дослідники не повідомляють про свою методологію, тому що немає встановлених правил для цього».

Отже, аналіз якісного оцінювання або проводять погано, або зовсім не проводять. Хоча дані, які ми використовуємо, правдиві, однак неможливо й ризиковано розпочинати обробку інформації, коли її проаналізовано невідповідно. Тому цей розділ присвячений аналізові якісних даних оцінювання; аналіз кількісних даних проведений в інших підручниках. Спочатку я опишу загальний підхід до аналізу, який ґрунтується на обговоренні попередніх розділів, потім розгляну деякі специфічні методи, а далі розкрию особливу проблему валідності якісного оцінювання.

Аналіз якісних даних

Раніше я описав підхід до аналізу якісних даних, який ґрунтується на двох класичних твердженнях про соціологічні статистичні дані, які висловили Беккер, Ґейзер і Стросс. Беккер описав чотири стадії аналізу статистичних даних, Ґлейзер і Стросс - поняття сталого методу порівняння як способу аналізу якісної інформації. Ці підходи близькі за аналізом статистичних даних. У кожному з них передбачено, що аналітичний процес має чотири загальні фази: глибокий аналіз даних і початкове утворення категорій; утвердження категорій; організація та інтерпретація категорій; (ІV) дія, тобто презентація теорії або висновків. Підсумок цих різних стадій наведено в таблиці 1. До цих чотирьох стадій я би додав підготовчу фазу, або фазу очікування, на якій експерт окреслює область дослідження й формулює експериментальну модель оцінювання; ця фаза, як і питання оцінювання, чітко сформульована у процесі.

На першій стадії дослідник починає роботу зі збору даних, які стосуються питання оцінювання. Роблячи це, він, так би мовити, занурюється в інформацію. Дані можна отримати за допомогою спостереження, обговорення, співбесіди, письмових записів або перегляду будь-якого документа стосовно вказаного питання. Ця стадія процесу характеризується постійним переглядом даних і процедурами, які дають змогу проаналізувати їх і розділити відповідно до сформованих категорій. «Кодування» інформації відповідно до категорій є, мабуть, підстадією збору інформації, але на практиці вони співіснують.

Дуже важливо інтерпретувати гіпотези чи категорії, це і складає другу стадію процесу. На жаль, саме на цій стадії експерти з якісного оцінювання допускали помилки. Як визначити валідність категорії? І Беккер, і Ґлейзер, і Стросс указують на однакову техніку: Беккер - на «перевірку частотності й розповсюдження явищ», Ґлейзер і Строс - на «насичення», ситуацію, в якій «немає додаткових даних..., щоб розвинути властивості категорії». Якщо ці твердження застосувати до ситуації оцінювання, виявляється, що гіпотези або категорії, отримані під час спостереження, зіставляють із даними, щоб змінити або переробити їх. Важко і, мабуть, необачно твердити, що частотність визначає достовірність категорії, позаяк вона змінюється від випадку до випадку, але у процесі оцінювання можуть трапитися й передбачувані події. По-перше, якщо під час повторної перевірки виявляється, що категорія незадовільна, її відкидають. По-друге, категорія може змінитися, удосконалитися чи ускладнитися. По-третє, хоча процес внесення змін не завершується, приходить час, коли повторне спостереження не породжує ні спрощення, ні ускладнення, а тільки підтверджує гіпотезу. Коли зменшується користь спостереження, відбувається насичення й гіпотеза стає валідною.

Іншою важливою технікою є тріангуляція. Це поняття поширили Джон Елліотт і Клем Еделмен під час роботи над Проектом сприяння викладанню. Тріангуляція означає зіставлення сприймання ситуації одного учасника зі сприйманням тієї ж ситуації іншого учасника. Завдяки цьому початкове суб'єктивне спостереження або сприйняття змінюється й набуває деякого ступеня автентичності. Елліотт і Еделмен описують цю техніку так:

«Тріангуляція передбачає отримання звітів про стан викладання із трьох різних перспектив, а саме: учителя, учнів і спостерігача... Кожна точка трикутника знаходиться в єдиному епістемологічному положенні стосовно доступу до відповідної інформації про стан викладання. Учитель є в найкращому становищі, бо отримує доступ через самоаналіз своїх намірів і цілей у конкретній ситуації. Учні можуть краще пояснити, як дії вчителя вплинули на їхні відповіді. Спостерігач має найкращу можливість отримати дані про ознаки взаємодії вчителів та учнів. Порівнявши власний звіт із результатами інших учасників, особа на одній вершині трикутника може перевірити дані та змінити його на підставі додаткової інформації».

Дозвольте мені ще раз нагадати про важливу методологічну проблему. Я вважаю, що використання таких аналітичних методів, як насичення та тріангуляція, допомагає експертам на основі отриманих даних створити валідні, методологічно правильні й узагальнюючі гіпотези та поняття. Використовуючи цей процес під час розроблення понять і гіпотез, експерти з якісного оцінювання створюють, за визначенням Ґлейзера та Стросса, «валідну теорію». Ця теорія спирається на дані, отримані й використані в деякій соціальній ситуації.

Третьою стадією в типології Беккера є оформлення даних у модель, а у Ґлейзера та Стросса - «обмеження» теорії. Іншими словами, це означає поєднати достовірне поняття зі значенням. На практиці цей процес залежить від запитання, яке спочатку поставив експерт. Гіпотези та зміст повинні бути зіставними на цій стадії, щоби підбити підсумки про область дослідження відповідно до питань оцінювання.

Цей процес не можна вважати простим, він також повинен охоплювати і процес утвердження. На цій стадії найпоширенішими методами аналізу є спірні пояснення та дослідження негативних справ. Майкл Пептон так описує ці методи:

«Коли експерт описав моделі, зв'язки, поточні пояснення, які виникли під час аналізу, важливо розглянути спірні або суперечливі теми та пояснення... Розгляд спірних гіпотез і суперечливих понять - це не спроба спростувати альтернативу, аналітик скоріше шукає дані, щоби підтвердити альтернативні пояснення. Якщо знайти свідчення на підтримку альтернативного пояснення не вдається, то це підвищує впевненість у початковому, головному поясненні, яке зробив експерт... Важливо записати, як було розглянуто й перевірено альтернативні системи класифікацій, теми та пояснення в аналізі даних. Повідомлення даних формального звіту проведеного оцінювання про те, стосовно чого і як розглянуто альтернативні пояснення, зробить достовірними остаточні результати оцінювання.

Дослідження негативних справ тісно пов'язані з перевіркою альтернативних пояснень. Із розглядом прикладів і справ, які не вкладаються в модель, наше розуміння цих моделей і напрямів розширюється».

Наприкінці цієї стадії експерт має звернути увагу на спостереження або серію спостережень, які можуть породжувати діяльність. І соціолог, і експерт займаються створенням значень абстрактних спостережень і тлумачень.

Четверта стадія, яку виділяють і Беккер, і Ґлейзер та Стросс і яка є кульмінацією роботи, - це презентація теорії. Ця стадія передбачає дію, тому що нова теорія зумовлює нові способи розуміння й оцінювання суспільних явищ. У цю стадію входить і діяльність експерта, який, зіставивши спостереження з теорією, планує або пропонує кроки майбутньої діяльності на основі цього знання.

У підсумку зазначу, що чотири стадії дослідження якісної інформації, яким передує попередня стадія очікування, охоплюють:

1. Занурення в інформацію або утворення гіпотез.

2. Валідність гіпотез за допомогою, наприклад, методів насичення або тріангуляції.

3. Інтерпретація відповідно до питань оцінювання визначених критеріїв, спірних пояснень і негативних справ.

4. Діяльність, спрямована на розвиток (та інший цикл оцінювання).

Ці кроки, схожі на стадії аналізу, визначили Парлетт і Хемілтон. Їх можна подати як матрицю. Обговорення нашого питання стало аж надто абстрактним. Тому дозвольте внести поправки, навівши приклад з оцінювання Проекту аналізу діяльності вчителів. У моделюванні оцінювання ми керувалися аналітичними процедурами, описаними в цьому розділі. Аналіз методології проекту представлений в ілюстрації 1.

СПЕЦИФІЧНІ МЕТОДИ

Декілька років тому я написав статтю, в якій давав пораду дослідникам, як підвищити валідність інформації. У цій статті я описав вісім стратегій, чотири з яких і ще одну, виявлену нещодавно, подаю тут.

Називайте речі своїми іменами

Цю думку ілюструємо відомим діалогом:

  • Ось тобі й слава.
  • Я не розумію, до чого тут слава? - запитала Аліса.

Хампті Дампті тільки зневажливо посміхнувся.

  • І не зрозумієш, поки я тобі не поясню, - відповів він. - Я хотів сказати, що це переконливий аргумент.
  • Але слава не означає переконливий аргумент, - заперечила Аліса.
  • Коли я використовую слово, воно означає те, що я хочу, не більше й не менше, - відповів Хампті Дампті.
  • Але чи слово може мати стільки значень? - запитала Аліса.
  • Питання в тому, хто володіє ситуацією, - відповів Хампті Дампті.

Ситуація очевидна - нам потрібно знати, що ми будемо оцінювати, перед тим як оцінювати, для того щоб знати, що ми шукаємо. Як експерти ми маємо добре володіти поняттями. Можемо із застереженням сприймати твердження, що дитина, яка пильно дивиться на вчителя, насправді слухає його; або визначати «кмітливість» як розумову здібність; або вважати виявом неуваги, коли учень дивиться у вікно. Ці твердження двозначні. Концептуалізація - це встановлення повністю чіткого та зрозумілого значення поняття; тобто варто розробити критерії зіставлення, наприклад, правильного опису того, що учень займається навчанням, спрямованим на дослідження/відкриття. Варто точно визначити характерні риси поняття.

Робін Берроу підсумував цю суперечність у чотирьох положеннях:

1. Дослідники повинні розуміти, що означає справжній концептуальний аналіз; тобто вони не повинні плутати його з простою синонімією або наведенням прикладів.

2. Якою б не була сфера їхнього особистого інтересу, вони повинні поставити собі за мету концептуалізацію контексту, тобто суті освітньої діяльності.

3. Емпіричні дослідники мусять, крім того, концептуалізувати те, що вони планують досліджувати. Якщо існують спірні причини для оперування поняттям, тоді варто чітко вказати, що дослідження проводиться не за питанням Х, а за питанням, яке пов'язане з Х. Природу зв'язку з Х треба пояснювати через установлення відносин між оперативним визначенням і повністю розкритим значенням поняття.

4. Методологію вибирають з урахуванням досліджуваних понять, а не через ідеологічне дотримання стилю дослідження.

Удалим прикладом відсутності концептуальної чіткості є те, як використовують фрази «навчання, спрямоване на індивідуальність учня» та «зміни в методиці викладання» у програмі «Професійно-технічна освіта ініціатива». Хоча більшість людей інтуїтивно розуміють, що це означає, лише декілька можуть висловити свої припущення так, щоби підвищити практичне використання. Отже, експерти, які досліджують ці питання без відповідних оперативних дефініцій, ризикують, оцінюючи «справу, якої не існує».

Знайте, чого ви шукаєте

Це такий самий наказ, як і «називати речі своїми іменами», але він виникає дещо пізніше і не пов'язаний з фазою спостереження над збором статистичних даних. 1980 року Роб Уокер написав працю «Вивчення проблемних ситуацій». У ній використано підхід до збору інформації, який називається «конденсовані дані»:

«При розробленні методів вивчення проблеми в демократичному дослідженні ми намагаємося конденсувати інформацію; нам потрібно знайти швидкі способи збору й представлення інформації. Це здебільшого пов'язано з такими проблемами, як надійність і валідність, конфіденційність консультації, публікації та контролю даних. Одна річ - опублікувати дослідження через п'ять років після збору даних а зовсім інша - провести тиждень у школі та підбити підсумки через тиждень».

Відтоді як Уокер написав свою працю, потреба у швидких формах збору інформації зросла. Невеликі бюджетні кошти, цільове фінансування, акцент на відповідному оцінюванні потребують форм конденсованих даних. Однак, як зазначає Уокер, це покладає велику відповідальність на валідність даних.

У відповідь на ці вимоги варто створити «базові схеми спостереження» для конденсованого збору інформації. На підставі попередніх спостережень та аналізу створюється серія категорій, які охоплюють реальність аналізованої ситуації. Це не апріорні категорії, а результат спостереження й аналізу, які випливають з інформації. Позаяк я знаю, що шукати, роботу над розвитком та обґрунтуванням категорій інформації, збору статистичних даних і спостережень можна радикально зменшити. Схему спостереження складено на основі попереднього досвіду, спостереження та аналізу. Це дало змогу швидко провести спостереження над багатьма класами й одержати достовірні результати».

Використовуйте усі можливі джерела інформації

Оскільки у процесі тріангуляції ми розглядаємо уявлення різних учасників, так само мусимо розглядати й джерела інформації. Як ми бачили, існує п'ять основних джерел інформації, досяжних для експерта: опитування, анкети, спостереження, співбесіди та документи. Однак ці групи охоплюють широкий спектр видів діяльності. Матрицю оцінювання зображено в ілюстрації 1, що допомагає відобразити спектр джерел інформації, які можна використовувати на різних рівнях аналізу. Хоча не кожна ділянка має бути остаточною, потрібно розглянути всі джерела й вибрати оптимальне для кожного питання та для кожної стадії аналізу.

Недавній досвід підтвердив важливість цієї умови. На зустрічі експертів програми «Професійно-технічна освітня ініціатива», організованій кілька років тому, один з експертів на місцевому рівні зауважила, що її завданням було дослідити зміни в методиці викладання. Для цього експерт планувала порозмовляти з учителями. Цікаво, що якраз тоді я закінчив оцінювання цього аспекту роботи професійно-технічних шкіл і виявив (крім невеликих змін у методі викладання), що розмови з учителями про методи викладання не збігаються з даними спостереження на цю тему, а відповіді в анкетах учнів майже відповідають спостереженням за класом. Це переконливий доказ на користь розгляду всіх наявних джерел інформації.

Визначте схему атестації

Атестація - це метод, який з'явився нещодавно. Це поняття сформоване на підставі поняття фінансової атестації для того, щоби підвищити надійність інформації й утвердити мету оцінювання. У своїй останній книзі Швандт і Хелперн так описують доцільність атестації:

«Підготування атестації важливе з двох причин. По-перше, атестація оформлює дослідження, до уможливлює аналіз, який здійснює третій учасник. Вона містить інформацію, яка описує методи контролю над помилками й досягнення правильних висновків. По-друге, атестація важлива для експерта. Ми виявили, що коли експерти систематично записують свої дослідження, очікуючи на атестацію, це сприяє правильності записів. Вони вважають, що організована перевірка корисна, коли треба легко відтворити інформацію для підсумкової доповіді. Деякі експерти зазначили, що коли вони документують проведення дослідження, то більше обдумують, критично оцінюють й аналізують свої думки.

Систематична структура документації виконує функцію контролю якості оцінювання й допомагає керувати цим процесом за загальноприйнятими принципами».

Хоча атестація може здатися занадто механізованим процесом, такий систематичний збір даних та аналіз завжди підвищують точність і можуть бути особливо корисними в ситуаціях, коли висновки та інформація, на якій вони ґрунтуються, відкриті для запитань та уважного розгляду.

Опрацювання та зображення даних

Спробувавши чітко описати процедури й аналітичні процеси, які використовують у проведенні якісного оцінювання експерти, Метью Майлз і Майкл Х'юбермен розробили логічні та інтерактивні моделі. У вступі до книги «Аналіз якісної інформації» вони так описують головні компоненти цих моделей:

«Опрацювання даних: опрацювання даних належить до процесу відбору, розгляду, спрощення, абстракції та трансформації «неопрацьованої» інформації у статистичні записи. Коли збір даних продовжується, відбувається процес опрацювання (резюмування, кодування, окреслення тем, групування, розподіл, написання тез). Процес опрацювання/трансформації даних триває й після збору статистичних даних до підсумкового звіту.

Зображення даних: зображення даних - це другий за важливістю етап аналітичної діяльності. Ми визначаємо поняття «зображення» як організоване зосередження інформації, що дає змогу підбити підсумки й розпочати діяльність. Це зображення допомагає нам зрозуміти, що відбувається, і провести аналіз або розпочати діяльність, яка ґрунтується на цьому розумінні.

Підведення й підтвердження підсумків: третім етапом аналітичної діяльності є підбиття й підтвердження підсумків. З початком збору інформації експерт, який проводить якісне оцінювання,

(Продовження документа на наступній сторінці)


24.03.2008

Коментарі
Аватар
Залишилось 2000 символів. «Правила» коментування
Ім’я: Заповніть, або авторизуйтесь
Код:
Код
Немає коментарів

Щоб отримувати всі публікації
від сайту «Osvita.ua»
у Facebook — натисніть «Подобається»

Osvita.ua

Дякую,
не показуйте мені це!