Третій етап роботи

1. Ознайомтеся із запропонованою інформацією.

2. Візміть участь у обговоренні.

1. Інтерпретація даних за результатами моніторингу

    Одним з етапів процесу дослідження є відповідна інтерпретація результатів дослідження фахівцями (переведення їх на мову педагогіки, психології, управління) та підготовка відповідних рекомендацій.

    Міжнародний досвід свідчить про те, що кожна оцінна процедура має свою зону дії і не може використовуватися для вирішення не властивих їй завдань. Проте результати одного й того ж моніторингового дослідження можна інтерпретувати для різних категорій користувачів за умови використання різних аналітичних процедур, підходів, показників.

    Показники мають відображати стан тієї ділянки роботи і в такому ракурсі, в якому працює управлінець даного рівня системи освіти, оскільки орієнтуючись на ці показники він не тільки вибудовує свою діяльність, але і зможе використати всі наявні в його розпорядженні ресурси для впливу на ці показники (Боченков С.А., експерт Незалежного агентства оцінки якості освіти «Лідер», м. Чебоксари. Возможные варианты интерпретации результатов оценочных процедур. Кейс Единого государственного экзамена. http://www.rtc-edu.ru/trainings/study/283).

   На попередніх етапах роботи у семінарі ми опрацьовували прийоми використання статистичних, графічних методів при проведенні аналізу результатів моніторингових досліджень. Ще одним з основних методів, який ми використовуємо для інтерпретації отриманої інформації, є метод порівняння. Загальні підходи щодо здійснення порівняльних процедур схематично представлено Боченковим С.А., експертом Незалежного агентства оцінки якості освіти «Лідер», м. Чебоксари (http://www.rtc-edu.ru/sites/default/files/files/trainings/seminars/seminar6/Bochenkov7.pptx; Рис. 1).

                                                                                                            Рис.1

Про моніторингові дослідження навчальних досягнень учнів.

     Почнемо з визначення: «Моніторинг навчальних досягнень школярів - це стандартизована процедура оцінки результатів навчання, яка проводиться на регулярній основі і має своєю метою надання актуальної для управлінців і педагогів інформації щодо рівня знань і навичок різних груп учнів, тенденцій їх змін і факторів, що впливають на результати навчання» (Вальдман І.О., канд. пед. наук, директор Російського Тренінгового центру ІУО РАО. http://www.rtc-edu.ru/sites/default/files/files/trainings/kurs7/Valdman7.pptx)

    Серед науковців та практиків-освітян існують неоднозначні підходи щодо порівняння результатів навчальної діяльності. Лапшина І.С., канд.. пед.. наук, ст.. викладач ЗОІППО, виділяє та  дає оцінку традиційним для педагогічної практики підходам:

• за відсотками успішності та якості знань. Однак слід зважати на те, що після запровадження дванадцятибальної системи оцінювання цей підхід є достатньо неефективним;
• за відсотками кількості учнів на навчальних рівнях. Недоліком цього підходу є завелика кількість даних, що значно ускладнює аналіз; 
• за середнім балом. Проте цей підхід є несумісним з орієнтацією освіти на розвиток особистості; 
• кваліметричний підхід, розроблений д.пед.н. Г.В.Єльниковою, що є найменш трудоємним і достатньо ефективним. Він полягає в тому, що кожен бал, отриманий учнем, має свою вагомість, і за формулою вираховується кваліметричний показник, що є частковим виразом відповідності освітнього процесу бажаному результату. (Лапшина І.С Підходи до добору показників моніторингових досліджень в управлінні районною освітньою системою http://www.tme.umo.edu.ua/docs/4/10lapdes.pdf).

     На практиці ми вже неодноразово використовували роз’яснення щодо інтерпретації абсолютних значень та динаміки кваліметричного показника, викладені у статті Лапшиної І.С. (Лапшина І. С. Моніторинг рівня навчальних досягнень учнів – дієвий механізм корекції освітнього процесу / І. С. Лапшина // Педагогіка і психологія формування творчої особистості: проблеми і пошуки : зб. наук. пр. / редкол. : Т. І. Сущенко (відп. ред.) [та ін.]. – Київ-Запоріжжя, 2009. – Вип. 54. – С. 25–27.). Наведу фрагмент цієї статті, який досить часто цитується в публікаціях українських видань

    Для виявлення якості засвоєння Державного стандарту деякі російські наукові установи, які опікуються питаннями моніторингу якості освіти, використовують такі показники: кількість учнів, що виконали діагностичну роботу на підвищеному рівні (роботу виконано на 70% і більше) (грунтується на шкалі оцінювання ЄДЕ), "поріг кращих результатів" (10% учнів з найкращими результатами з предмету).

  Дуже часто вітчизняні управлінці застосовують для інтерпретації результатів моніторингу навчальних досягнень підходи, які розроблені д. пед.. наук, професором В.П.Симоновим (наприклад). Але хочу звернути увагу, що запропонована ним математична модель рівня навченості ґрунтується на 10-бальній шкалі оцінювання й, на мою думку, не може бути застосованою в умовах 12-бального оцінювання рівня навчальних досягнень.

    Певною альтернативою використанню середнього балу в якості показника для оцінювання навчальних досягнень учнів є застосування для аналізу та інтерпретації медіанних значень. Медіаною називають середнє значення відранжованого ряду результатів (тестових балів), яке ділить весь ряд на дві рівні частини. Учні однієї половини мають бали вище за медіану, умовно назвемо її «сильною», а учні другої половини, «слабкою», мають бали нижче медіани. Про певні зміни у навчанні можна робити висновок на основі порівняння медіан результатів різних етапів моніторингових досліджень. (Автоматизувати підрахування медіани можна за допомогою статистичної функції MS Excel «МЕДІАНА»).

    При підведенні підсумків ЗНО фахівці УЦОЯО для інтерпретації результатів використовують психометричні характеристики тестів. В шкільній практиці, на мою думку, можна застосувати таку характеристику, як середня складність завдань (детальніше: Звіт про проведення зовнішнього незалежного оцінювання навчальних досягнень осіб, які виявили бажання вступати до вищих навчальних закладів України в 2013 році).
 
    Загальні підходи до інтерпретації результатів моніторингу

   Важливо, щоб оцінка (інтерпретація) була адекватною, справедливою та об’єктивною. Аналізуючи інформацію результатів дослідження, необхідно знати чинники, що впливають на результати моніторингу і можуть мати позитивний чи негативний наслідок:

• чинники, що перекручують істинні оцінки (якість інструментарію, професійність, підготовленість і часта зміна кадрів у процесі експериментальної роботи, еквівалентність груп, перекручування результатів, соціальне становище, зовнішнє середовище);
• досконалість діагностичного інструментарію (соціально-психологічні, психолого-педагогічні, медичні методи дослідження). Вимогами до діагностичного інструментарію є валідність, апробованість, зручність у використанні, в окремих випадках анонімність; 
• професійність і відповідна підготовленість кадрів; 
• зміна кадрів у процесі дослідження; 
• періодичність проведення діагностування; 
• відбір (еквівалентність груп) учасників дослідження; 
• групова фальсифікація результатів; 
• вплив соціально-територіального середовища; 
• швидкість протікання періоду адаптації учасників дослідження; 
• фактори, що не змінюються з часом, і фактори, що змінюються (Джерело: Бабінець С. Моніторинг якості освіти: педагогічний аналіз).

Рекомендовані джерела:
Ефремова Н. Тестовый контроль в образовании. Глава 5. Методы анализа результатов тестирования
Результаты мониторинга качества начального общего, основного общего, среднего (полного) общего образования в общеобразовательных учреждениях Новосибирской области (I этап 2013 г.). 
Матеріали сайту Російського тренінгового центру Інституту освіти НІУ ВШЕ (особливо розділи "Ресурсный центр", "Обучение")
Матеріали сайту  Московського центру якості освіти