Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 441

анализу и обработке данных. Это своего рода

детализированная объяснительная записка.

В руководстве даются полное название теста, харак-

теристика его диагностических целей, задач, информация

об авторах-разработчиках, описание структуры теста

(иногда и его спецификация), сведения о его модерниза-

ции (модификациях, версиях), репрезентативности вы-

борки апробации, её сильных и слабых сторонах, о надёж-

ности и методах её проверки, о валидности — содержа-

тельной (относительно каких учебных программ или ка-

ких укрупнённых дидактических целей), критериальной

(какие показатели по каким внешним критериям), ло-

кальной (для каких подгрупп обследованных), конку-

рентной (с какими другими тестами и методиками).

Кроме того, в руководстве к тесту обязательно пред-

ставлены нормативы (обычно с кратким описанием про-

цедур их выработки или даже с приложением исходных

таблиц, со ссылками на литературу, в которой отражены

методологические исследования такого типа по данному

тесту).

Нормативы в хороших стандартизированных тестах

даются не только по всему контингенту (обычно для воз-

растных групп или года обучения в школе), но и по специ-

фическим подгруппам (национальные меньшинства,

мальчики и девочки и т.д.).

В руководства по тестированию следует включать

также данные о возможном распределении возрастания

показателей при тестировании параллельными формами

[7, с. 50].

Большинство применяемых стандартизированных

тестов составлялось ещё в докомпьютерную эпоху. Поэто-

му вместе с нормативами обычно приводятся достаточно

подробно описанные процедуры обработки результатов

тестирования (с формами таблиц, графиков представле-

ния данных, технологией перевода «сырых» баллов в оце-

ночные по шкалам субтестов и по тесту в целом).

Хорошее руководство акцентирует внимание пользо-

вателя-диагноста на типичных противоречиях в ответах

Ч А С Т Ь В Т О Р А Я

или особо симптоматичных для целей диагностики дан-

ных (наиболее информативных показателях).

Многие стандартизированные тесты имеют свои ком-

пьютерные версии и почти все — компьютерные програм-

мы обработки. Чаще всего компьютерные версии тестов

предлагаются отдельно.

В США в большинстве штатов приняты законы об

аттестации и лицензии психологов, применяющих тесты.

Обычно требуется степень доктора философии (в бывшем

СССР — это уровень кандидата психологических наук) и

определённое знакомство с практической деятельностью,

удовлетворительная сдача квалифицированного

экзамена.

России такясе необходимы такие законы, так как уже

несколько десятилетий наблюдается та ситуация, кото-

рую так стараются избежать в цивилизованных странах.

Методики применяют все, кому они стали доступны, а

именно все желающие и готовые заплатить за их приоб-

ретение. Мы полностью согласны с позицией А. Анастази:

«Требование, чтобы тесты использовались только до-

статочно квалифицированными экспериментаторами, яв-

ляется первым шагом в защите индивида от неправильно-

го использования тестов». Однако для тестирования учеб-

ных достижений или профессиональной умелости нужна

минимальная специальная психологическая подготовка

[7, с. 51].

Особенно актуальным этико-методическим вопросом,

который'обязательно должен быть отражён в «Руководст-

ве к тесту», является вопрос о степени секретности

тайны результатов и диагноза.

К сожалению, у нас нередка ситуация, когда сугубо

интимные ответы учащихся обсуждаются на педсоветах,

да еще и с вызовом родителей, которые потом «учат» сво-

их детей дома.

Применительно к дидактическому тесту учебных до-

стижений надо решить вопрос о том, что из результатов

профессионального теста может и должно стать извест-

442

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 443

ным педагогу-предметнику, классному руководителю,

директору, родителям и, наконец, самому учащемуся.

В принципе тот же вопрос относится и к неформаль-

ным тестам текущего и итогового контроля, но они на то

и неформальные, что их выводы имеют очень

относительную диагностическую ценность, которую легче

оспаривать.

Практическое решение этого вопроса известно уже

четверть века. В 1970 году в США были изданы «Основные

правила по сбору, хранению и распространению данных

об учениках ».

В соответствии с ними при оценке пригодности доста-

точно согласия родителей, опекунов, представителей ин-

тересов учащихся, а при оценке личности требуется инди-

видуальное согласие самих учеников. Ведущие американ-

ские специалисты справедливо считают, что профессио-

нальная ответственность связана не только с применени-

ем тестов и сохранением тайны ответов, но и с

распространением самих тестов, с их публикацией и

любыми способами тиражирования.

Это полностью относится к рекламным проспектам

тестов и к объявлениям в педагогической прессе. В СССР

в 1987 г. были предложены примерные нормативные тре-

бования к разработчикам и пользователям диагностичес-

ких методик, ориентированные на принятые междуна-

родные требования. Однако, к сожалению, большинство

из них не соблюдается даже в публикациях центральных

журналов. Сборники тестов и отдельные методики, в том

числе и требующие профессионализма пользователя, сво-

бодно продаются и покупаются.

Поэтому вопросы о том, кто имеет право пользования

какими методиками, постоянно возникают вновь и вновь.

Кроме того, не решены вопросы об авторских правах

разработчиков дидактических тестов. Ведь создать каче-

ственный тест и стандартизировать его по всем правилам

— это огромный объём научно-методической работы. А

перепечатки чужих тестов стали обычным делом поли-

графического пиратства.

Ч А С Т Ь В Т О Р А Я

В единственной статье, посвященной проблеме автор-

ских прав разработчиков, В.В. Спасенников отмечает, что

«сложившийся в наши дни разрыв между фундаменталь-

ными и прикладными исследованиями, наряду с другими

причинами, обусловлен отсутствием защиты прав авторов

на создаваемую ими продукцию», в том числе психологи-

ческие тесты. Следствием является отсутствие конкурен-

тоспособных отечественных психодиагностических тесто-

вых методик на мировом рынке и слабая заинтересован-

ность зарубежных коллег в сотрудничестве [141, с. 124].

При оформлении заявочной документации на новые

тесты с учётом оценки уровня разрабатываемой методики

на дату приоритета и её возможных областей практичес-

кого приложения В.В. Спасенников предлагает следую-

щее определение: «Тест — это диагностико-прогностичес-

кая методика,, принадлежащая к классу стандартизиро-

ванных методик испытательных измерений. Она отлича-

ется тем, что для получения мер, характеризующихся

высокой информативностью, содержательной валиднос-

тью, дифференцированностью, точностью и надёжностью,

тест должен включать систему оценивания результатов

испытаний и критериально-оценочную спецификацию и

обладать существенностью отличий, новизной и по-

ложительным эффектом» [141, с. 127].

Своя система рекомендаций должна быть

выработана педагогами-тестологами вместе с юристами

применительно к стандартизированным дидактическим

тестам. При этом должен быть учтён более массовый

характер педагогической деятельности (по сравнению с

работой профессионального прикладного психолога), а

также разграничены учительские самодельные тесты

текущего и рубежного контроля знаний (и,

соответственно, авторские права на них) и

профессиональные педагогические стандар-

тизированные тесты.

Принято разделять методики в психодиагностике на

«открытые» — «Ометодики» и профессиональные «П-ме-

тодики».

444

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 445

Выступая против открытой публикации П-методик,

А.А. Реан приводит следующие аргументы:

— неподготовленность пользователя-непрофессиона-

ла к правильной информации полученных данных из-за

слабой теоретической базы;

— неумение непрофессионалов обеспечить взаимо-

контролем методик достоверность данных;

— «ознакомление неспециалистов с принципами по-

строения психодиагностических методик приводит к по-

тере диагностической ценности методики, так как «её ва-

лидность вызывает сомнения» (аргумент весьма спорный,

на наш взгляд) [127, с. 187].

В российской дидактической тестологии «П-методик»

пока нет — просто ещё не успели разработать или пе-

ревести и адаптировать по всем правилам. Но рано или

поздно они появятся, а с ними и весь спектр проблем, ко-

торыми сейчас озадачены психологи.

По мнению А.А. Реана, издание полной информации

по П-методикам даже в книгах с грифами «для научных

библиотек» не сможет предотвратить широкое несанкци-

онированное распространение методик. Им справедливо

поднимается вопрос о том, кто должен относить методики

к какой-либо категории, ибо «общество психологов (и его

центральный совет) не является директивным органом» и

ему подотчётны только его члены. Да и само «Общество

психологов» находится в состоянии распада, хотя и пред-

принимаются меры по его возрождению. У педагогов, как

обычно, ситуация ещё хуже.

А проблема с дидактическими тестами — с правом на

их разработку, публикацию и внедрение — уже стоит у

ворот педагогики. Можно в принципе согласиться с эти-

ческой позицией, занять которую считает необходимым

А.А. Реан: «Ответственный и сознательный подход к пси-

ходиагностике должен стать залогом того, что в психоло-

гии не повторится 1936 год, не появится новое постанов-

ление «О педологических извращениях», иначе говоря,

не произойдёт дискредитация чрезвычайно важных прак-

Ч А С Т Ь В Т О Р А Я

тических вопросов, к решению которых приступила Со-

временная психология» [127, с. 188].

У тестологии в педагогике и психологии общая судьба

и опасения тоже общие.

Особый вопрос тестологии, который обязательно дол-

жен быть чётко и однозначно зафиксирован в руководст-

ве к тесту, — это средства профилактики негативных си-

туаций тестирования.

В процессе тестирования, как показывает отечествен-

ный и зарубежный опыт, далеко не все обследуемые

горят желанием предельно добросовестно и искренне

отвечать на предлагаемые задания теста. Отказ отвечать

на тест значительно искажает результаты, особенно если

число отказавшихся превышает 5%.

Декларированные отказы (независимо от мотивов)

при массовом панельном тестировании снижают у осталь-

ных обследуемых мотивацию работы с тестом.

Негативно публичные отказы сказываются на репре-

зентативности выборки теста, если инициаторами отказов

являются лидеры групп. Попытки убеждать и уговари-

вать, как утверждают опытные исследователи, ни к чему

обычно не приводят. Запуганная при дидактическом тес-

тировании группа даёт заведомо заниженные результаты.

В качестве профилактики ситуаций отказов следует

выбрать оптимальное время, определить время тестиро-

вания, определить его разумную продолжительность (с

учётом того, что после 30-35 минут работы с тестом про-

дуктивность решений снижается), создать комфортные

условия при поведении тестирования, чётко и понятно

предварительно объяснить цели и задачи тестирования,

значимость его результатов для объективного оценива-

ния знаний и умений учащихся. Кроме того, внешний вид

и стиль общения лица, проводящего тестирование,

должны не отвлекать обследуемых, а стимулировать доб-

росовестную работу, создавая доброжелательную рабо-

чую атмосферу.

А. Анастази ссылается на имеющиеся данные о том,

что включение в тест описания приёмов отбора заданий

446

АПРОБАЦИЯ И СТАНДАРТИЗАЦИЯ ДИДАКТИЧЕСКИХ ТЕСТОВ 447

значительно уменьшает количество отказов из-за опасе-

ний посягательств на тайны личности [7, с. 57].

Другим видом являются преднамеренные искажения

ответов со стороны тех, кто знает правильный ответ, но

по каким-то причинам решает пошутить, позабавиться

или поскорее избавиться от процедуры тестирования.

Если при проведении тестирования педагогом-диа-

гностом были замечены какие-либо отвлекающие «шумо-

вые» факторы, он обязан в отчёте их зафиксировать и по-

пытаться дать прогноз возможного влияния этих факто-

ров на результаты тестирования.

Для предупреждения попыток тестируемых найти от-

вет с помощью подсказки или консультаций с другим уча-

щимся надо заранее в инструкции по проведению тести-

рования чётко и недвусмысленно оговорить порядок дей-

ствий педагога-диагноста — замечание с фиксацией «на-

рушителей спокойствия» и номера задания, по которому

запрашивалась помощь, исключение для нарушителей

этого задания из числа оцениваемых, прекращение тести-

рования «нарушителей» или всей группы.

Наряду с письменной инструкцией перед сеансом тес-

тирования (на экране монитора в компьютерном тесте)

необходим дополнительный устный инструктаж, где

внимание обследуемых должно быть обращено на

наиболее важные процедурные моменты.

Текст такой инструкции, которая может по ряду по-

зиций отличаться от письменной, для унификации проце-

дуры следует приводить полностью (включая рекоменда-

ции тесто лога самим обследуемым с советами, на что при

работе с тем или иным субтестом стоит обратить внима-

ние).

Какова допустимая помощь опрашиваемым со сторо-

ны тех официальных лиц, которые непосредственно про-

водят сеанс тестирования? Её дозировка, объём должны

быть в руководстве к тесту во всех типичных случаях чёт-

ко и однозначно определены, а также роль и степень

пол-

448

номочий самого тестолога, проводящего сеанс, — амери-

канцы называют его супервизором.

В состав методических материалов, сопровождаю-

щих известные на Западе дидактические тесты, обычно

включается перечень типичных ошибок, допущенных

учащимися при выполнении заданий.

Это очень важно для критериальных тестов и

диагно-стико-коррекционных программ (особенно для их

компьютерных версий, где возможна система

оперативного возврата испытуемого к базовой

информации для решения тестовой задачи в целях

доучивания и последующего повторного тестирования,

но уже по другому варианту задания, иногда более

сложному).

Также чрезвычайно важны для педагогической

валидизации теста перечни ошибок (см. раздел 2.8),

выработка эффективных оперативных коррекционных

мер.

Чем полнее и разностороннее в дидактическом

тесте его информационно-методическое обеспечение,

чем продуманнее и гуманнее составлено руководство к

нему, тем больше вероятность того, что он превратится

в уважаемого и авторитетного долгожителя типа теста

Бине—Симона и его не постигнет судьба бабочки-

однодневки.

ЗАКЛЮЧЕНИЕ

Стандартизация дидактических тестов — необходи-

мое условие создания качественного диагностического

инструментария контроля результатов образовательной

деятельности. Непривычность и объёмность этой работы

объективно требует профессионального подхода со

стороны всех участников и заинтересованных лиц — от

руководителей системы образования на региональном и

федеральном уровнях до рядового учителя.

Профессионализм управленцев в вопросах дидакти-

ческой тестологии заключается в понимании сложности

449

задач создания валидных и надёжных дидактических те-

стов, в отказе от попыток решить вопросы создания

измерителей в «пожарном порядке». Кроме самоделок,

цена которым невысока, учителя, не прошедшие

специальной подготовки или не проработавшие

досконально данное пособие, ничего создать не смогут.

Профессионализм педагогов — особенно первой и

высшей категорий, имеющих большой опыт работы с из-

мерителями традиционного типа, — должен быть каче-

ственно иной. Профессионалов-тестологов, специализи-

рующихся на дидактической диагностике, в нашей стра-

не пока нет. Значит, надо учиться на имеющемся опыте

и становиться профессионалами самим педагогам-мето-

дистам, тем, кто интересуется дидактической тестологи-

ей и уже пробовал самостоятельно создать дидактичес-

кий тест.

Профессионализм рядового учителя — это

понимание важности соблюдения процедур и этики

дидактического тестирования предлагаемых ему

диагностических методик. Это и подключение к

педагогам-лидерам, а то и разработчикам в качестве не

только сознательного и умелого участника процесса

апробации тестов в своей школе, но и как соавтора

эксперимента.

Но это временный выход из положения — до тех пор,

пока не будут пересмотрены и модернизованы, дополне-

ны диагностической составляющей, программы педаго-

гических вузов и колледжей, а также программы курсов

облИУУ, институтов повышения квалификации и пере-

подготовки работников образования.

Параллельно на федеральном и региональном уров-

нях необходимо создавать аттестационно-диагностичес-

кие центры, в составе которых опытнейшие методисты-

предметники будут совместно с психологами, социолога-

ми и программистами заниматься профессиональной

разработкой батарей тестов по образовательным

областям и по предметам (с включением в эти батареи

тестов обучаемости и тестов способностей для

реализации адаптивной стратегии тестирования). И,

конечно же, апробацией этих тестов по всем правилам

450

стандартизации — наряду с переводными тестами. Базой

разработок в наши дни могут быть многочисленные

инновационные и альтернативные школы (с

обязательным включением в выборки обычных школ).

Осознание необходимости стандартизации диагнос-

тического инструментария в сфере управления образова-

нием имеется. Не хватает средств финансирования.

Педагоги массовой школы должны получить возмож-

ность ознакомиться с элементарными требованиями к

стандартизации дидактических тестов, а также и других

диагностических методик, через научно-популярную ли-

тературу и свои отраслевые предметно-методические

журналы. И через наше пособие тоже.

Кроме самостоятельного и группового (на внутри-

школьных методических совещаниях и семинарах) изу-

чения и обсуждения подобного рода литературы целесо-

образна организация краткосрочных курсов творческих

групп на базе ИПК и ПРО, облИУУ, районных и городских

методкабинетов с приглашением тех специалистов

вузов, которые сами ориентируются как в содержатель-

ном аспекте разработки дидактических тестов, так и в

технологическом.

Самая главная группа педагогов, ключевая для эф-

фективного решения проблем разработки и апробации

стандартизированных дидактических тестов, — это те

методисты и учителя, которые уже имеют опыт в

создании самостоятельных тестовых заданий для

текущего, рубежного или итогового контроля знаний,

умений учащихся, их обучаемости, готовности к школе, к

переходу на другие ступени образования или в

профилированные, альтернативные учебно-

образовательные заведения.

Интенсивная подготовка этой категории педагогов

на специализированных углублённых курсах методами

активного обучения и тренинга, при стимулировании как

финансовом, так и престижном (аттестация по высшему

разряду за удачные разработки, публикация тестов, про-

шедших стандартизацию или подготовленных к ней)

позволит быстрее выйти на достойный нашей страны