Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

тест; краткое описание основных нормативов,

критериальных оценок или получаемых при апробации

результатов (по разным выборкам, если их было

несколько); сведения о надёжности теста, о его

валиднос-ти; инструкции диагносту по проведению

процедуры тестирования, обработке данных и

обследуемому.

Только такая характеристика теста может дать

пользователю элементарные представления о

диагностической ценности теста, о целесообразности и

возможностях применения для ограниченных целей

составляющих его субтестов или включения всего теста

в состав каких-либо батарей.

При максимальной, полной, оптимальной

стандартизации в тест необходимо ввести данные об

истории создания и модернизации теста, о корреляции

между субтестами или их заданиями, о психологической

валидности теста, его педагогической валидности,

результативности применяющихся на его основе

коррекционных мер, а также информацию об очевидной

валидности теста и типичных затруднениях, проблемах,

с которыми встречаются диагносты-педагоги.

В современных диагностико-коррекционных про-

граммах, куда в качестве составляющих элементов вхо-

дят дидактические тесты углублённой диагностики, при-

водятся обычно ещё и перечни типичных ошибок

обследуемых с указанием их причин и наиболее

рациональных апробированных коррекционных мер.

Инструкция педагогам-диагностам может быть

дополнена рекомендациями по технике действий в

типичных случаях несанкционированного поведения

обследуемых.

Компьютерный дидактический тест до сих пор не

имеет своей научно обоснованной и общепризнанной ме-

тодологии и технологии стандартизации. Она пока что

является предметом исследований. В этой книге мы

рассмотрим основные требования к их созданию (в том

числе — с помощью ПЭВМ) и апробации.

В своей работе мы использовали анализ опыта тести-

рования, описанный в научной и методической психоло-

го-педагогической литературе, переработанного в соот-

ветствии с методологией педагогической диагностики и

ключевыми идеями современной дидактики; опытно-экс-

периментальные данные, полученные в процессе созда-

ния и стандартизации предметных (в основном бланко-

вых) дидактических тестов в Ростовской области учите-

лями — участниками творческих групп по разработке и

апробации стандартов образования; обобщённый опыт

создания компьютерных дидактических тестов в

Бухарской лаборатории компьютеризации процесса

обучения. Приводимые данные носят предварительный

характер, продолжают уточняться и углубляться.

ЧАСТЬ ПЕРВАЯ

МЕТОДИКА РАЗРАБОТКИ

ДИДАКТИЧЕСКИХ ТЕСТОВ

1. Основные направления

разработки дидактических

тестов

1,1. ПЕДАГОГИЧЕСКИЕ ТЕСТЫ КАК СРЕДСТВО ПОЛУЧЕНИЯ

НАУЧНОЙ И МЕТОДОЛОГИЧЕСКОЙ ИНФОРМАЦИИ

Современное дидактическое тестирование имеет

свою историю.

В 1896 г. американский психолог Дж.М. Кеттел при-

менил тесты для изучения интеллектуальной подготов-

ленности поступающих в учебное заведение [120], хотя

для психодиагностики тесты начали использоваться анг-

лийским психологом Ф. Гальтоном ещё раньше.

По мнению К. Ингенкамп, первыми тестами можно

считать появившиеся в 1864 г. «scale books» (шкалиро-

ванные книги) англичанина Джорджа Фамера и опубли-

кованные в 1894 г. таблицы по проверке орфографичес-

ких знаний учащихся американца Дж.М. Раиса [53, с. 13].

Последовавшее за открытием тестов как метода

измерения в психологии и педагогике быстрое развитие

психотехники, педологии, экспериментальной

педагогики вызвало настоящий ажиотаж. Массовое

использование тестов в практикее психодиагностики и

школы происходило одновременно с интенсивным

развитием не столько теории, сколько технологии

тестирования.

На Западе и в СССР в 20-30-х гг. главным стал праг-

матический подход, основанный не на психолого-педаго-

Ч А С Т Ь П Е Р В А Я

гической теории, а на математической статистике, что

имело свои плачевные последствия.

Если в США и несколько меньше — в Европе совер-

шенствовались технологии создания тестов и математи-

ческих методов их эмпирической проверки на надёж-

ность, валидность, то в СССР во время режима сталиниз-

ма тестология и педология рассматривались как

буржуазные извращения, что привело к свёртыванию

исследований [114] и как результат — к застою в

экспериментальной педагогике и психологии. Так, в 1935

г. в работе Б.Г. Ананьева «Психология педагогической

оценки» в духе борьбы с педологией утверждалось, что

«тестовый учёт успеваемости вреден и враждебен в

связи с тем, что он притязает на научную достоверность

и объективность; определение уровня успешности,

отождествляемого часто с уровнем общего развития и

одарённости; нивелирование социальных,

типологических и индивидуальных различий;

биологизаторское объяснение результатов как данных

природного развития» [6, с. 66].

Однако в 60-е гг. в дидактику проникают тесты, хотя

и через систему программированного обучения. Следует

отметить, что тесты в общем-то использовались и во вре-

мена сталинизма, но в виде «контрольных заданий», «са-

мостоятельных работ», упражнений и т.п.

На Западе, особенно в США, по мнению исследовате-

лей, тестирование глубоко пустило корни в американ-

скую жизнь. Никто не может продолжать

последовательное обучение в американских школах, не

подвергаясь частым испытаниям по

стандартизированным тестам разного рода» [119].

Практически каждый второй выпускник средней школы

за несколько месяцев до её окончания (если он желает

дальше продолжить учёбу в каком-либо колледже или

университете) выполняет стандартизированный

общенациональный тест CAT, который даёт возможность

определить и самому учащемуся, и учившим его пе-

дагогам уровень учебных достижений по сравнению со

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

средними результатами по стране, по штату (а зачастую

и по школьному округу, а также по сравнению с

достижениями предшествующих поколений учащихся

этой же школы).

Сопоставление определённого тестом уровня этих

достижений с требованиями колледжей, институтов и

университетов позволяет каждому, прошедшему тест,

реально знать о своих возможностях получения той или

иной высококвалифицированной профессии и выбрать

то, что посильно (но юридически можно попытаться

попасть и в самые престижные из них).

Диагностика учебных достижений, выявление спо-

собностей и склонностей учащихся являются важнейши-

ми задачами системы образования. В США в 1981 г. со-

здан Национальный совет по стандартам образования и

тестированию.

Традиционная система контроля знаний в 1970-1980

гг. резко критиковалась. В бывшем Советском Союзе

развитие дидактической тестологии связано с работами

Н.Ф. Талызиной по программированному обучению [148]

и В.П. Беспал ько по проблемам педагогической

технологии [22].

Отмечая, что учебные методы контроля пригодны

для непосредственного общения учителя со

школьниками на уроке по конкретным изучаемым на

занятии вопросам, при проведении беседы, семинара,

коллоквиума (как средство получения некоторой

информации о текущем усвоении материала), В.П.

Беспалъко пишет, что «для оценки качества знаний эти

методы контроля не годятся, так как необходимые

диагностичность, точность и воспроизводимость

результатов в них не заложены». Аналогичными

недостатками страдают и обычные письменные кон-

трольные работы. Поэтому необходима специальная раз-

работка материалов тестов, ориентированных на уровни,

решения тех или иных учебных задач [22, с. 58]. Сейчас

такой подход разделяют многие педагоги. Однако боль-

шинство исследований в этой области имеет прикладной

Ч А С Т Ь П Е Р В А Я

характер. Именно поэтому данные интересных тестов

оказываются трудносопоставимы из-за разнобоя в

терминологии заданий, в подходах к построению тестов,

в качестве их обоснования и эмпирической проверки.

Методологически слабая обеспеченность

дидактического тестирования во многом определяется

недостаточной разработанностью и определённостью

понятийного аппарата — постоянно смешиваются

даже такие ключевые понятия, как «тест» и «тестовое

задание», не конкретизирована терминология видов

тестов и тестовых заданий. Кроме того, большинство

педагогов-практиков не имеет представления о таких

важных элементах обеспечения качества

экспериментальной работы, как репрезентативность

выборки, надёжность, валидность.

Почти сорок терминов характеризуют различные ас-

пекты валидизации методик, используются в научных

публикациях весьма некорректно — то как параллель-

ные, то как взаимоисключающие.

Подобная ситуация характерна не только для

педагогики, но и других социальных наук.

Педагоги об одном и том же нередко говорят на раз-

ных языках, вкладывая в понятия свои толкования или

изобретая термины, которые никто, кроме автора, не по-

нимает и не желает принимать. Это хорошо прослежива-

ется по научным и научно-методическим публикациям.

Нарастает взаимонепонимание ученого-методиста и

учителя-практика, в котором виноваты они оба — ученый

в том, что, необоснованно, плохо раскрывая суть, вводит

«заумную», с точки зрения практика, терминологию, а

практик — в том, что даже и не пытается вникнуть в суть

теории и понять значимость применения строгой терми-

нологии, без которой трудно оценить результативность

его работы.

Подобная ситуация весьма болезненно сказывается

на любых инновациях и, естественно, — на внедрении в

массовую школьную практику методологически

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

обоснованного, профессионального дидактического

тестирования.

В. современную педагогическую литературу, особен-

но посвященную вопросам методологии педагогического

исследования, тестирование «пробирается» с трудом —

как будто такого метода вообще нет или о нём всем всё

известно.

В учебниках педагогики уже почти шестьдесят лет о

тестах ничего не говорится. В учебниках психологии о

них вспоминают лишь мельком. Не лучше и научно-мето-

дическая литература. В брошюре «Методика

педагогических исследований» (под ред. д.п.н. Н.Р.

Гайбуллаева. Ташкент, 1987) дидактические тесты как

метод педагогического исследования (педагогической

диагностики) не упоминаются [86]. Соответственно нет

речи ни о валидности, ни о надёжности методик. В

качестве подобного примера можно привести брошюру

Ю.В. Варданяна «Разработка программы и методики

педагогического исследования» (Методические

рекомендации. М-.: МГПИ им. В.И. Ленина, 1989). В ней

также не нашлось места ни тестам, ни проблемам

проверки их надёжности и валиднос-ти [124].

Вероятно, сказывается многолетний негативизм офи-

циальной советской педагогики по отношению к тестам,

сочетающийся с традиционным невниманием к коррект-

ности понятийного аппарата. Одним из типичнейших

симптомов некорректности в использовании понятий яв-

ляются эпизодически вспыхивающие на страницах жур-

налов споры о том, что такое педагогика — наука или ис-

кусство, аналогичные дискуссии о том, что старше — ку-

рица или яйцо. И столь же плодотворные.

Под термином «тест» в советской

психологопедагоги-ческой литературе до 1980-х гг.

имелось в виду задание, с чётким и однозначным

вариантом правильного ответа, ориентированным на

определённые нормативы.

Классик советской психологии СЛ. Рубинштейн в

1938 г. дал следующее определение теста: «Тест — это

Ч А С Т Ь П Е Р В А Я

испытание, которое ставит своей целью градуирование,

определение рангового места личности в группе или

коллективе, установление её уровня. Тест направлен на

личность, он должен служить средством диагноза и

прогноза» [130, с.27]. Его современник, один из

основоположников советской психотехники С.Г.

Геллерштейн, писал: «Тест — это испытательный

эксперимент, носящий характер определённого задания,

которое стимулирует определённую форму активности и

выполнение которого, поддаваясь количественной и

качественной оценке, служит симптомом

совершенствования определённых функций» [33, с.З].

Появление «критериально-ориентированных» тестов

(по распространенной психологической терминологии)

привело к значительному расширению объёма понятия

«тест» (равно как и внедрение аппаратурных методик в

профессиональную психологию и педагогику). То, что в

технических науках и специальных отраслях медицины

называется тестированием, при интеграции этих наук с

педагогическими расширяет круг явлений, охватывае-

мых устоявшимся понятием.

В значительной мере такая тенденция закономерна.

Исследователь педагогической терминологии И.М.

Кантор отмечает, что «междисциплинарные внут-

риотраслевые связи и отношения (в рамках обществен-

ных или естественных наук) имеют своей основой

объектную общность, что создает почву для

содержательного обмена понятиями. Существование

объектной общности может послужить основанием и для

межотраслевых отношений и.обменов, если эта

общность имеет реальный научный смысл» [58, с. 128].

Далеко не однозначен и термин «дидактический

тест»: как синонимы используются термины «педагоги-

ческие (»учительские», «преподавательские») тесты»,

«тесты достижений», «тесты контроля знаний», «тесты

умений и навыков», «учебные тесты», «контрольные тес-

ты».

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

При этом разные авторы вкладывают своё (не всегда

чётко определённое) понимание в эти термины. Напри-

мер, у Ч. Куписевича «преподавательский тест» — это

не-стандартизированные тесты, которые «могут быть

составлены лицами, исследующими результаты учёбы,

достигнутые на проведённых ими учебных занятиях»

[68, с. 37]. В отечественной и переводной литературе,

изданной до начала 90-х гг., автору удалось обнаружить

около 20 оснований для типологизации тестов и

тестовых заданий и более 30 терминов,

характеризующих различные аспекты валидизации

тестов. Таким образом, терминологическая анархия

негативно сказывается на формирующуюся в наши дни

педагогическую тестологию.

Такая ситуация для педагогики (как и других гума-

нитарных наук) не нова, поскольку к некорректности по-

нятийного аппарата сами педагоги давно привыкли (не-

редко мотивируя это на «теоретическом» уровне тем, что

педагогика не столько наука, сколько искусство), что во

многом справедливо, однако это не должно мешать науч-

ной части педагогики (и, в частности, диагностической

гестологии) операционализировать свои понятия. Веро-

ятно, надо создавать специальные терминологические

словари.

Вопрос о необходимости тестов в педагогике давно

уже позитивно решила практика — «да, нужны, но на

своём месте, если они будут решать чётко определённый

круг дидактико-диагностических задач». Особо нужны

надёжные и валидные стандартизированные тесты, а не

любительские самоделки.

От других способов контроля и оценки результатов

учебного процесса тесты отличаются большей точностью

и доступностью для измерения разнообразными количе-

ственными методами. Но это возможно только в тех слу-

чаях, когда тесты построены методологически и методи-

чески грамотно, что на практике встречается далеко не

всегда.

Ч А С Т Ь П Е Р В А Я

Тесты являются только одним из видов учебных

заданий, используемых для контроля и

диагностики знаний учащихся. Независимо от

содержания и формы построения тестом можно

считать только такую систему специально

составленных заданий, решение которых имеет

однозначные правильные ответы либо чёткое

описание (как минимум — на уровне ранговой

шкалы) критериев интерпретации и оценки ответов

(хотя бы как правильные — неправильные). Далеко

не всякая задача может быть представлена в фор-

ме теста.

В зарубежной педагогической и психологической ли-

тературе тестами нередко называют то, что в бывшем

СССР именовалось письменными контрольными работами

по общим для всех учащихся вопросам ранее изученного

материала.

Польский дидакт Ч. Куписевич считает, что отличие

дидактического теста от письменной проверки в конце

уррка знаний и умений всех учеников класса с помощью

одних и тех же вопросов заключается в следующем:

«включённые в дидактический тест вопросы являются

вопросами замкнутыми, ограничивающими свободу отве-

та ученика и состоящими или в дополнении имеющихся в

тексте пробелов, или в выборе правильного ответа среди

нескольких неполных или даже ошибочных» [68, с. 31].

Такое понимание дидактических тестов нам кажется

ограниченным, ибо их виды и формы намного

разнообразнее. Кажущаяся простота тестов — их

построения, применения и анализа— во многом

обманчива.

Тесты, при профессиональном конструировании и

применении, экономят время педагога при проведении

однообразных операций контроля знаний. Но ни в одной

современной дидактической системе они не являются

единственно верным средством контроля.

Следует, отметить, что тестирование и как метод ис-

следования, и как метод диагностики имеет не только