Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

сторонников, но и противников. Противники

тестирования считают, что тесты часто необъективны и

неточно определяют то, что должны измерять; не могут

фиксировать сложные знания и умения; требуют

больших затрат времени на их разработку и проверку,

т.е. неэкономичны при контроле.

Недостатки используемых тестов вызвали критику

тестирования как метода диагностики — критику не все-

гда объективную, верную лишь в частных случаях.

Согласно сравнительной педагогике, «начиная с

1950-х гг. психологические основы тестирования и трех-

типная шкала стали объектом жёсткой критики со

стороны многих педагогов и психологов. Английские

педагогимарксисты Б. Саймон, М. Левитас, К. Бенн и

другие, анализируя содержание тестов и практику их

применения, приходят к следующим выводам:

1)тесты не измеряют природный интеллект;

1) в любом случае они являются тестами знаний и

умений, полученных в школе, родительском доме;

2)возможно «натаскивание» на выполнение тестов;

2) отбор на основе тестирования ставит в

невыгодное положение детей трудящихся.

Поскольку в зависимости от места расположения

школы (рабочий или привилегированный район) число

учащихся, претендовавших на обучение в

грамматической школе, могло быть разным, иногда один

балл в оценке выполнения теста решал судьбу ребёнка в

школе, в жизни. Эти выводы подтвердил известный

английский психолог Ф. Верной, за* нимающийся

вопросами одарённости» [133, с. 139].

Современная дидактическая тестология считает, что

необъективность тестов зависит в основном от низкого

качества их разработки — если они сделаны наскоро, не

проверены на надёжность и валидность.

Методология современного тестирования позволяет

создавать надёжные и валидные дидактические тесты,

используя опыт психологов и социологов.

Ч А С Т Ь П Е Р В А Я

Сложные знания и умения отдельные тестовые зада-

ния действительно не могут измерять. Но любое сложное

задание можно, при определённой переработке,

представить в виде суммы более простых (например, в

виде блочных тестов).

Конечно, качественные потери бывают, однако луч-

ше иметь неидеальные инструменты диагностики, чем

не иметь их совсем.

Значительные затраты времени на разработку и

стандартизацию тестов впоследствии окупаются их

долговременным использованием эффективного и

надёжного инструментария.

Диагностический потенциал тестов (в том числе ди-

дактических), несмотря на столетие тестологии, до сих

пор полностью не раскрыт. A.M. Арсеньев и Ф.Ф. Коро-

лев, ведущие д ид акты послевоенного СССР, писали:

«Сейчас важно не столько обогащение арсенала

методов педагогических исследований, сколько

выявление их научных возможностей» [66, с. 50].

По мнению болгарского дидакта И. Марева, с кото-

рым мы согласны, «разработка и применение тестов для

целей учебного процесса и дидактических исследований

позволит не только устанавливать эмпирические

соответствия между условиями обучения и его

результатами, но и открывать закономерности, которые

после определённой модификации могут использоваться

для широкого круга учебных дисциплин» [82, с. 94].

Существенные организационно-технологические

трудности создания хороших тестов связаны с тем, что в

настоящее время слишком мало публикаций по техноло-

гии применения диагностических методик. Но они всё-

таки есть. Так, в «Методике социально-педагогического

исследования деятельности учителя» приводится бук-

вально операционное описание технологии разработки, и

проведения анкетного опроса, интервью с педагогами,

контент-анализа, методики понятийного словаря [87].

Аналогичный опыт представления методик приводится и

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

в других учебных пособиях [95; 34; 124]. Правда, это,

скорее, исключение, чем правило.

Методологическая и технологическая разработка

проблем дидактического тестирования — это

потребность практики, её шанс стать технологичной и

эффективной, уйти от субъективизма и

непрофессионализма. Известный теоретик дидактики

И.Я. Лернер подчёркивает, что только при наличии

диагностического инструментария возможна сверка

цели и результата в образовании. «Средства

диагностики должны быть в распоряжении учителя и

доступны для него» [82, с. 12].

Два основных, почти не пересекающихся подхода

сложились в дидактической тестологии (ранее они были

характерны и для психодиагностики).

Первый — эмпирический подход, когда тест

создаётся под конкретную диагностическую задачу без

предварительной концептуальной проработки. В СССР

он был характерен для практики педологии (за что она

справедливо критиковалась своими же теоретиками —

П.П. Блон-ским, СЛ. Выготским) и для прикладной

социологии [11], а в 60-70-х гг. — для

программированного контроля.

Эмпиризм долго господствовал и в западной гумани-

тарной науке — не только в педагогике, но и в психоло-

гии, социологии. «Ползучий эмпиризм», как его называли

ведущие советские и зарубежные методологи, проявился

и в бесконечном переборе заданий тестов с исполь-

зованием развёрнутого (в основном факторного) матема-

тического анализа и в терминологическом бессилии. Со-

циологи отмечают, что «некоторые исследователи пред-

лагают исходить из так называемой наличной

обоснованности, т.е. обоснованности в понятиях

использованной процедуры. Например, считают, что

удовлетворённость работой — это то свойство, которое

содержится в ответах на вопрос «Удовлетворены Ли вы

работой?». В серьёзном социологическом исследовании,

имеющем целью проверку некоторых теоретических

Ч А С Т Ь П Е Р В А Я

гипотез, такой.сугубо эмпирический подход

неприемлем» [123, с. 247].

Нечто подобное часто происходит при составлении

тестов. Естественно, это вызывало резкую негативную

реакцию, особенно в Советском Союзе с его исторически

сложившимися (ещё с дореволюционных времён)

философ-ско-психологическими традициями уважения к

теории как основе методологии эксперимента.

Нельзя, однако, считать эмпирический подход бес-

смысленным и бесплодным. При определённой ограни-

ченности он стимулировал внедрение в психологию и

педагогику математических методов, проверку и анализ

их возможностей. Кроме того, было найдено

большинство (более полусотни) коэффициентов и

индексов критериальной валидизации, разработаны

приёмы статистической обработки. Практика эмпиризма

тесто логов убедила большинство (но далеко не всех)

разработчиков и пользователей в том, что

математизация педагогического знания и, в частности,

дидактического тестирования должна иметь разумные

пределы. Не случайно же А. Эйнштейн говорил: «С тех

пор, как моей теорией относительности занялись

математики, я перестал её понимать».

Другой подход в дидактической тестологии — теоре-

тический — связан с философско-педагогическим анали-

зом. В соответствии с этим подходом, методологическим

по своей сути, дидактическое тестирование

рассматривается лишь как одно из средств контроля

знаний и умений с ограниченной сферой применения.

Дидактическая тестология имеет право на самостоя-

тельное существование как теория среднего ранга,

соподчинённая:

а) теории дидактической диагностики (которая, в

свою очередь, является структурным компонентом тео-

рии педагогической диагностики);

б) теории дидактического контроля (в структуре об-

щей дидактики как отрасли педагогики);

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

в) теории измерений (общенаучной, в гуманитарных

науках, в педагогике и психологии).

Поэтому именно в такой системе иерархических на-

уковедческих связей должна разрабатываться дидакти-

ческая тестология в своём концептуальном аспекте (с

постоянно пополняемым опытом диагностирования,

обобщаемым в процессе концептуальных поисков).

Один из ведущих теоретиков социологии США Р.

Мертон считает, что связь между рабочими гипотезами и

всевключающими спекуляциями, охватывающими

главную понятийную схему, происходит при посредстве

теории среднего ранга. Примерами таких теорий в

социологии являются теории социальной динамики,

внутри-группового давления в малых группах с

конфликтующими интересами и т.п.

Методология — слабое место многих

педагогических исследований и педагогической

диагностики, особенно —-в решении вопросов

репрезентативности выборок исследований и

обследований, в проверке надёжности и обеспечении

валидности. Пока что оптимального взаимодействия

теоретиков и эмпириков в дидактической тестологии не

сложилось. Хотя имеются интересные для теории ди-

дактической тестологии высказывания лидеров

педагогики и педагогической психологии, а также

огромный фактический материал, разнокачественный и

слабо обобщённый на уровне эмпирических заключений.

Среди важнейших проблем теории дидактического

тестирования следует выделить следующие:

а) цели тестирования (и соответствующая им типоло-

гизация тестов и тестовых заданий);

б) направления разработки дидактических тестов;

в) общеметодологические и общедидактические тре-

бования к тестам как методу дидактики и средству изме-

рения;

г) взаимосвязь диагностируемого содержания

(знание

Ч А С Т Ь П Е Р В А Я

учебного материала, учебных действий, обучаемость) и

видов, форм тестов и тестовых заданий;

д)взаимосвязь дидактических тестов с другими диа-

гностическими методиками, их корреляция с традицион-

ными педагогическими средствами контроля знаний и

умений;

е) специфика бланкового и компьютерного

тестирова-

ния при различных педагогических технологиях обуче-

ния (особенно — инновационных).

Рассмотрим некоторые основные положения теории

дидактического тестирования.

Цели дидактического тестирования. Цель

должна быть поставлена «настолько точно и

определённо, чтобы можно было однозначно сделать

заключение о степени ее реализации и построить вполне

определённый дидактический процесс, гарантирующий

её достижение за заданное время» [22, с. 30].

Как отмечает В.П. Беспалько, педагогическая цель

поставлена диагностично, если соблюдены такие

условия: точно описано формируемое личностное

качество (чтобы его можно было безошибочно выделить

среди других качеств личности), имеется надёжный

инструментарий для однозначного выявления именно

данного диагностируемого качества, имеется

возможность измерения интенсивности развития этого

качества на основе используемых диагностических

методик, а также обоснованная экспериментально

шкала оценки качества [22, с. 32].

По мнению Н.Ф. Талызиной, контроль учебных до-

стижений учащихся «должен быть проведён по всем ха-

рактеристикам знаний и умений, которые предусмотре-

ны целью обучения как в отношении вида психической

деятельности — уровня памяти, мышления и т.д., так и в

отношении их качеств — обобщённость, сознательность

и т.д.» [149, с. 27].

Следовательно, ещё до составления теста должно

быть чёткое представление об этих характеристиках

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

знаний и умений в операциональных терминах ясно и

иерар-хично сформулированных дидактических целей (в

диа-гностичной их постановке). Иначе трудно понять,

что же конкретно, на каком уровне глубины и широты

нужно диагностировать с помощью теста и каким

основным конкретным требованиям должен

соответствовать тест (содержательная его валидность).

Задачи педагогической диагностики (и ее составной

части — дидактической диагностики) намного объёмнее

и шире задач дидактического тестирования.

Педагогу-практику необходимо определить место

дидактического тестирования в системе многоэтапного

контроля, задача которого — обеспечить надёжную и

оперативную обратную связь в педагогическом процессе.

В соответствии с целью управления обратная связь

должна показать:

а) выполняется ли обучаемым именно то действие,

которое было запрограммировано;

б) правильно ли оно выполняется;

в) соответствует ли форма выполняемого действия

за-

данной;

г) формируется ли действие с должной мерой

обобще-

ния, свёрнутости, освоения автоматизированности,

быст-

роты выполнения и пр. [148, с. 101].

Современный дидактический подход предполагает, с

одной стороны, дополнение тестов другими методами

контроля в тех случаях, когда они (другие методы)

оказываются диагностичными и более экономичными (с

точки зрения затрат времени и средств на их

реализацию).

С другой стороны, сами тесты должны органично

вписываться в структуру педагогического процесса и

строиться таким образом, чтобы способствовать

повышению качества контроля, эффективности труда

Ч А С Т Ь П Е Р В А Я

педагога и саморегуляции учебной деятельности

обследуемых.

Оптимальный дидактический тест — это тест, вклю-

чённый в структуру диагностико-коррекционной про-

граммы и построенный в расчёте на стимулирование са-

морегуляции учащимся своей учебной деятельности.

В педагогической психодиагностике с 70-80-х гг. та-

кой подход к разработке методик становится

доминирующим.

Видный специалист в области педагогической психо-

логии Д.Б. Эльконин пишет: «Мы предъявляем к диагно-

стическим тестам, предназначенным для контроля за

хо^-дом развития и коррекции, требование, чтобы они

или моделировали учебную деятельность в целом, или

служили экспериментальными и абстрактными моделями

отдельных этапов той деятельности, которую

осуществляет ученик на уроке». По его мнениьь, при

конструировании методик диагностики в психолого-

педагогических целях необходимо сближение процессов

диагностики и формирования [172, с. 299].

В системе психологического тестирования это требо-

вание формулируется как обеспечение конструктной

психологической валидности теста в сочетании с его

концептуальным обоснованием (концептуальной,

теоретической валидизацией).

В современной дидактике нет полного единства в

понимании возможных и реальных целей

дидактического тестирования, поскольку по-разному

оцениваются возможности дидактических тестов как

средства обеспечения эффективного многоаспектного

контроля процесса обучения. В педагогической (и

психолого-педагогической) литературе, в обыденном

профессиональном сознании педагогов-практиков

диапазон этих оценок весьма широк — от веры во

всемогущество тестов до ограничения сферы

дидактического тестирования узким кругом задач

контроля воспроизводства заученного материала.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

На наш взгляд, следует занимать среднюю позицию

между этими крайностями. В. Оконь (Польша) выделяет

четыре критерия разработки тестов в зависимости от це-

лей обучения, поддающихся анализу с помощью

дидактических тестов:

1) знание фактов и взаимозависимости между ними;

2) решение теоретических и практических проблем;

3) 'самостоятельная оценка;

4) самостоятельное применение знаний в новой

ситуации.

Каждый из этих критериев может быть развит на

том или ином изучаемом материале в более конкретные

эмпирические индикаторы, признаки [106, с. 366]. Кроме

того, в зависимости от цели дидактической диагностики

определяется, какой объём тестирования необходим,

каков охват тестом объёма и содержания

диагностируемого материала.

В.И. Михеев выделяет три основных направления ре-

шения задачи построения педагогических тестов:

1. Разработка методики построения тестовых кон-

трольных работ (КР) для оценки качества знаний студен-

тов определённой специальности:

а) в пределах тем (разделов) курсов;

б) по курсу (в семестре, учебном году);

в) для системы учебных курсов.

2. Для оценки системы качеств знаний студентов

определённой специальности (по рассматриваемому

набору качества знаний и их интегративным признакам).

3. Подготовка единой методики оценки знаний сту-

дентов в вузе и реализация её на ЭВМ [95, с. 143].

По данным практики, цели и масштаб (охват, объём)

тестирования не являются нейтральными

характеристиками для формирования структуры теста и

типологии его заданий. К сожалению, этот вопрос в

дидактической тестологии мало исследован (как и

многие другие), а высказывания авторов педагогических

работ по этому поводу чаще всего связаны с их личным

опытом и интуицией, а не с экспериментальными,

Ч А С Т Ь П Е Р В А Я

корректно поставленными исследованиями. Надо

сказать, что существует достаточно высокая корреляция

между целями тестирования, его масштабами и

оптимальностью различного типа тестовых заданий для

субтестов и тестов. Задания разного типа могут

оказаться максимально эффективными по своим

диагностическим и развивающим (тренинговым)

возможностям в тестах с определённой (какой — надо

установить) целевой направленностью, масштабом и

уровнем контролирующих функций. И, наоборот,

малопродуктивными в каких-то (каких?) тестах других

типов. Тем самым следует целесообразно диф-

ференцировать типы тестовых заданий в соответствии с

ещё не определёнными (какими — предстоит выявить в

экспериментах) существенными характеристиками

тестов.

В любом случае, приступая к дидактическому тести-

рованию, разработчику надо учитывать, что решение

учащимися некоторых задач не поддаётся надёжному

тестовому контролю (по крайней мере, с помощью

распространённых в массовой практике видов

нормативных дидактических тестов). Многое здесь

зависит от того, как трактуется обратная связь педагога

и учащегося, насколько разносторонней она должна

быть для обоснованного педагогического вывода о

хорошей или плохой успешности обучения школьника.

Н.Ф. Талызина, отмечая, что учёт обратной связи

нельзя вести только по безошибочности ответа учащего-

ся, считает целесообразным вводить такие параметры

обратной связи, как проявление творчества при решении

задач, понимание материала и точность его усвоения. На

уровне эмпирических индикаторов и привязанных к ним

критериальных оценок эти параметры должны способст-

вовать выявлению различных степеней (уровней) усвое-

ния материала [149].

Большинство задач творческого характера с трудом

поддаётся алгоритмизации. Тем не менее алгоритмы

творчества исследуются и разрабатываются. Однако ин-