Михайлычев Е.А. Дидактическая тестология

Подождите немного. Документ загружается.

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

результат различий в скорости обработки информации

или в скорости отдельных аддитивных элементарных

мозговых операций, а результат различий в сложной

интегративной деятельности мозга по дискриминации

вызываемых стимулами ансамблей возбуждений» [163, с.

90].

В диагностической практике стимулируется (в ряде

случаев дополнительными баллами) своевременное или

досрочное выполнение теста. Или же невыполнение ука-

занных нормативов приводит к негативным санкциям

(штрафные баллы). Такая практика имеет несколько ис-

точников.

Во-первых, это действующие и обновляющиеся (с

очень малыми качественными изменениями и редким их

научным обоснованием) министерские и ведомственные

нормативы. Исследователи проблемы времени в педаго-

гике утверждают, что за все годы существования СССР в

официальных правительственных документах, приказах,

инструкциях «нет обоснований рекомендуемых вре-

менных характеристик учебно-воспитательного процесса

в учебных заведениях» [12, с. 21]. Ими же отмечается

«жёсткая регламентация временных рамок, никак не

связанных с характером изучаемых явлений, применяе-

мыми методами и средствами обучения,

психофизиологическими особенностями обучаемых» [12,

с. 24].

Во-вторых, это реальная и оправдывающая себя экс-

периментально (но только в своих, специфических усло-

виях) практика разработки и применения психодиагнос-

тических тестов. Особенно — моторных тестов для проф-

отбора и выявления специальных способностей, необхо-

димых для выполнения профессиональных действий (с

учётом скоростного фактора).

В практической психодиагностике многие такие тес-

ты создаются «под заказ» и являются одновременно

имитационными упражнениями или заданиями

тренингово-го характера и непосредственно

воспроизводят все или часть тех движений (действий),

Ч А С Т Ь П Е Р В А Я

которые осуществляются профессионалом в ходе

работы. Двигательные тесты рассчитаны на те же

группы мышц, которые должны быть развиты для

успешного выполнения работы в реальной

производственной ситуации. При общей высокой надёж-

ности самих тестов вполне возможна низкая корреляция

между субтестами, применяемыми для диагностики

сложных систем диагностируемых действий. Какие-либо

групповые факторы (существенные в интеллектуальных

тестах) здесь плохо выявляются. Но лабораторные фак-

торно-аналитические исследования американцев в 50-

70-х гг. определили основные факторы, в которых

Важнейшей характеристикой является время, по группам

тестов различного типа.

Так, для моторных тестов это:

1) координация движений конечности;

2) точность регуляции;

3) направленность реакции (способность выбрать со-

ответствующую реакцию в высокоскоростных условиях);

4) время реакции;

5) скорость движения рук;

6) оценочный контроль (особенно — в тестах слеже-

ния);

7) точность движений руки;

8) точность движений пальцев;

9) устойчивость движений рук;

10) скорость движения кисти и пальцев рук;

11) нацеливание [8, с. 80]* „

Для других движений тела выделяются свои факто-

ры, представленные в тестах физической подготовки.

При внедрении в вузы (ПТУ, техникумы и т.д.) совре-

менных технологий обучения роль моторных тестов в си-

стеме многоэтапного дидактического контроля знаний,

как нам представляется, существенно возрастёт.

Во-первых, за счёт компьютеризации обучения, где

фактор скорости в работе учащегося на ПЭВМ как

пользователя в диалоговой системе алгоритмического

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

обучения будет определять и темп усвоения, и его

результаты. Компьютерные тесты обычно включают

фактор скорости (функциональной необходимости порой

в котором нет, но в дисплейном классе не хватает

индивидуальных мест пользователей, что мешает

преподавателям уложиться в срок, диктуемый

программой и учебным планом). В качестве

программиста и пользователя (на доступном ему уровне,

определяемом учебным планом и профилем обучения)

учащийся также имеет дело с задачами, где скорость его

реакции является критерием выполнения задания (или

компенсирует невозможность его длительной работы на

ПЭВМ, недостаточное быстродействие компьютера).

Во-вторых, ориентация профпедагогики на всех её

уровнях (от 2-часового инструктажа до докторантуры)

на современную учебную и производственную технику

требует формирования умений и навыков работы с нею

и с тренажёрами.

Третий источник появления в дидактических тестах,

создаваемых в СНГ, фактора скорости — прямое и не все-

гда критическое осмысление и заимствование опыта

зарубежного дидактического тестирования.

Опыт этот богат, разнопланов и до сих пор вызывает

дискуссии. Как отмечает А. Анастази, широко применяе-

мый в США Станфордский тест достижений (разработан-

ный в 1923 г. и постоянно обновляющийся) имеет 6 бата-

рей, которые охватывают с I до IX классы. Проведение

этих батарей в основном занимает 4-5 часов и осуществ-

ляется в несколько сеансов. Применяется такэке более

короткая «базисная» батарея, в которую не вошли тесты

по конкретным областям знания. Субтесты чтения и

математики могут использоваться отдельно. В основном

субтесты для разных уровней одинаковы. Все батареи

используются в двух параллельных формах. Изданы

брошюры с практическими указаниями по выполнению

тестов и образцами заданий, с ними можно ознакомиться

за несколько дней до начала тестирования [8, с. 42].

Ч А С Т Ь П Е Р В А Я

В дидактической тестологии все аспекты зарубежно-

го опыта, как позитивные, так и негативные, заслужива-

ют внимания и исследования. В работе, посвященной

проблеме времени в педагогике, В.А. Антропов и СБ.

Мас-ленцева пришли к выводам, что в педагогике

отсутствует понятие времени как педагогической

категории, что оно введено на уровне обыденного

сознания, а «единица измерения учебного времени не

обоснована, никак не связана с психологическими

особенностями обучаемых, видами Учебной

деятельности, организацией предметно-прост-

ранственной среды учебно-воспитательного процесса»

[12, с. 20].

Скорость выполнения дидактических тестов в

методологическим плане — «белое пятно», ибо она не

обоснована экспериментально. Необходимы

специальные исследования, методами факторного

анализа выявляющие роль скорости в выполнении

диагностических заданий там, где она действительно

может быть необходима. А нужна она, на наш взгляд,

лишь в тех тестах, которые связаны с профес-

сиональными действиями — умственными и физически-

ми, как индивидуальными, так и групповыми.

Во всех остальных случаях фактор скорости

выполнения задания может вводиться лишь как

дополнительный и уточняющий. Нужен учёт его

корреляции с индивидуальным стилем учебной

деятельности испытуемого, его типом темперамента,

сенсомоторными и иными характеристиками.

Приведённые выше десять самостоятельных основа-

ний типологизации тестов необходимы и достаточны для

описания их значимых характеристик, чтобы пользова-

тель мог составить полное представление о сущности

теста. Дискуссионным может показаться предложенное

нами рассмотрение аппаратных, в том числе

компьютерных тестов не как самостоятельного типа

диагностических методик, а в составе группы тестов

действия. Это вызвано тем, что специфические

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

качественные особенности этой группы тестов ещё

только исследуются. В перспективе возможно их

выделение в отдельную группу. Однако сейчас чаще

всего технология их построения качественно мала, чем

отличается от методологии построения тестов про-

граммированного машинного обучения и тренажёрных.

Следует заметить, что выделение какого-либо типа

теста в отдельные подгруппы совсем не говорит об их

особой значимости.

Система типологизации дидактических тестов

Многие из выделенных подтипов тестов в

диагностической практике учебных заведений

встречаются редко (например, устные тесты в высшей

школе или аппаратные, связанные с производственным

оборудованием, — в средней общеобразовательной).

Данная типология является достаточно универсальной

(хотя ещё не до конца завершённой) для охвата

основных существенных особенностей тестов, но не

тестовых заданий.

Последние, являясь составной элементарной частью

теста (субтесты), отражают в себе все значимые характе-

ристики теста того или иного типа. Но отдельное специ-

ально сформулированное задание не может быть, напри-

мер, гомогенным или гетерогенным (хотя может быть

устным или письменным, компьютерным или рисуноч-

ным, предметным или междисциплинарным). Различные

основания типологии характеризуют четыре основные

аспекты разработки (а для диагноста-пользователя —

выбора) теста: его целевую направленность,

содержание, структуру и форму применения.

Тесты характеризуются по четырём группам параме-

тров, взаимосвязанных в единой структуре теста как ме-

тодика. Такие параметры, как профессионализм разра-

ботчика и доминирующая деятельность испытуемых, оп-

ределяют и содержание, и структуру теста. Их

невозможно разорвать. Каждый из них, в определённой

Ч А С Т Ь П Е Р В А Я

степени, влияет на все остальные, что проверяется в

мыслительном эксперименте.

Реальная степень этого влияния может быть различ-

на — это предмет специальных методологических иссле-

дований. Логика педагогического процесса — его

построения и организации — непосредственно

сказывается на иерарлическом соотношении

выделенных выше оснований сущностной

характеристики дидактических тестов постольку,

поскольку тесты являются составной частью

педагогического процесса.

Иерархию сущностных характеристик теста можно

представить в схеме следующим образом:

1. Целевая направленность:

1.1. Диагностический уровень тестирования.

1.2. Общая ориентация замысла.

1.3. Дидактико-психологическая ориентация.

2. Содержание теста:

2.1. Предметная область.

2.2. Доминирующая планируемая

деятельность испытуемого.

2.3. Профессионализм разработчика теста.

3. Структура теста:

3.1. Гомогенность.

3.2. Доминирующая реальная деятельность испытуе-

мых.

3.3. Профессионализм разработки теста.

4. Применение теста (процессуальный аспект):

4.1. Виды контроля с помощью теста.

4.2. Формы организации тестирования.

4.3. Временной фактор в организации

тестирования. Уточнения значимости каждого

фактора — задача

структурной валидизации теста — совокупности доста-

точно сложных методологических процедур, требующих

специальной подготовленности от разработчика или

творчески работающего диагноста-пользователя. На

основании психолого-педагогической литературы и

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

данных практических конференций и совещаний можно

сделать вывод о том, что, скорее всего, иерархия

оснований типо-логизации именно такова.

Прикладное применение схемы иерархии связано с

логикой разработки или выбора теста пользователем —

на что он обратит внимание в первую очередь, каким

факторам (из описанных выше) отдавать предпочтение

при планировании методики или при выборе тестов.

ТИПОЛОГИЯ ТЕСТОВЫХ ЗАДАНИЙ

Направления разработки проблемы типологизации

тестовых заданий

Типологизация задач и заданий для тестового

контроля как методологическая проблема должна,

очевидно, решаться синхронно в двух направлениях.

Первое из них — это накопление, анализ и

сопоставление имеющихся в науке типологий и

классификаций тестов (заданий, задач, вопросов, форм

и способов их предъявления, работы с ними

обследуемых и разработки).

Второе — это их систематизация и

структурирование типов тестовых заданий в

зависимости от существенны* характеристик дидактических

тестов, в которых они могут применяться.

Вероятно, что типология тестов для текущего контроля

потребует трансформации (или окажется малопригодной, слабо

ориентирующей) для разработки тестов рубежного или итогового

контроля по одной учебной дисциплине. Или же — типология для

итогового контроля одной дисциплины (или дисциплины одного

цикла) будет содержать излишние (либо недостающие)

компоненты для глобальной проверки общей подготовленности

специалиста по всем изученным им по специальности

дисциплинам, практикам, т.е. по итогам профессиональной (а

также — общекультурной, общеобразовательной) подготовки.

Проблема конструирования тестовых заданий — это

прикладной, процессуальный аспект проблемы их типологизации.

Ч А С Т Ь П Е Р В А Я

Выбирать осознанно из имеющейся системы намного легче и

целесообразнее, чем пытаться что-то отыскать в недостроенных

системах.

Необоснованность содержания и формы тестовых заданий

постоянно вызывали как справедливую, так и пристрастную

критику. Попытки систематизации тестовых заданий

предпринимались, но строились на одном или двух-трех

основаниях (часто — значимых, но не охватывающих существенных

признаков тестовых заданий). Лоренс М. Столяров (США) в

1963 г. писал, что не имеется «вполне удовлетворительной

классификации ни задач вообще, ни задач научения в частности.

Это важная, но до сих пор игнорировавшаяся и нерешенная

проблема психологии» [143, с. 120].

Н.Ф. Талызина в 1969 г., критикуя практику разработки

тестовых систем программированного обучения, отмечала, что

«каждый исследователь подбирает тесты по своему усмотрению,

без обоснования соответствия их поставленным целям обучения.

Это приводит к тому, что результаты, получаемые разными

людьми, оказываются Несопоставимыми и, следовательно, оценка

этих результатов с точки зрения эффективности управления

учебным процессом невозможна» [148, с. 23].

Одна из наиболее успешных, на наш взгляд, попыток

типологизации тестовых заданий сразу по ряду парамет-

ров была предпринята в 50-60-х гг. американским теоре-

тиком программированного обучения Лоренсом М. Сто-

ляровым, который приводил пять наиболее существен-

ных, на его взгляд, признаков, характеризующих задачи:

1) число и последовательность (количество заданий

и стабильность последовательности изучаемого

материала, т.е. однотипных инструкций к однотипным

задачам);

2) пределы определённости стимулов и ответов, сте-

пень строгости формулировок;

3) смысловое содержание (включая наличие или от-

сутствие в задаче определённо направленных ассоциа-

ций, подталкивающих к верному ответу, степень доступ-

ности правильного ответа обучаемому);

4) тип связей между стимулом и ответом (однознач-

ные или множественные);

МЕТОДИКА РАЗРАБОТКИ ДИДАКТИЧЕСКИХ ТЕСТОВ

5) однородность и совместимость стимулов и ответов

— к одному или к разным множествам они относятся

[143, с. 119-135].

Преимущества такого подхода по сравнению с выде-

лением какого-то одного (хотя и значимого) признака ти-

пологизации задач очевидны, особенно для

компьютерного тестирования.

Предпринятая американским ученым типология за-

даний далеко не полна — многие существенные характе-

ристики тестовых заданий в неё не вошли (и будут

приведены нами ниже).

С типологизацией тестовых заданий тесно связана

группа прикладных, важных для разработчика теста,

проблем:

а) конструирования тестовых заданий по различным

основаниям, включающая определение критериев

выбора типологических характеристик заданий для

конкретных дидактико-диагностических целей и их

композиции в определённой форме;

6) структурированного построения теста по сущност-

ным типологическим характеристикам (см. раздел 1.2);

в) оценивания теста в целом по результату его эмпи-

рического анализа, проверки надёжности и валидизации;

г) оценивания отдельных тестовых заданий до и по-

сле первых апробаций теста для коррекции, «доводки».

Приводимые ниже типологии тестовых заданий

необходимы для более полного их описания для

разработчика или педагога, анализирующего и

выбирающего готовый тест.

Целевая направленность тестовых заданий

Типология тестовых заданий по уровням усвоения

знаний В.П. Беспалько

В педагогической литературе широко представлена

типология тестов В.П. Беспалько по уровням усвоения

знаний (хотя, на наш взгляд, здесь уместнее говорить о

Ч А С Т Ь П Е Р В А Я

тестовых заданиях, почему эта типология и включена в

данный раздел).

В тестах I уровня в задании определяются цель,

ситуация и действия по её решению, а учащийся обязан

дать заключение о соответствии этих компонентов в

структуре задачи (тесты узнавания, распознавания,

классификации ранее изученного материала). Иногда их

называют тестами на идентификацию. Такие тесты

имеют «подсказки» в виде перечисленного набора

вариантов ответа, из которых учащийся выбирает

верный или наиболее полный (вариант — наоборот).

В тестах II уровня в задаче имеются цель и ситуация,

а учащемуся нужно применить ранее усвоенные

действия по её решению репродуктивного характера,

типа «делай, как я». При выполнении этого задания он

воспроизводит в памяти и применяет информацию о

ранее усвоенной ориентировочной основе выполнения

данного действия (сама задача является типовой). Такие

учебные действия называются «алгоритмизированными»

уровнями. Всегда имеется эталон ответа, что сближает

эти тесты с I уровнем (но этот эталон не предъявляется

обследуемому). В тестах II уровня учащийся не

пользуется подсказками при вставке каких-либо

компонентов (цифр, формул, графических изображений,

слов) в ответе, опираясь на свою память.

При контроле III уровня усвоения знаний в задаче

дана только цель, но не ясна ситуация, в которой цель

может быть достигнута. Учащемуся надо уточнить

ситуацию, а на основе её дополнения применить ранее

усвоенные действия для решения такой нетиповой

задачи. Он выполняет продуктивные действия в ходе

самостоятельного поиска и преобразования ранее

известных ему способов и приёмов деятельности,

обнаруживает новую (для него лично) информацию

эвристического типа. Алгоритм этой деятельности за-

ранее не задан (нет образца или жёстких правил), он

формируется в ходе самой деятельности при

использовании ранее полученных знаний, изученных