Кольцов А.С., Федорков Е.Д. Автоматизированные системы управления учебным процессом (учебное пособие)

Подождите немного. Документ загружается.

Область использования заданий с числовыми ответами

ограничена, однако им находится достаточное применение,

поскольку они лишены недостатков, присущих заданиям с

выбором ответов из меню. Ответ практически невозможно

угадать, и обучаемому не предлагаются варианты

неправильных ответов. Такие задания, на наш взгляд,

являются одним из лучших способов проверки знания

основных формул, поскольку обучаемому не предъявляются

формулы для выбора, а требуется вспомнить или вывести

необходимое для проведения вычислений соотношение и

подставить в него заданные в условие задачи значения. Кроме

того, наличие в контролирующей программе аналогичных

задач, различающихся лишь числовыми данными, и их

случайный выбор при предъявлении обучаемому исключают

возможность запоминания правильных ответов и передачи их

другим обучаемым в виде шпаргалок.

Третий тип заданий - с ответами в виде строки символов.

Анализ правильности производится путем сравнения

введенного ответа с заданным эталоном. Простейший вариант

сравнения - полное совпадение с эталоном. В ряде случаев

такого сравнения оказывается достаточно, например, если

требуется ввести слово, имеющее по смыслу однозначное

написание.

В более общем случае верный ответ может быть записан

в виде различных слов, являющихся синонимами. Тогда

анализ должен проводится с помощью логического

выражения, содержащего эталоны для верных и

предполагаемых неверных ответов. Сравнение эталонов с

введенным ответом, как правило, выполняется не на полное

совпадение, а с учетом специальных символов, дающих

возможность пропуска любого одиночного символа, либо

группы символов, расположенных подряд.

Оценка результатов обучения в настоящее время

представляет собой одну из основных проблем педагогики

высшей школы. Существует она давно, она особенно остро

стоит сегодня, в условиях массового применения при

обучении различных технических средств. Проблема в

значительной степени связана с отсутствием единых или пусть

различных, но однозначно сформулированных (определенных)

критериев успешности обучения. Единства в способах оценки

результатов обучения нет не только в разных однопрофильных

вузах, часто его нет даже среди преподавателей одной

кафедры. Большое значение имеют различные субъективные,

не имеющие отношения к предмету оценки критерии,

применяемые часто неосознанно преподавателями в

соответствии с их личными вкусами и склонностями: внешний

вид студента, манера держаться, манера излагать ответы на

вопросы, степень взволнованности студента на этапе контроля

и т.п. Студенты все это хорошо видят. Никому из них не

придет в голову выбирать при проверке знаний техническое

контролирующее устройство, "которое принимает лучше".

При наличии нескольких преподавателей, выполняющих

контроль результатов обучения (на коллоквиуме, зачете,

экзамене), студенты обязательно попытаются сделать такой

выбор, предварительно разузнав, кто из этих преподавателей

"что любит". Такое положение дискредитирует в глазах

студентов процедуры контроля результатов обучения и

отрицательно сказывается на мотивационной и

воспитательной функциях контроля, весьма важных для

формирования социальных свойств личности будущего

специалиста.

Следует учесть, однако, что использование техники без

предварительной (опережающей) разработки педагогического

обеспечения с соответствующим психико-педагогическим,

социологическим и медицинским обоснованием неизбежно

(как это уже неоднократно было в прошлом) окажется

неэффективным. Поэтому основная задача состоит в

разработке педагогического обеспечения, и в первую очередь в

разработке формализованных методов оценки результатов

обучения [39, 59].

Можно указать два подхода к построению системы

оценок результатов обучения.

Первый состоит в том, что на основании однозначно

сформулированной цели обучения разрабатывается детальная

модель деятельности обучаемых на этапе контроля при

различной степени достижения этой цели. Разрабатываются

методы и методики измерения степени сформированности

знаний, умений и навыков на основе анализа деятельности

обучаемого. Теоретически обосновывается минимальная

степень сформулированности системы знаний, умений и

навыков, при которой цель обучения можно считать

достигнутой. Если в результате измерения устанавливается,

что эта степень не достигнута, то выставляется оценка

"неудовлетворительно". При достижении именно этой степени

выставляется оценка "удовлетворительно" или "зачтено". Если

же эта степень существенно превышена, то можно ввести

несколько уровней ее превышения и соответствующие этим

уровням оценки. Это позволяет сравнивать учебные успехи

студентов, по достоинству оценивать и морально

вознаграждать их учебный труд, стимулировать интенсивность

учебных занятий.

Существуют, однако, большие трудности

количественного определения минимально допустимой,

исходя из целей обучения, степени сформированности

системы знаний, умений и навыков, а также практического

измерения этой степени. Несмотря на эти трудности, высшие

учебные заведения успешно функционируют, требуемый

контроль результатов обучения осуществляется,

свидетельством чему является успешная работа выпускников

высшей школы. Объясняется это, по-видимому, тем, что у

каждого преподавателя есть свой неформализованный эталон

приемлемой степени сформированности системы знаний,

умений и навыков, которым он и пользуется в своей

практической работе. За многие годы существования высшей

школы система таких эталонов достигла высокой степени

совершенства, но в условиях непрерывно увеличивающейся

массовости обучения становится практически неприемлемой.

Возможен и иной подход к построению системы оценок

результатов обучения. Преподаватели предлагают без

теоретического обоснования системы оценок, применяемые

ими на практике. Методом экспертных оценок по каждой

учебной дисциплине, по каждому разделу и теме выбирается

лучшая система оценок, которая и предлагается для всеобщего

применения. Для практической реализации метода экспертных

оценок в рассматриваемом случае необходимо, чтобы

сравниваемые системы оценок результатов обучения были

документально зафиксированы, иначе организовать работу

экспертов будет просто невозможно. Таким образом, второй

путь построения системы оценок результатов обучения

практически невозможен без применения технических средств

контроля, построенных на базе ЭВМ. При этом ТСК должны в

наименьшей степени ограничивать возможности

преподавателя в реализации его эмперико-интуитивных

представлений об эталонах и системах оценок. Оба

рассмотренных пути построения формализованной системы

оценок результатов обучения не являются

взаимоисключающими или антагонистичными. Использование

их в разумном сочетании позволяет создать стратегию

решения проблемы оценок, допускающую объединение на

принципиальной основе многочисленных исследователей с

различными взглядами на проблему и пытающихся подойти к

ее решению с различных позиций. Автоматизированное

обучение в значительной степени ориентировано именно на

такое объединение.

Концепция управления обучением с помощью ЭВМ не

предусматривает никакой конкретной системы оценок

результатов обучения. Программное обеспечение позволяет

использовать практически любые системы оценок,

осуществлять соответствующие психолого-педагогические

исследования и практическую работу по обоим

рассмотренным направлениям.

Остановимся теперь на возможностях, которые

предоставляет преподавателю схема на рис. 2.

В процессе контроля студент выполняет разные задания.

Результат выполнения каждого задания сравнивается с

соответствующим эталоном по принципу "совпадает-не

совпадает". По результатам каждой такой проверки студенту

начисляется некоторое количество баллов. Полученные баллы

объединяются. В зависимости от результатов этого

объединения студенту выставляется оценка по общепринятой

в вузах страны шкале (отлично, хорошо, удовлетворительно,

неудовлетворительно).

Количество заданий, предъявляемых студенту на этапе

контроля, может быть любым. Это очень важное

обстоятельство, поскольку проверить выполнение каждого

отдельного задания можно только по принципу "выполнено-не

выполнено". Практическое отсутствие ограничений на

количество предъявляемых заданий делает возможным

осуществление весьма тонких, детальных проверок

выполнения студентом задания. Для этого нужно на этапе

оценивания рассматривать каждое такое задание как набор

нескольких заданий (набор подзаданий) с соответствующими

эталонами. Это позволяет оценивать не только факт

выполнения задания, но и (при частичной неудаче студента)

степень его выполнения.

Рис. 4. Оценка результатов контроля при

автоматизированном обучении

При этом число оцениваемых степеней выполнения

задания очевидно равно 2V, где V - количество подзаданий.

При V=2 имеем четыре возможных результата выполнения

задания:

не выполнено ни одного подзадания;

выполнено только первое подзадание;

выполнено только второе подзадание;

выполнены оба подзадания.

Значение переменной V может быть любым, практически

требуемым. При V=10 (легко реализуемый случай)

детальность проверки достигает 210 вариантов выполнения

задания, что позволяет осуществлять достаточно тонкий

контроль результатов обучения.

На этапе контроля студенту могут предъявляться задания

разной сложности. Для дифференцируемой оценки

результатов выполнения таких заданий преподавателю

предоставляется возможность оценивать их разными баллами.

Объединение баллов, начисленных студенту за выполнение

задания (подзадания), обычно производится суммированием.

Набранные студентом баллы могут быть любым образом

приведены к любой шкале оценок, например к принятой в

высшей школе пятибалльной шкале. В равной степени могут

быть использованы и другие шкалы, например

двенадцатибалльная.

Преподаватель при работе в этой системе может в

соответствии со своими представлениями давать студенту

любое требуемое количество заданий, разбивая их по своему

желанию на подзадания и обеспечивая тем самым различную

детальность проверки результатов обучения. Баллы могут

начисляться студенту и объединяться в результирующий балл

любым выбираемым преподавателем способом. И, наконец,

результирующий балл к любой шкале оценок также может

приводиться по желанию преподавателя любым образом. Эти

перестройки выполняются программно, а значит, легко и

быстро. В связи с этим система автоматизированного обучения

предоставляет хорошие возможности для построения по

каждой учебной дисциплине научно обоснованной системы

оценок результатов обучения любым из двух рассмотренных

способов.

При оценивании результатов выполнения студентами

заданий формализованного контроля при автоматизированном

управлении обучением преподавателю предоставляется

возможность по программированию рекомендаций студентам

по результатам контроля, порядку дальнейшего изучения

учебной дисциплины. Такие указания могут выдаваться по

каждому неправильно выполненному заданию или

подзаданию. В качестве указаний могут выдаваться номера

или названия неудовлетворительно усвоенных тем или

разделов, развернутые рецензии полученных студентом

результатов, подробные указания студенту о дальнейшем

изучении учебной дисциплины. Хорошее знание

преподавателем типичных, студенческих ошибок - основа для

искусного построения таких рекомендаций, основной фактор,

определяющий наличие у преподавателя такого знания - опыт.

5.3. Автоматизация процедур анализа и выбора

средств автоматизированного контроля

Важным этапом при создании контролирующих

программ является разработка сценария диалога с обучаемым

[45, 78]. Под сценарием диалога будем понимать описание

порядка выдачи отдельных кадров с вопросами, пояснениями,

информационными и справочными материалами, возможности

студента вмешиваться в ход контроля, адаптацию процесса

контроля к обнаруживаемому уровню знаний обучаемого и т.д.

Существует большое число различных реализаций сценариев

компьютерного контроля, однако можно выделить типичные

подходы и методические приемы.

Рассмотрим один из распространенных режимов

работы: обучаемому выдается некоторое количество

информационных кадров, подготавливающих его к работе по

данной теме, затем задается вопрос, ответ на который может

ограничиваться по времени, и после этого, в зависимости от

ответа, следует комментарий или пояснение. Далее при верном

ответе производится случайный или детерминированный

выбор следующего фрагмента курса. При неверном ответе

возможны следующие пути развития диалога:

фиксация факта неверного ответа для последующего

оценивания результатов контроля и случайный выбор нового

вопроса;

вызванный неверным ответом переход к

дополнительному вопросу, связанному с данным, например к

более простому вопросу на ту же тему;

предоставления обучаемому новой попытки ответить на

тот же вопрос после получения подсказки или комментария (с

учетом числа попыток при выставлении оценки с

ограничением допустимого числа попыток).

В простейших системах преподаватель,

разрабатывающий контролирующую программу, не имеет

возможности изменить сценарий, а лишь формирует кадры

вопросов и эталоны ответов. При этом правила выдачи кадров

жестко определены в самой системе. Например, одним из

простейших сценариев является случайный выбор заданного

количества вопросов из всего множества вне зависимости от

ответов. Оценка выставляется, например, на основании

набранного количества баллов. Такой сценарий подходит для

итогового контроля знаний, целью которого является

получение зачета.

Другой вариант - полностью детерминированный выбор

вопросов и переход на следующий вопрос, в зависимости от

ответа. Этот способ может быть рекомендован при обучении и

самоконтроле, когда не ставится задача оценивания уровня

знаний и нет опасности того, что обучаемый пытается заранее

выяснить все правильные ответы и воспользоваться

шпаргалкой.

Возможно сочетание двух указанных подходов.

Например, все множество вопросов может быть разбито на

подмножества, каждое из которых содержит близкие по

содержанию вопросы. Переход от одного подмножества к

другому происходит детерминировано, в соответствии со

сценарием сеанса контроля, а из каждого подмножества

вопрос выбирается случайным образом.

При неверных ответах целесообразно давать

комментарии в виде пояснений. Пояснения могут содержать

наводящие вопросы, если предусмотрено повторение вопроса

для новой попытки ответа, либо объяснить ход решения и

давать правильный ответ. Как правило, пояснения носят

конкретный характер, связанный с данным вопросом, и несут

лишь краткую информацию о теории. Поэтому при работе в

режиме обучения желательно иметь возможность

использования гипертекстового справочника, из которого

обучаемый может получить необходимые теоретические

сведения.

Сценарий контролирующей программы обычно

предполагает зависимость порядка следования фрагментов

курса от ответов пользователя. Предусматривается реакция на

правильный или неправильный ответы, иногда учитывается

качество ответа, например: “верно, но неполно”. Возможно,

при выборе нового вопроса не только учитывать ответ на

текущий вопрос, но и использовать более сложные алгоритмы

ветвления процесса контроля на основе анализа всей

совокупности пройденных вопросов и данных на них ответов.

Сочетание перечисленных выше подходов позволяет

создавать адаптивные сценарии, при которых развитие сеанса

работы идет с учетом уровня знаний обучаемого.

Существуют различные модели адаптивного контроля и

обучения. Например, построение адаптивного алгоритма, в

котором модель предметной области представляется в виде

графа и выбор новых вершин, соответствующих разделам

курса, осуществляется в зависимости от результатов контроля

в пройденных вершинах.

Отметим один весьма существенный недостаток,

который присущ многим инструментальным системам для

разработки контролирующих программ. К сожалению, в

большинстве систем сценарий составляется разработчиком

контролирующей программы одновременно с разработкой

курса (вопросов, эталонов ответов, пояснений, справочных

сведений) и является неотъемлемой частью готового

программного продукта, предоставляемого пользователю. Не

имея инструментальной оболочки, в которой разрабатывалась

контролирующая программа, преподаватель - пользователь не

может изменить ни содержание курса, ни его сценарий.