1

Янюшкин С.А., Янюшкин А.С.

Национальное аккредитационное агентство в сфере образования (РОСАККРЕДАГЕНТСТВО) предложило ВУЗам поучаствовать в программе «Федеральный интернет-экзамен в сфере профессионального образования». Официальный сайт www.fepo.ru . Анализ участия обучающихся подобного предложения мы осуществили на протяжении 3 семестров в период 2007-2008 годов в государственном образовательном учреждении высшего профессионального образования «Братский государственный университет». За это время в тестировании приняло участие около 30 групп студентов, более 10 специальностей (это только те группы непосредственными руководителями (преподавателями) которых мы являлись). Такие группы как: «Энергетические системы и сети», «Энергоснабжение предприятий», «Лесоинженерное дело», «Технология деревообработки», «Технология машиностроения», «Информационные системы и технологии», «Вычислительная техника», «Прикладная математика и информатика», «Математика», «Городское строительство и хозяйство», «Строительные технологии», «Промышленное и гражданское строительство», «Экспертиза и управление недвижимостью» и др.

Вначале немного теории . Компьютерное тестирование все шире используется в педагогической практике. Возможно, вскоре оно почти вытеснит традиционные методы (типа "карандаш - бумага"). И вот почему.

1) Компьютерное тестирование экономит много времени (это, вероятно, самое главное). Задача тестируемого - просто нажимать клавишу, соответствующую выбранному ответу. В результате компьютер выдает готовый результат. На всю процедуру, включая обработку результатов, уходит значительно меньше времени, чем при обычном тестировании. Такая экономия времени особенно ценна при работе с группой тестируемых. Можно одновременно усадить за компьютер большое число людей и оперативно получить нужные данные.

2) Экономятся силы тестирующего - ему не приходится заниматься рутинной работой (заготовка бланков, инструктаж тестируемого, выдача заданий, ведение протокола, подсчет и обработка результатов).

3) При наличии хорошо отлаженной программы компьютерное тестирование практически исключает ошибки при обработке результатов - машина всегда использует один и тот же алгоритм, она не отвлекается и не утомляется.

4) Появляется возможность накопления и сохранения электронной базы данных. Унифицированная база данных удобна для анализа и заменяет собой огромные кипы экспериментальных бланков, отчетов и заключений.

5) При использовании стандартизованной компьютерной программы условия проведения тестирования не зависят от индивидуальных особенностей и психологического состояния экспериментатора, что, несомненно, повышает "чистоту" диагностической процедуры.

6) Тестируемому, некого стесняться - компьютер не может ни оценочно, ни эмоционально реагировать на не самые удачные ответы.

Как мы видим, достоинств у компьютерного тестирования немало. Но наряду с преимуществами у компьютерных методов есть и свои недостатки.

1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых - эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.

Так что результатам, полученным с помощью компьютерного тестирования, следует доверять с некоторыми оговорками .

Что мы увидели на практике. Такая несовершенная система пока не может применяться в ВУЗах для оценки знаний студентов, в силу ее не объективности. И вот почему.

Во-первых, тестирование, например по дисциплине «Правоведение», не соответствует государственному образовательному стандарту (ГОС).

В качестве примера рассмотрим специальность «Технология машиностроения».

Требования государственного образовательного стандарта высшего профессионального образования к обязательному минимуму содержания основной образовательной программы.

Таблица 1. Дисциплина: Правоведение ООП: 151001.65 «Технология машиностроения»

	Федеральный компонент
	Правоведение: Государство и право. Их роль в жизни общества. Норма права и нормативно-правовые акты. Основные правовые системы современности. Международное право как особая система права. Источники российского права. Закон и подзаконные акты. Правовое государство. Конституция Российской Федерации - основной закон государства. Особенности федеративного устройства России. Система органов государственной власти в Российской Федерации. Понятие гражданского правоотношения. Физические и юридические лица. Право собственности. Обязательства в гражданском праве и ответственность за их нарушение. Трудовой договор (контракт). Трудовая дисциплина и ответственность за ее нарушение. Административные правонарушения и административная ответственность. Понятие преступления. Уголовная ответственность за совершение преступлений. Экологическое право. Особенности правового регулирования будущей профессиональной деятельности. Правовые основы защиты государственной тайны. Законодательные и нормативно-правовые акты в области защиты информации и государственной тайны.

* Прим. Дисциплина «Правоведение», для специальности 151001.65 «Технология машиностроения» ведется в объеме 70 часов, в том числе: лекций-17 часов, практических занятий 9 часов, самостоятельных 44 часа.

А вот тематика интернет-тестирования требует значительно больших затрат при освоении этой дисциплины (табл. 2).

Как видно из приведенных таблиц примерно половина вопросов тестирования не соответствует ГОС (не соответствие выделено жирным шрифтом и курсивом), т.е. преподаватель не обязан объяснять содержание тех или иных вопросов тестирования, но спрашивают его по ним обязательно.

Таблица 2. Структура аттестационных педагогических измерительных материалов дисциплины «Правоведение» ООП: 151001.65 «Технология машиностроения»

Номер задания	Наименование темы задания
ДЕ 1. Общая теория права и государства
	Понятие и признаки права. Система Российского права и ее структурные элементы
	Источники и формы права. Норма права
	Правоотношения. Правонарушение и юридическая ответственность
	Российское право и основные правовые системы современности. Международное право. Понятие и признаки государства.
ДЕ 2. Основы конституционного права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Конституция Российской Федерации
	Основы конституционного строя Российской Федерации
	Правовой статус личности в Российской Федерации
	Органы государственной власти в Российской Федерации
ДЕ 3. Основы гражданского права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Граждане и юридические лица как субъекты гражданского права
	Право собственности
	Обязательства и договоры
	Наследственное право Российской Федерации
ДЕ 4. Основы семейного права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Условия и порядок заключения брака. Прекращение брака
	Права и обязанности супругов
	Права несовершеннолетних детей
	Алименты
ДЕ 5. Основы трудового права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Основания возникновения трудовых прав работников . Трудовой договор
	Рабочее время и время отдыха
	Дисциплина труда
	Защита трудовых прав граждан
ДЕ 6. Административное правонарушение и административная ответственность Российской Федерации. Основы уголовного права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Административное правонарушение и административная ответственность
	Преступление. Уголовный закон и уголовная ответственность
	Система наказаний по уголовному праву
ДЕ 7. Основы экологического права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Экологическое право - самостоятельная отрасль российского права
	Государственное экологическое управление
	Законодательное регулирование и международно-правовая охрана окружающей среды
	Особенности регулирования отдельных видов природопользования
ДЕ 8. Основы информационного права Российской Федерации (критерий освоения ДЕ: 2 правильно выполненных задания)
	Федеральный закон Российской Федерации «О государственной тайне»
	Защита государственной тайны
	Информация. Информационные ресурсы
	Защита информации

Получается, что авторы тестирования могут включить в программу тестирования по дисциплине «Правоведение» любые вопросы, так или иначе касающиеся самого понятия «Право». А это значит, что можно включить в вопросы тестирования любые вопросы по «Уголовному праву», «Гражданскому праву», «Конституционному праву», «Трудовому праву», «Экологическому праву», «Информационному праву», «Теории государства и права» и т.д., список можно продолжать до тех пор, пока не будут названы все отрасли права РФ. Но, каждая из этих отраслей представляет собой самостоятельную дисциплину с количеством часов намного превосходящих дисциплину «Правоведение» по объему преподавания в высшей школе. А предполагается, что студены, должны освоить их все за 8 лекций. Студенты юристы, например, делают это за 5 лет дневного обучения. А для студента технических специальностей предусмотрено всего 8 лекционных и 4 практических занятия по «Правоведению».

Например, в тестах присутствует такой вопрос:

К поверхностным водоемам не относятся:

В. Болота.

Г. Водохранилища.

Скажите, очень важно знать студентам технических специальностей ответ на этот вопрос? Например, студентам специальностей «Информационные системы и технологии», «Вычислительная техника» - которые по-сути специализируются в компьютерных технологиях. Повторим, эта отрасль знаний не предусмотрена ГОСом. Так как это отрасль юридической науки - Водное право.

Критерий правильного (успешного) выполнения (освоения) всего теста - 8 освоенных (на которые даны правильные ответы) дидактических единиц (ДЕ). Критерий освоения ДЕ - 2 правильно выполненных задания (табл.2). То есть, если студент ответивший правильно на 16 заданий (в каждой теме давший по 2 правильных ответа из 32 возможных, т.е 8х2=16). При этом процент правильно выполненных заданий у него высвечивается 50%. И весь тест для данного студента при этом засчитывается.

Возьмем другой теоретический пример. Студент правильно отвечает на 7 ДЕ полностью, а в 1 ДЕ он допускает 3 ошибки, т.е. фактически правильно отвечает на 29 вопросов из 32 и показывает знания в целом более 90%. При этом считается, что обучающийся не освоил 1ДЕ, а значит весь тест у него в зачет не идет, сам он оценивается как не освоившим всю дисциплину «Правоведение» в целом. К тому же процент правильных ответов на компьютере высвечивается равным 90%. Это абсурд! В жизни, конечно, не всем так везет. Но были случаи в нашей практике, когда студент, набравший 65 % - считался освоившим дисциплину, а студент, набравший 78 % - не освоившим дисциплину. Бывает, конечно, что студент может набрать около 60-70 процентов во всем тесте, но в каждой теме ответить на 2-3 вопроса и тест у него зачтется. Но это скорее везение, исключение из правил, чем оценка его реальных знаний.

Более того, вся группа студентов должна показать процент освоения ДЕ - не менее 50 %. Это значит, что скажем из 20 студентов в группе, минимум 10 должны освоить все ДЕ. Если меньше, то весь тест вообще считается не сданным. Но позвольте, кто-то из студентов ответственно отнесся к решению теста, а кто-то нет. Был случай в нашей практике, когда студент, пришедший на тестирование выполнил его за 5 минут - просто наугад проставив ответы на вопросы теста. А значит, заведомо подставив со своей стороны всю группу. Возможно, он до конца и не понял значение всей этой процедуры. Такие моменты не учитываются, а это не правильно.

Причем в листке по контролю знаний, который выдается на руки преподавателю после завершения тестирования, указываются цифры освоения каждой темы на уровне 80-100%. То есть 80-100% студентов знают все темы. Но они в зачет не идут по вышеуказанной методике. Считаем, что должна быть применена другая методика оценки знаний обучающихся.

Как видно из приведенной таблицы 2 в вопросах тестирования присутствуют такие темы (ДЕ) как: Общая теория права и государства, Основы конституционного права РФ, Основы гражданского права РФ, Основы трудового права РФ, Административное правонарушение и административная ответственность РФ, Основы уголовного права РФ, Основы экологического права РФ, Основы информационного права РФ.

Хочется сразу сказать, что нельзя говорить об основах той или иной отрасли права, если тесты составлены по всей отрасли знаний, по любому вопросу отрасли. Например, такой вопрос: «Дело об административном правонарушении касающееся лишения специального права (например, права охоты или права управления транспортным средством - авт.) должно быть передано судье в течении:

Б. Двух суток.

В. Пяти суток

Г. Десяти суток.

Этот ответ содержится в главе 28 особенной части Административного кодекса РФ « Возбуждение дела об административном правонарушении» (п.1 ст. 28.8). Всего глав в кодексе - тридцать две. То есть фактически в конце его. Этот же вопрос можно отнести к сфере административно-процессуального законодательства РФ. А это, по-сути, другая дисциплина, которая также не входит в ГОС по дисциплине «Правоведение».

В тестах также присутствуют устаревшие вопросы, например «Исправительные работы в качестве наказания за административное правонарушение предусмотрены на срок до ….

А. 15 суток

Б. одного месяца.

В. двух месяцев.

Г. трех месяцев.

Но согласно ст. 37 Конституции РФ принудительный труд запрещен. А исправительные работы по Административному кодексу, вступившему в силу с 1 июля 2002 года (ныне действующему) признаны как раз принудительным трудом, а значит, не применяются, и нет смысла знать вообще ответ на этот вопрос. Ответ на этот вопрос содержался в Кодексе об административных правонарушениях РСФСР, вступившем в силу в 1984 году.

Кроме того, в тестах может и не быть правильного ответа. Например, в вопросе « Смягчающим обстоятельством убийства признается....

А. состояние аффекта.

Б. состояние алкогольного опьянения.

В. совершение убийства в условиях стихийного бедствия или массовых беспорядков.

Г. повторное совершение убийства.

Ответ «В» и «Г» это отягчающие обстоятельства согласно ст. 62 Уголовного кодекса (УК) РФ.

Ответ «Б» вообще не предусмотрен в качестве смягчающего или отягчающего обстоятельства согласно ст. 61 и 62 УК РФ.

А ответ «А» вообще не может применяться смягчающим обстоятельством, так как УК РФ содержит самостоятельные статьи, например ст. 107 «Убийство в состоянии аффекта», ст. 113 « Причинение тяжкого или средней тяжести вреда здоровью в состоянии аффекта» и согласно п.3 ст. 61 УК РФ не может учитываться таковым.

В тестах также присутствует вопрос: «Необходимая оборона относится к обстоятельствам, …

А. исключающим применение наказания.

Б. исключающим уголовную ответственность.

В. предусматривающим наказание.

Г. отягчающим ответственность.»

Согласно главе 8 (ст. 37) УК РФ необходимая оборона относится к обстоятельствам, исключающим преступность деяния. В предлагаемых вариантах ответов такое обстоятельство не содержится. А значит, нет в этом вопросе единственно верного ответа.

Еще один пример «Нормами трудового законодательства не регулируется труд …

А. домохозяек.

Б. в акционерных обществах.

В. в обществах с ограниченной ответственностью.

Г. на частных предприятиях.

Найдите правильный ответ. Домохозяйка - это лицо, ведущее домашнее хозяйство. Но ведь и «домохозяйка» может работать у кого-то (вести домашнее хозяйство) за плату, а это значит, что ее отношения с работодателем попадают под действие трудового законодательства (согласно ст. 15 Трудового кодекса РФ).

К тому же есть вопросы, содержащие два одинаковых ответа, и не понятно какой из них по компьютерной программе подсчитывающей результаты тестирования засчитывается как правильный. Ведь согласно условиям тестирования может быть один правильный ответ.

Есть вопросы, содержащие три ответа вместо четырех как во всех остальных вопросах. Возможно, в них также отсутствует правильный ответ.

Серьезным недостатком (минусом) тестирования можно считать отсутствие в результатах тестирования указания на неверные вопросы. То есть наглядной демонстрации того, в каких вопросах испытуемым были даны верные ответы, а в каких он сделал ошибки. Что это «государственная тайна»? Или боязнь авторов теста критики. Ведь они правильный ответ могут зачесть как неправильный и наоборот.

Формулировки простых понятий нередко усложняются до такой степени, что их невозможно понять даже специалисту.

Есть и вопросы, требующие узкой специализации. Например: «К основаниям освобождения от наказания относится …

А. условно-досрочное освобождение.

Б. привлечение к административной ответственности.

В. отсрочка исполнения приговора.

Г. истечение сроков давности совершения преступления.

Правильным ответом на этот вопрос считается вариант «А». А вот, например, ответ «Г» считается основанием для освобождения от уголовной ответственности. Может ли студент, для которого данная дисциплина является общеобразовательной, точно, без всяких сомнений разбираться, что есть «освобождение от наказания», а что «освобождение от ответственности». Зачастую они считают данные словосочетания одинаковыми. Ни о каких основах уголовного права здесь речи быть не может - это уже юридическая тонкость, в которой нередко путаются даже юристы. Конечно, можно обвинить во всем преподавателя - но не будем забывать, что преподавателю отводится на Уголовное право в рамках дисциплины «Правоведение» меньше одной лекции. А в какое время тогда читать следующие вопросы: «Что такое уголовный закон», «Задачи и принципы уголовного закона», Что такое преступление» и т.д.

Много вопросов возникает по наследственному праву, но оно также не предусмотрено ГОСом.

Кроме того, студентам перед зачетным тестированием было предложено принять участие в репетиционном интернет-тестировании. Это совершенно справедливо. Однако, анализируя репетиционные и контрольные вопросы можно сделать вывод, что подготовительные вопросы несоизмеримо легче, чем зачетные. Более того, репетиционные вопросы не меняются на протяжении ряда лет, контрольные же вопросы меняются практически на 100% от семестра к семестру.

И таких примеров можно привести много.

Хочется сказать, что это только лишь малая часть той необъективности, которая содержится в данных тестах.

Бытует также мнение, что это не проверка напрямую студентов отвечающих на вопросы теста и получающих за это ту или иную оценку, а преподавателя. Например, если студент ответил на 30 процентов теста, то это преподаватель не может научить студента правовым знаниям. Не может квалифицированно дать тот или иной материал. И все беды от преподавателя. Так если уж очень хочется проверить знание преподавателя, его квалификацию, то можно его самого напрямую усадить за компьютер показать те или иные тестовые вопросы и пусть уж преподаватель отвечает на них. И все будет ясно. А не вводить тестирование на протяжении нескольких лет, каждый семестр.

К тому же в зачет не идут такие факторы как: желание студентов обучаться определенной дисциплине, их самостоятельная работа дома по усвоению дисциплины предусмотренная, кстати, учебным планом, их подготовка перед тестированием (т.е. хотя бы знание лекций читаемых преподавателем) и т.д.

Многие из них надеются, что им правовые знания в будущем вообще не нужны, так как они, например, получают квалификацию инженера, строителя, программиста и т.д.

Но, несмотря на все вышеперечисленное, достоинств у компьютерного тестирования все-таки больше. Кроме того, практически все перечисленные недостатки поддаются контролю. Вот только контролировать нужно раньше, чем предлагать на всеобщее обозрение.

В целом хочется отметить, что в настоящее время многие ВУЗы (специалисты) положительно относятся к тестированию как к объективной оценке знаний студентов. Но важно при составлении теста и в методике подсчета результатов самим авторам проводить работу над ошибками. Иначе это объективная оценка качества знаний и образования может перестать быть таковой и сведется просто к потере времени.

Можно с уверенностью предположить, что у компьютерного тестирования большое будущее. С каждым годом будут появляться все новые и новые компьютерные тесты. Значит ли это, что когда-нибудь необходимость участия педагога в процессе тестирования вообще отпадет? Подобное вряд ли возможно. Так как использование компьютера совсем не уменьшает роль человеческого фактора. Компьютерная программа выдает только обобщенные, унифицированные данные, которые необходимо правильно "прочитать" и проанализировать. Тут все зависит от интерпретатора - чтобы понять, о чем говорят полученные результаты, и разглядеть за ними конкретного человека, необходим высокий профессионализм и богатый опыт в области педагогической диагностики.

СПИСОК ЛИТЕРАТУРЫ:

1. Зырянова Н. М. «О плюсах и минусах компьютерного тестирования» // Кадровый менеджмент. № 1(5), февраль 2003 г. www.begin.ru

Библиографическая ссылка

Янюшкин С.А., Янюшкин А.С. НЕДОСТАТКИ И ОШИБКИ КОМПЬЮТЕРНОГО ТЕСТИРОВАНИЯ В ВУЗАХ (НА ПРИМЕРЕ ДИСЦИПЛИНЫ «ПРАВОВЕДЕНИЕ») // Современные проблемы науки и образования. – 2008. – № 5.;
URL: http://science-education.ru/ru/article/view?id=1113 (дата обращения: 26.04.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Компьютерное тестирование – разновидность тестирования с использованием современных технических средств, имеющее ряд преимуществ по сравнению с традиционным бланочным тестированием (получение мгновенного результата, исключение предвзятости, нормирование трудности и объёма тестовых заданий, массовость, лёгкость обработки результатов, возможность тестирующих программ работать в режиме обучения).

Функции компьютерного теста

– обучение (в качестве дидактического обучающего средства);

– контроль ЗУНов учащихся;

– самообучение (тренажёр) и самоконтроль;

– дистанционное обучение;

– корректировка учебного процесса.

Инструментальные тестовые оболочки

Для создания тестов по предметной области разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Классы программ-оболочек

1. Универсальные (содержат тестовую оболочку как составную часть. Примеры: «Адонис» (Москва), «Linkway» (Microsoft), «Фея» (Томск), «Радуга» (Москва) и т. п.

2. Специализированные (предназначены лишь для формирования тестов. Примеры: «Аист» (Москва), «I_now» (Иркутск), «Тест» (Красноярск) и др.

Для того чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо уяснить, какие формы тестовых заданий они допускают.

Показатели качественного компьютерного теста

– Восприимчивость к угадыванию тестируемым;

– восприимчивость к невнимательности и ошибочным действиям тестируемого;

– положительное влияние на тестируемого и педагога, который использует тест.

Компьютерные формы представления

тестовых заданий

1. Альтернативные вопросы (требуют ответа да – нет).

Закрытая форма вопроса: номер правильного ответа.

2. Задание на соответствие: требует соотнести элементы двух множеств.

3. Задание на восстановление правильной последовательности: требует расположить элементы множества в определённом порядке.

4. Вопросы с шаблоном ответа (предполагают числовой или текстовой ввод правильного ответа).

5. Вопросы с выбором нескольких вариантов (ключевых слов, изображений, обозначений).

6. Конструирование ответа (шаблонный и бесшаблонный варианты): ответ формируется путем последовательного выбора его элементов из инструментария по типу меню.

7. Задание на конструирование изображений: с помощью графредактора, меню изображений (аналогично предыдущему примеру).

8. Задание на демонстрацию с движущимися объектами. Ответ в виде действия тестируемого (определенный набор клавиш). (Пример: клавиатурный тренажер на время.)

Выбор формы представления задания определяется

Особенностями инструментальных тестовых программ (тестовыми оболочками);

Особенностями предметной области;

Опытом и мастерством экспертов.

12 ЕГЭ

С 2001 года в нашей стране проводится эксперимент по введению единого государственного экзамена (ЕГЭ) для выпускников школ и поступающих в высшие учебные заведения.

Причины введения ЕГЭ

В результате реформ конца 80-90-х годов российское образование перестало носить унифицированный характер и перешло к использованию вариативных программ, учебников и пособий, что, с одной стороны, увеличило возможности системы образования: реализация идей развивающего обучения, профессиональной ориентации, возможности индивидуального подхода, но, с другой стороны, усложнило контроль за качеством получаемого образования. «В условиях резко возросшего разнообразия средств, методов и содержания обучения школьников со всей остротой встала задача обеспечения единого уровня и содержания базового ядра общего и среднего образования для всех выпускников школ» . ЕГЭ может стать эффективным надежным и объективным средством контроля за качеством знаний и умений учащихся, в случае успешного завершения эксперимента. Таким образом, в данный момент ЕГЭ рассматривается как одно из средств модернизации современного образования в России.

Задачи единого экзамена:

· расширение доступности высшего образования благодаря введению однотипных экзаменов для всех выпускников общеобразовательных школ и их параллельного участия в заочном конкурсном отборе сразу в несколько вузов;

· совершенствование системы и практики финансирования высших учебных заведений на основе рыночной состязательности между ними за прием лучших студентов;

· снижение психологической нагрузки на выпускников общеобразовательных учреждений за счет упразднения вступительных экзаменов в вузы;

· объективизация и унификация требований к общеобразовательной подготовке поступающих в вузы;

· стимулирование деятельности педагогических коллективов общеобразовательных учреждений по улучшению качества учебного процесса за счет объективной и независимой сравнительной оценки результатов общеобразовательной подготовки выпускников школ.

Преимущества ЕГЭ перед другими формами контроля

1. Объективность.

Использование ЕГЭ в качестве выпускного экзамена в средней школе и его результатов для поступления в высшие учебные заведения имеет ряд преимуществ перед традиционными устными и письменными экзаменами. Прежде всего, это объективность оценивания. В системе ЕГЭ отсутствует преподаватель, который проверяет знания выпускника, то есть исключается субъективный момент (неприязнь к учащемуся, заинтересованность в хороших показателях, плохое настроение, самочувствие преподавателя и др.) при выставлении оценки. Благодаря стандартизации - единой форме предъявления контрольно-измерительных материалов (КИМ) и единого метода обработки полученных результатов достигается высокий уровень объективности оценивания учебных достижений выпускников.

2. Надежность.

Разработка тестов и анализ результатов тестирования в соответствии с принципами классической или современной теорий тестов позволяют обеспечить точность и надежность оценивания уровня учебных достижений. Чтобы это преимущество ЕГЭ могло быть реализовано, КИМы должны включать тестовые задания, которые прошли экспертную оценку и были апробированы на репрезентативной выборке испытуемых.

3. Достоверность.

Тестовые технологии могут обеспечить достоверные результаты, свободные от фальсификации и искажения. Нельзя не согласиться, что без обеспечения высокой достоверности единого экзамена, без гарантий его информационной безопасности невозможно завоевать доверие к результатам ЕГЭ, что, безусловно, резко снизит эффективность этого нововведения.

Выделяют ряд возможностей, которые могут способствовать снижению достоверности. Это рассекречивание, подставка, подсказка, подтасовка.

Чтобы не произошло рассекречивания КИМов, существует система информационной безопасности, которая защищает тестовые материалы от преждевременного доступа.

Один из возможных способов защиты - это создание большого банка калиброванных тестовых заданий и обеспечение свободного доступа к этому банку (например, через интернет или печатные издания). Знакомство учащихся с множеством заданий банка позволит им лучше подготовиться к сдаче теста. Для самого экзамена формируются многочисленные варианты теста в компьютерном режиме из существующего банка заданий (калиброванных) индивидуально для каждого испытуемого.

Введение ………………………………………………………………………......3

Глава I . Тесты как средства контроля ………………………………………..5

Схема создания тестовых заданий………………………………………...7

Применение компьютерного тестирования для контроля знаний. Мотивационный эффект……………………………………………….......14

Технологии и системы тестирования……………………………………21

Технология проектирования компьютерных тестов предметной области………………………………………………………………………30

Методические основы создания компьютерных тестов………………..33

Глава II . Типовые тестирования

2.1. Правила разработки тестового задания и теста…………………………39

2.2. Типовые ошибки разработки тестовых заданий………………………...42

2.3. Основные правила тестирования для тестирующих и испытуемых…..50

2.4. Оценивание тестирования………………………………………………..52

2.5. Анализ и обоснование тестирования…………………………………….57

2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах…………………………………………..62

2.7.Требования, предъявляемые к системам компьютерного тестирования…………………………………………………………………..64

2.8. Работа с тестером ADSoft Tester………………………………………...66

Заключение …………………………………………………………………….75

Список литературы …………………………………………………………...77

Приложение ……………………………………………………………………79

Введение.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.

Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.

Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.

Цель данной работы- показать что с помощью тестирования удобнее проводить проверку знаний учащихся, это занимает меньше времени и дает объективную оценку знаний, что является очень важным в обучающем процессе.

Задачи данной работы:

раскрыть тему компьютерного тестирования;

показать как создаются тестовые задания, каковы правила разработки тестовых заданий и тестов, как они оцениваются, как производится анализ тестирования, каковы технологии и системы тестирования, какие типовые ошибки допускаются при разработке тестовых заданий;

ближе познакомится с работой одного из тестологов, ADSoft Tester;

основываясь на данном тестере разработать несколько тестов по предметам: информатика и английский язык.

Глава I . Тесты как средства контроля.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.

Компьютерное тестирование

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.

Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.

Для упрощения дальнейшего изложения введем ряд определений и понятий.

Прежде чем начать рассматривать данную тему, мы обратимся к словарю компьютерных терминов по информатике с целью выяснения точного определения термина тест. Согласно словарю компьютерных терминов по информатике(В. Д. Валединский) тест(test) –это проверка работоспособности аппаратуры или программы, обнаружение и устранение ошибок. Тестирование является важным этапом при разработке программного обеспечения.

Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.

Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.

Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.

Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.

Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний. Эффективный тест - оптимальный по объему полный тест.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.

- 246.00 Кб

В наши дни существует много видов тестов, поэтому дать универсальное определение для всех этих видов вряд ли можно.

Анализ литературы показал, что существует разные формулировки понятия «тест». Но независимо от вида, назначения я бы дала следующее определение теста.

Тест – это один из методов контроля знаний, который позволяет учителю установить фактические, теоретические знания учащихся и оценить их за достаточно короткое время. Необходимо отметить, что тест не учитывает индивидуальные особенности человека.

1. Специфика компьютерного тестирования и его формы

С начала XXI века в образовании стало широко применяться компьютерное тестирование (КТ), при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК. Однако обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов: при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха и др. Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.

Первая форма - самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал, чтобы каждый испытуемый получил свой балл и протокол оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3 - 4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Третья форма - компьютерное адаптивное тестирование - базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

При проведении компьютерного тестирования необходимо учитывать психологические и эмоциональные реакции учащихся. Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, после истечения которого независимо от желания испытуемого появляется следующее задание теста. Учащиеся при адаптивном тестировании бывают недовольны тем, что не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

Для снижения влияния опыта работы учащихся с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом программы, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

Таким образом, компьютерное тестирование выступает как инструмент управления учебным процессом, как элемент обратной связи, который дает возможность анализировать учебный процесс, вносить в него коррективы, т.е. осуществлять полноценное управление процессом обучения. Постоянное использование компьютерных тестов в качестве промежуточного контроля успеваемости определяет учебный процесс как систему непрерывного контроля и самоконтроля учащихся, которая дает возможность учителю получать «обратную связь», а учащимся - возможность в течение всего обучения отслеживать уровень своей подготовленности.

1. Преимущества и недостатки компьютерного тестирования

Преимуществами компьютерного тестирования являются:

Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер.

Валидность. Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача - большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях.

Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие.

Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны.

Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого.

Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку.

Достоверность информации об объеме усвоенного материала и об уровне его усвоения.

Надежность. Тестовая оценка однозначна и воспроизводима.

Дифференцирующая способность. За счет наличия заданий различного уровня трудности.

Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.

Наряду с преимуществами у компьютерных методов есть и свои недостатки:

1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, "глупость" вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых – эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что "боится" компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.

3) Тестовый контроль не способствует развитию устной и письменной речи учащихся.

4) Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

5)В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

глава 2 компьютерный контроль знаний

1. Классификация видов компьютерных тестов

Очевидно, что первоочередной задачей при проведении проверки полученных знаний должно быть определение целей контроля. Так в Вузах в большей степени необходимо проверять у обучающихся глубину знаний учебных дисциплин, умение будущих специалистов логически мыслить, сопоставлять различные предметы и явления, делать правильные выводы и принимать оптимальные решения. Значит набор (база данных) контрольных заданий должен максимально полно охватывать учебную дисциплину, а тематическое их разделение - позволять осуществлять в процессе изучения предмета этапный контроль, выявлять индивидуальные пробелы знаний обучаемых, корректировать учебные программы и т.п.

Важное место при формировании базы заданий занимает их формулировка. Как и любое предложение, задания подразделяются на явные и неявные, вопросительные и утвердительные, суждения, мнения и другие вопросы. От искусства преподавателя зависит многообразие их форм, несущее в себе богатство языка, обилие специальных терминов. Использование подобных заданий способствует повышению у обучающихся умения логически мыслить, а также уровня их общей культуры.

Другим важным моментом является определение правильности ответа обучаемого на предложенные вопросы. Существуют различные варианты ответов, закладываемые в программу. Предпочтительно, чтобы студент "отвечал" компьютеру как бы в устной форме, как преподавателю (открытая форма ответа). Возможно, такие экспертные системы на основе специально разработанных баз знаний появятся в недалеком будущем с внедрением ЭВМ пятого поколения. Пока же некоторые специалисты приступили к созданию баз знаний. Эта достаточно интересная и сложная проблема имеет основной недостаток, изначально присутствующий в ней - субъективность системы, базирующейся на оценках событий и явлений отдельными, хотя и порой весьма авторитетными, специалистами. Пожалуй, наиболее правильно будет в настоящее время осваивать компьютерные системы контроля на основе баз данных. В этом случае обычно прибегают к различным готовым формам ответов – шаблонам. [ 3 ]

Широкое распространение получила такая форма ответов, когда отвечающему предлагается заранее сформированный набор ответов для выбора одного или нескольких, являющихся, по его мнению, правильными (форма закрытых ответов). Программа автоматически оценивает правильность сделанного выбора. В другом случае, контролируемый вводит с клавиатуры некоторые формулировки или отдельные слова, являющиеся ответом на поставленный вопрос (форма полуоткрытых ответов). На экране ЭВМ нет этих вариантов ответов, но программа содержит максимально возможный, по мнению ее авторов, набор ответов. Считается, что в большинстве случаев в программе имеются необходимые модификации и она сможет, осуществив сравнение, дать свое заключение о правильности ответа. Имеются и другие варианты. Каждый способ формирования ответа контролируемым имеет свои достоинства и недостатки. Здесь следует придерживаться поставленной цели и выбирать наиболее подходящий для ее реализации.

В этой связи можно предложить использовать единый набор вариантов ответов для всех контрольных заданий по теме. Формулировки должны носить общий характер и способствовать выявлению умения контролируемого логически мыслить, что более важно и ценно, чем запоминание отдельных фактографических данных. При достаточном искусстве преподавателя с помощью таким образом сформулированных вариантов ответов возможно определение знания и отдельных фактов, событий.

В школах развитых стран внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на компьютерных дискетах. Преимущества и недостатки компьютерного тестирования…………..….9
Глава 2 Компьютерный контроль знаний…………………………………………...12
2.1 Классификация видов компьютерных тестов………………………….…12
2.2 Требования, предъявляемые к системам компьютерного тестирования……………………………………………………………………………………...15
2.3 Формирование тестовых заданий для компьютерного контроля знаний……………………………………………………………………………………...19
2.4 Типы вопросов компьютерного контроля…………………………….…..24
Глава 3 Методика проведения компьютерного опроса учащихся…….. …………27
3.1 Методика проведения программированного опроса..…. .….…….….....27
3.2 Обработка результатов тестирования……………………………….….…28
Заключение………………………………………………………………………….....30
Список использованной литературы…………