Самоконтроль знаний. Это наиболее простой вид контроля. Обычно это вопросы и задачи, на которые обучаемый пытается ответить самостоятельно. В случае затруднений он может обратиться к материалам учебника и найти в нем ответы на поставленные вопросы. Основная цель самоконтроля – самоутверждение, достижение уверенности обучаемого, что он усвоил учебный материал, хотя это может и не соответствовать действительному положению.
Входной контроль. Преследует несколько целей, в зависимости от цели обучающего курса и его специфики.
Можно определять, готов или не готов данный обучаемый к работе по курсу, т.е. входной контроль исполняет роль своеобразного допуска к работе.
А можно организовать входной контроль иначе, придавая ему диагностическую функцию. По результатам выполнения тестовых заданий выявляются пробелы в знаниях обучаемых, которые необходимо компенсировать дообучением. Таким образом, обучающий курс становится адаптивным, т.к. каждый обучаемый идет по своему пути в зависимости от уровня подготовки.
Проверка исходного уровня выполняет и еще одну функцию. Работа по заданиям тестовой проверки настраивает обучаемого на данную предметную область, вводит в терминологию, способствует актуализации необходимых знаний, становится своеобразной стартовой площадкой для работы по новой теме.
В традиционном обучении входной контроль используется редко (вступительные экзамены, допуск к лабораторной работе и т.п.). При обучении с участием компьютера частота входного контроля может и должна быть существенно выше. Это обеспечит успешное обучение текущему предмету (теме).
Текущий контроль. Основная цель такого контроля – диагностика ЗУН в процессе усвоения очередной темы и, при необходимости, коррекция обучения. Регулярное проведение контроля текущего уровня усвоения деятельности позволяет исправлять недостатки обучения и достигать необходимого уровня усвоения.
Рубежный контроль. Основная цель рубежного контроля – проверка уровня усвоения очередного раздела (темы) курса.
При рубежной проверке обучаемому может быть предложена творческая задача, задача повышенной сложности или задача, в которой предусматривается перенос усвоенных знаний на другой материал. Успешное решение такой задачи показывает, что обучаемый овладел всей системой знаний и действий, предусмотренных целями данной темы.
При рубежной проверке обучаемый может запрашивать помощь, необходимый справочный или информационный материал, советы, разъяснения ошибок, наводящие вопросы.
Задания должны быть адекватны этапу познавательной деятельности обучаемого, каждому элементу структуры которой может соответствовать серия из нескольких заданий, подводящих к самостоятельному выделению элементов модели изучаемого явления.
Рубежный контроль может, также, служить в качестве своеобразного входного контроля для допуска к изучению последующего материала и поддержки уровня знаний при больших перерывах в работе.
Заключительный (итоговый) контроль. Если проверка исходного уровня представляет собой «входной» контроль, то заключительный контроль показывает, какие результаты получены «на выходе».
Заключительный контроль представляет собой серию заданий по всему проработанному материалу, который обучаемый должен решить самостоятельно, не обращаясь к помощи.
По результатам итогового контроля обучаемый, как правило, получает отметку. Она может иметь рекомендательный характер по работе учащегося вне программы (прочитать дополнительную литературу, получить консультацию у преподавателя и т.д.).
Эта отметка выражается в баллах или, например, в процентах правильно выполненных заданий на пройденном участке курса.
Возможно использование других показателей успешности по желанию автора курса.
Как правило, заключительный контроль знаний должен отвечать определенной процедуре – опознание испытуемого, допуск к контролю, определение времени и условий проведения контроля.
Таким образом, основные цели разных видов контроля могут быть следующие:
самоутверждение;
готовность к изучению нового материала;
проверка уровня усвоения;
поддержка адаптивного обучения;
поддержка уровня знаний;
формирование базы оценок для определения рейтинга обучаемых.
Программные средства поддержки контроля знаний должны обеспечивать все стадии контроля – от идентификации обучаемого до выдачи результатов контроля.
Уровень усвоения является диагностично заданным параметром, так как для него не только однозначно определено описание уровней, позволяющее четко разграничивать деятельность на одном уровне от деятельности на другом, но и точно определены две другие операции диагностичного описания цели: измерение и оценка [13.1].
Измерение параметра «уровень усвоения» осуществляется введением понятия «существенная операция деятельности». Под существенной операцией деятельности понимают все действия, выполняемые учащимся, ведущие к достижению цели деятельности. Так, если учащийся решает математическую задачу, состоящую из m математических действий, и при описании решения допускает грамматические ошибки, то эти ошибки считаются несущественными операциями его деятельности и в расчет успешности усвоения не принимаются. Число существенных операций в этом примере равно m. Если же учащийся совершает ошибки в математических действиях, то подсчитывается число правильно выполненных им существенных операций n, которое затем соотносят с общим числом существенных операций m, что дает представление о качестве усвоения. Отношение n к m называется коэффициентом усвоения (Ку): Ку = n / m.
Понятно, что для Ку верно соотношение: 0 < Ку < 1 на любом уровне усвоения. Рис. 13.1, на котором показаны кривые восхождения учащегося по уровням усвоения, демонстрируют это положение. Обратите внимание, что кривые, изображающие продвижение по уровням усвоения, перекрываются. Это означает, что до завершения формирования знаний на низшем уровне уже параллельно начинается формирование знаний и умений на следующих уровнях. В обучении нет скачка перехода количества в качество: процесс идет плавно и постепенно, если его не прерывают на каком-либо этапе, что характерно для традиционного образования. Важно подчеркнуть, что в процессе приобретения знаний и действий учащийся в обязательном порядке должен усвоить деятельность на предшествующем уровне, чтобы подняться на последующий. Это означает, что обучение нельзя начинать с любого уровня, а обязательно только с того, на котором успешность усвоения Ку не менее 0,7.
Рис. 13.1. Процесс усвоения деятельности
В традиционном обучении это правило сплошь и рядом не выполняется, и изучение даже нового материала начинают с второго-третьего уровней, оставляя усвоение деятельности учащимися на первом уровне случаю, который чаще всего не наступает. Отсюда неполноценное усвоение на последующих уровнях к вящему изумлению и учителя, и ученика. Каждая кривая на рис. 13.1 развивается от нуля до единицы, где ноль это начало процесса обучения, а единица это его полное завершение, когда учащийся больше не делает ошибок в деятельности. На каждой кривой имеется узловая точка с Ку = 0,7. Она разделяет кривую уровня усвоения на две неравные части. Тот участок кривой, который находится между точками Ку = 0 и Ку = 0,7, называется кривой обучения (или научения), так как учащийся на этом этапе своего восхождения на данный уровень мастерства требует постоянного внимания учителя, проверяющего и корректирующего его деятельность, поскольку учащийся на этом этапе своего обучения еще нечувствителен к ошибкам и не может как увидеть (почувствовать) их, так и исправлять их. Если процесс обучения прерван в точке, например, с Ку = 0,5, то это приведет к тому, что учащийся в будущей своей деятельности будет выполнять ее с 50% ошибок в существенных операциях. Вот откуда берутся недоучки: это от незавершенности процесса обучения. До достижения Ку = 0,7 учащийся сам не замечает своих ошибок и исправлять их по ходу деятельности не может. Участок кривой от Ку = 0,7 до Ку = 1,0 называют кривой самообучения, поскольку учащийся, достигший этого качества усвоения сам способен контролировать правильность своих действий и корректировать свои ошибки. Определение коэффициента усвоения Ку – это операция измерения данного параметра, необходимая для диагностичной постановки цели и возможности объективного контроля степени ее достижения.
Для оценки качества усвоения может быть использована шкала отношений с любой ее градацией: либо привычная пятибалльная, либо более необычная, но естественная шкала с непрерывной градацией по всему возможному диапазону деятельности, т. е. по всем четырем уровням усвоения. Наиболее простой из таких возможных шкал является 12-балльная шкала.
Таблица 13.1. Двенадцатибалльная шкала оценки знаний
|
Уровень освоения/Оценка |
1 |
2 |
3 |
4 |
|
менее 0.7 |
Не оценивается |
|||
|
0.7 – 0.8 |
1 |
4 |
7 |
10 |
|
0.8 – 0.9 |
2 |
5 |
8 |
11 |
|
0.9 – 1.0 |
3 |
6 |
9 |
12 |
Пятибалльная шкала может применяться по-разному, и это зависит от того, как мы об этом договоримся, поскольку шкала это только отображение измерений, стоящих за ней. Так, если мы решим, что достижение учащимся Ку = 0,7 и выше на первом уровне оценивается в три балла, то это же достижение на втором уровне оценивается в четыре балла, на третьем – в пять, а четвертый уровень оценивается как исключительное достижение. Двойка ставится, если учащийся не достиг первого уровня усвоения, но его Ку находится между 0,5 и 0,7. Единицей отмечаются достижения между 0 и 0,5. Возможно другое соглашение, когда на каждом уровне достижения учащегося сопоставляются с пятибалльной шкалой по следующей схеме.
Таблица 13.2. Пятибалльная шкала оценки знаний
|
Уровень усвоения |
1 |
2 |
3 |
4 |
|
менее 0,7 |
2 |
- |
- |
- |
|
0,7 – 0,8 |
3 |
3" |
3+ |
3! |
|
0,8 – 0,9 |
4 |
4" |
4+ |
4! |
|
0,9 – 1,0 |
5 |
5" |
5+ |
5! |
Как видно из таблицы, если Ку меньше 0,7 на 2–4 уровнях, то оценка не выставляется, а проверяется усвоение на предшествующих уровнях, и знания учащегося оцениваются двойкой только в том случае, если и на первом уровне Ку менее 0,7. Различные индексы при одних и тех же оценках дают возможность различать, за какой уровень достижений учащегося выставлена оценка. Применение 12-балльной шкалы дает возможность избавиться от этих неудобных условностей.
Исходным моментом для разработки объективных методов контроля качества усвоения является основополагающее положение отечественной психолого-педагогической науки о том, что психические качества человека формируются и проявляются во внешней деятельности. Внешняя деятельность обучаемого в различных формах (материальной или речевой) – это то единственное, что можно наблюдать, измерять и к чему, в конечном счете, сводятся все требования и пожелания в обучении.
Если проанализировать структуру внешней деятельности учащегося, которой он овладевает в ходе обучения, то можно выделить характеристики, а затем и параметры, с помощью которых производится измерение качества учебных достижений и на этой основе объективно оценивается качество знаний учащегося. К их числу относятся те, которые характеризуют:
структуру и научный уровень той информации, которая является объектом усвоения (обобщенность и ступень абстракции);
качество овладения учащимися этой информацией (уровень усвоения деятельности, скорость выполнения, осознанность действий);
объем усваиваемых знаний (число учебных элементов и качество их усвоения);
степень свободы в использовании информации (автоматизация и свернутость действий – освоение);
прочность овладения (долговременность по уровню и точности деятельности).
Контроль (диагностика) ЗУН включает выполнение некоторого множества заданий. Каждое задание может характеризоваться трудностью и сложностью.
Трудность задания определяется уровнем усвоения деятельности, на диагностику которого оно направлено.
Сложность задания определяется числом существенных операций в нем, в том числе свернутых.
Задания первого уровня трудности, в соответствии с понятием первого уровня усвоения, должны проверять качество узнавания учащимся ранее изученного учебного материала. Это задания на узнавание. Они содержат одновременно и задание, и ответ, а от учащегося требуется узнать их соответствие. По форме различают три типа заданий первого уровня: опознание, различение и классификация.
Задания второго уровня усвоения проверяют умение учащегося воспроизводить усвоенную информацию по памяти без внешней подсказки и решать на этой основе типовые задачи. Типовой задачей считается такая задача, условия которой, допускают непосредственное применение усвоенных алгоритмов, правил или формул для ее разрешения.
Различают три разновидности заданий второго уровня: задания–подстановки, конструктивные задания и типовые задачи.
Задания третьего уровня – это нетиповые задачи, требующие от учащегося эвристической деятельности, т. е. преобразования исходных условий и, часто, поиска дополнительных данных для подведения задачи под типовой алгоритм.
В приведенном описании их различение основано на особенностях деятельности, которую выполняет учащийся для решения проблемы, содержащейся в задании. Так, в заданиях первого уровня это деятельность по узнаванию ранее усвоенного учебного материала при повторной встрече с ним. В заданиях второго уровня – деятельность по воспроизведению по памяти ранее усвоенной информации. В заданиях третьего уровня это деятельность по реконструкции (преобразованию) ранее усвоенной информации и переносу ее в новые условия деятельности.
Можно выделить и четвертый уровень трудности – это деятельность по развитию ранее усвоенной информации и созданию новой информации о деятельности, что достаточно редко реализуется в педагогической практике.
Необходимыми условиями к созданию педагогически корректного задания являются:
Задание должно быть содержательно валидным, т. е. построено на содержании, которое учащемуся должно быть известно из предшествующего обучения.
Задание должно быть функционально валидным, т. е. оно должно проверять то, для чего его используют.
Задание должно быть объективным, т. е. задание может быть выполнено обучаемыми, а не только преподавателем-автором задания.
Однозначность ответа. Обучаемому необходимо указать, в какой форме требуется дать ответ (высказывание).
Специфичность означает, что выполнение задания требует специфических ЗУН по данной теме, а не только общей эрудиции.
Задание должно обладать дифференцирующей способностью, т. е. знающие обучаемые в состоянии выполнить задание, а не знающие – нет.
Задания объединяются в одну или несколько групп. К подбору заданий в группу предъявляются следующие требования:
Репрезентативность означает, что ограниченная выборка достаточно полно охватывает дисциплину или раздел дисциплины, по которой осуществляется проверка знаний.
Однородность означает, что каждому обучаемому предъявляется равноценные по содержанию и трудности наборы заданий.
Рандомизация означает, что двум обучаемым (или одному и тому же обучаемому при повторном контроле знаний) не будет предъявлен один и тот же набор заданий.
Требования однородности и рандомизации должны обеспечиваться системой предъявления заданий. Естественно, для обеспечения требования однородности преподаватель должен сгруппировать их в однородные наборы.
В связи с тем, что нет единого понимания, что такое тесты и тестирование в образовании, введем определения, которых и будем придерживаться в дальнейшем.
Речь ведется только о педагогических тестах, а не о психологических тестах (тесты интеллекта, тесты общих и специальных способностей и т.п.).
Слово тест произошло от английского слова «test» – проба, испытание, исследование. В узком значении тест достижения – это инструмент, измеряющий у обучаемых уровень их овладения знаниями и умениями в результате обучения. В более широком смысле тест – это стандартизированная процедура, совокупность методик для получения определенных количественных характеристик о достигнутом уровне знаний, умений и навыков обучаемого.
Тесты могут включать задания любого типа: закрытые (например, с выбором ответа), открытые (со свободно конструируемыми ответами), практические задания или другие.
К особенностям теста, отличающим его от контрольных работ, используемых в учебном процессе, можно отнести следующее:
тесты разрабатываются в строгом соответствии с теорией тестов (классической или современной);
они имеют устойчивые статистические характеристики для выборки испытуемых, для оценки достижений которых они разрабатывались;
процедура тестирования стандартизирована (т.е. выполнение тестов, проверка, обработка и интерпретация их результатов проводится по единым правилам);
тесты ориентированы не на констатацию наличия отдельных усвоенных знаний или умений (хотя данная информация может быть получена по результатам выполнения тестов), а на определение уровня усвоения определенной совокупности учебного материала.
Данные тесты получили название стандартизированных. Тесты, разработанные специалистами-предметниками, но не отвечающие всем требованиям, предъявляемым к стандартизированным тестам, будем называть авторскими.
В последнее десятилетие в большинстве стран мира явно проявилась тенденция замены традиционных тестовых процедур на оценочные. Замена тестов в их традиционном понимании как системы закрытых заданий (например, заданий с выбором ответа) на систему стандартизированных заданий разного типа произошла в связи с широкой критикой тестов за ограниченность их использования, в основном только для оценки знаний и репродуктивных умений. Расширение спектра проверяемых умений привело к увеличению доли открытых заданий, позволяющих оценить не только правильность полученного ответа, но и способы решения, логику изложения, обоснованность суждений и многие другие умения, включая практические, которые невозможно оценить с помощью закрытых заданий. Современные информационные технологии позволяют автоматизировать анализ достаточно широкого класса произвольных ответов обучаемого.
В основу классификации тестов положен принцип: что будет оцениваться и как?
Например, если целью оценки является диагностика достижений обучаемых, получение информации о трудностях, которые они имеют при обучении, то для этого необходимо знать, какой учебный материал освоен обучаемыми и на каком уровне, каковы их типичные ошибки и др. В данном случае нет необходимости сравнивать достижения отдельных групп учащихся. Если же цель оценки, например, сравнение достижений, как отдельных обучаемых, так и совокупностей обучаемых между собой, то в этом случае необходимо определить, что будет основой для сравнения. Методы, формы и процедура оценки в этом случае должны быть абсолютно одинаковыми для обеспечения качества сравнения.
Основные подходы в оценке образовательных достижений
Существуют три основных подхода в оценке образовательных достижений обучаемых:
критериально-ориентированный, позволяющий оценить насколько обучаемые достигли заданного уровня знаний и умений, например, определенных как обязательный результат обучения (образовательный стандарт). В данном случае оценка конкретного обучаемого не зависит от результатов, полученных другими. Результат показывает, соответствует ли уровень достижений данного обучаемого социально-культурным нормам, требованиям стандарта или другим критериям. При данном подходе результаты могут интерпретироваться двумя способами: в первом случае делается вывод о том, освоен или не освоен проверяемый материал (достиг стандарта или нет), во втором – дается уровень или процент освоения проверяемого материала (на каком уровне освоен стандарт или какой процент из всех требований стандарта усвоен).
ориентированный на индивидуальные нормы конкретного обучаемого, реального уровня его развития в данный момент времени. Результатом оценки в этом случае является темп усвоения и объем усвоенного материала по сравнению с его начальным стартовым уровнем.
нормативно-ориентированный, ориентированный на статистические нормы, определяемые для данной совокупности обучаемых. Учебные достижения отдельного обучаемого интерпретируется в зависимости от достижений всей совокупности обучаемых, выше или ниже среднего показателя – нормы. Происходит распределение обучаемых по рангам. Независимо от того, какая шкала используется при этом, все эти шкалы не дают информации об овладении обучаемыми определенной системой знаний и умений или о достижении ими конкретных целей обучения. Данный подход не соотнесен с содержанием процесса обучения, а если проверку проводит преподаватель, то его оценка чаще всего субъективна, так как делается относительно среднего уровня подготовки группы (класса).
Введение понятия и разработка методики критериально-ориентированного тестирования положили начало в установлении различий между педагогическими измерениями и классической психометрикой или психологическими измерениями. Появились понятия тесты освоения и тесты минимальной компетентности.
Различие всех трех подходов можно обнаружить в функциях или целях оценки, ее последствиях для испытуемых, в интерпретации полученных данных, а также в методах анализа результатов.
В последнее время наметилась тенденция объединения двух подходов (критериально-ориентированного и нормативно-ориентированного) при оценке образовательных достижений и использования в одном инструментарии характеристик как тестов, ориентированных на норму, так и тестов, ориентированных на критерии.
В настоящее время понятие «критериально-ориентированный подход» или тест заменяются понятиями «ориентированный на содержание» и «ориентированный на цели или требования к уровню подготовки».
Объединение двух подходов также происходит при интерпретации результатов выполнения теста, когда результаты одновременно используются для получения распределения обучаемых по результатам выполнения теста, а также для получения информации об уровне усвоения данной совокупностью обучаемых изученного материала. Например, испытуемые делятся на группы по рейтингу их достижений и для каждой группы отбираются задания, которые описывают уровень подготовки обучаемых в терминах знаний и умений.
Многие известные специалисты в области педагогических измерений считают, что измерения, в основе которых лежит психометрика и теория тестов, сменяются в настоящее время новым типом измерений. Измерения в образовании должны оценивать индивидуальные достижения учащихся по отношению к самому себе, а не к другим учащимся, они должны быть направлены больше на помощь ученику в обучении, чем на выставление отметок, в большей степени оценивать компетентность, а не интеллектуальное развитие.
Обучение – это диалог между Учителем и Учеником. Соответственно программные средства поддержки КСО должны обеспечивать ведение обучающего диалога. Такие средства можно разделить на две большие категории.
Рис. 13.2. Средства обеспечения диалога
Средства управления предъявляемой информации – средства навигации. Это разнообразные кнопки и гиперссылки. Стандартные кнопки размещаются на специальных панелях управления. Примеры: кнопки «Дальше», «Назад», «Справка», кнопки управления динамической информацией (звук, видео) и т.п. Гиперссылки размещаются непосредственно в предъявляемой информации. Средства навигации достаточно просто можно подключить посредством современных текстовых и HTML-редакторов, не прибегая к прямому программированию. Средства навигации интенсивно используются при контроле и диагностике ЗУН для вызова справочной информации, помощи и т.д.
Средства ввода и анализа высказываний обучаемого в основном используются для ввода ответов и их анализа. Ввиду большого разнообразия учебных дисциплин и учебных задач анализ произвольных высказываний представляет собой наиболее сложную и ресурсоемкую проблему при разработке КСО. Особенностью анализа ответов является наличие свойства «правильность ответа».
Ввод высказывания обучаемого производится с клавиатуры, посредством графического указателя (мышь, графический планшет, джойстик и т.п.) или системы речевого ввода (рис. 13.3).
Рис. 13.3. Средства ввода
Ввод высказывания в виде строки произвольного текста с клавиатуры широко используется при контроле. Как разновидность можно анализировать код любой однократно нажатой клавиши или сочетания клавиш клавиатуры или (и) мыши. Применимо при обучении работе на клавиатуре и с мышью.
Графический ввод определяет ввод высказывания с помощью графического указателя – мыши, трекбола, графического планшета и т.п. Разновидности графического ввода:
щелчок по стандартному объекту (кнопке, меню и т.п.);
указать область – определяет область экрана, внутри которой обучаемый должен щелкнуть мышью;
указать точку – определяет область экрана и цвет точки, по которой обучаемый должен щелкнуть мышью;
выделить («резиновым» прямоугольником) прямоугольную область экрана;
перемещение (перетаскивание) и изменение объектов.
Речевой ввод. Разработка программных систем распознавания речи ведется уже много лет и в этой области достигнуты значительные успехи. Уже находятся в эксплуатации вполне надежно работающие системы распознавания речи с настройкой на одного диктора. При переходе к другому диктору требуется переобучение системы. Надежность систем распознавания речи произвольного диктора пока оставляет желать лучшего и их использование в обучении пока имеет характер эксперимента. Однако уже в ближайшее время можно надеяться на широкое применение подобных систем при контроле ЗУН.
Обычно системы распознавания речи преобразуют произнесенное диктором слово или фразу в строку. Поэтому такие системы будет легко встроить в существующие компьютерные обучающие системы.
Современные операционные системы позволяют определить активную область экрана, внутри которой система и будет реагировать на те или иные действия пользователя. Например, автор может поместить окно ввода текста в любое место экрана, задать цвет окна и текста, шрифт и т.д.
Рассмотрим на примерах наиболее распространенные на сегодняшний день типы ответа (рис. 13.4).
Рис. 13.4. Типы ответа
Выбор. На экране имеется и текст вопроса и несколько (обычно 2–5) вариантов ответа. Из них нужно выбрать правильный ответ. Варианты ответов могут быть сведены в таблицу, тогда это называется выбор из меню.
Разновидностью выбора является т.н. «множественный» выбор, когда имеется несколько правильных ответов и нужно выбрать их все.
Указатель. На карте центра Москвы указать расположение Александровского сада – щелкнуть по нему мышью. Указатель часто используется для организации выбора, так как позволяет выбрать не только текст, но и рисунки.
Выделение. В тексте или таблице выделить определенный фрагмент. Пользователь подводит курсор мыши к нужному месту экрана, нажимает левую клавишу и, не отпуская клавиши, выделяет нужную ему область, после чего клавиша отпускается.
Классификация. Рассадить по разным клеткам (переместить в определенные области экрана) хищников и травоядных.
Произвольная строка. С помощью клавиатуры вводится некоторая произвольная символьная строка.
Ситуация. Ситуацией называется определенная в пространстве окна ввода совокупность элементов (объектов). В качестве примеров можно привести конструирование из набора математических символов сложного «многоэтажного» математического выражения, конструирование схем, задачи классификации и т. п. Характерным для ситуаций являются перемещение исходных элементов (элементов меню пользователя) и (или) изменение состояния этих элементов в пространстве окна ввода для создания некоторой конечной ситуации. Например, собрать схему из элементов, установить на схеме управления переключатели в определенные состояния.
При анализе ситуации большое значение имеет как взаиморасположение определенных элементов, так и их состояния. Анализ ситуации может происходить либо динамически – при каждом изменении состояния (позиции), либо по конечному состоянию – при нажатии кнопки «Готов».
Отметка фазы (и области) в динамическом объекте (видео, звук, анимация). При демонстрации на экране видеофрагмента с панорамой холла гостиницы щелкнуть мышью по двери запасного выхода. Или во время звучания текста на английском языке щелкнуть мышью по любой области (нажать определенную клавишу клавиатуры) во время звучания фразы с указанным смыслом.
Рис. 13.5. Пример отметки фазы
С помощью Media Player вразбивку произносятся числительные. Обучаемый должен распознать произносимое числительное и щелкнуть по соответствующей цифре.
Анализ высказываний обычно проводится посредством их сопоставления с набором эталонов – правильных ответов, типичных ошибочных ответов. Разновидностей программных систем анализа ответов существует великое множество. Мы будем рассматривать анализ ответов на примере авторской системы Дельфин, разработанной в МЭИ (ТУ).
Система анализа в Дельфине построена как простая система искусственного интеллекта, работающая с базой знаний по элементарной математике и логике. В результате последовательного анализа ответа и набора эталонов делается вывод о соответствии ответа одному из эталонов или ни одному из них.
Каждому контрольному заданию соответствует список эталонов ответа. Каждый эталон обладает набором свойств.
К свойствам эталона относятся – тип ввода, тип эталона, сам эталон, вес ошибки, связь с другими элементами (кадрами) курса. Для определенных типов эталонов некоторые свойства могут быть опущены.
Свойство «тип ввода» определяет тип и разновидность устройства ввода, посредством которого ожидается ввод ответа.
Типы эталонов:
число:
тип числа и точность по эталону;
число в диапазоне;
любое число;
слово, фраза;
полное совпадение;
слово, фраза без учета шрифта;
логическое выражение с «ключевыми» словами;
выражение (формула):
алгебраическое выражение;
любое алгебраическое выражение;
логическое выражение;
любое логическое выражение;
ситуация. В случае ввода ответа по типу «ситуация» проводятся различные виды преобразований:
преобразовать в алгебраическое выражение. Введенная ситуация и эталоны преобразуются в однострочные алгебраические выражения с применением общепринятых правил математики. Затем система анализа высказываний проверяет эквивалентность ответа и одного из эталонов.
преобразовать в строку. Введенная ситуация и эталоны преобразуются в строки для последующего сравнения.
классификация по областям. Перемещение элементов в заданные области. Например, рассортировать щелочи и кислоты.
анализ взаиморасположения объектов в пространстве;
анализ последовательности изменения объектов.
Эталон представляет либо строку, либо указатель на таблицу элементов ситуации.
Рис. 13.6. Пример анализа однострочного алгебраического выражения
Рис. 13.6 Пример ввода и анализа ситуации – «многоэтажное» алгебраическое выражение
В текстовое окно с помощью клавиатуры вводится выражение для формулы. Имя и размер фонта задаются автором при создании курса. При нажатии клавиши F4 в специальное окно выводится полный набор символов («мышиная» клавиатура), с помощью которой можно вводить и специальные, в том числе математические символы.
«Многоэтажное» математическое выражение набирается перетаскиванием соответствующих элементов – в данном случае математических символов – из окна «меню пользователя» (внизу) в окно ввода. Для некоторых элементов может быть задана возможность изменения состояния – при щелчке мышью по такому элементу он меняет состояние, например 0–1–2 и т.д.
Для ответов типа Выбор, Указатель и Выделение тип эталона определен как «логическое выражение с «ключевыми» словами». В качестве «ключевых» слов выступают прямоугольные области экрана и цвета.
Каждому эталону соответствует понятие «Вес ошибки», т.е. автор-разработчик учебного курса оценивает правильность введенного ответа при совпадении с данным эталоном.
Связь с другими элементами (кадрами) курса показывает, куда надо перейти, если произошло совпадение с эталоном. Обязательно надо ввести связь по «Иначе», т.е. указать переход, если не произошло совпадения ни с одним эталоном. Для задачи – это всевозможные варианты ответов (обычно ошибочных), не перечисленные в списке эталонов. Для такого псевдоэталона также необходимо назначить вес ошибки и связь.
При контроле ЗУН в соответствии с целями и задачами конкретного вида контроля обучаемому предъявляется несколько заданий из исходного массива (массивов) заданий – серия. Методы формирования такой серии определяют стратегию (алгоритм, сценарий) контроля. Существуют несколько основных типов стратегий контроля.
Последовательная выборка.
Наиболее простой алгоритм контроля – последовательная выборка. Размеры исходного массива и контрольной серии одинаковы и задания выполняются в последовательности, определенной автором. Последовательная выборка используется в основном при самоконтроле. Хотя все обучаемые выполняют одни и те же задания, при самоконтроле это не имеет принципиального значения, так как он проходит обычно при самостоятельных занятиях. За счет продуманной последовательности заданий автор может обратить внимание обучаемых на наиболее важные аспекты изучаемой темы. Требования к подбору заданий в последовательную выборку определяются целями контроля.
Основной недостаток последовательной выборки – это то, что все обучаемые получают одни и те же задания, что не приемлемо при контроле знаний. Для этого служат сценарии случайной выборки заданий.
Случайная выборка – это выбор
случайным образом m неповторяющихся
заданий из исходного массива в n заданий.
Каждый обучаемый в группе получает свою последовательность
заданий. Однако это происходит только при большом отношении n/m.
Так, при независимой выборке 10 заданий из исходного массива в 100
заданий, вероятность того, что в группе из двух человек они получат
хотя бы одно одинаковое задание, близка к 1 (1 – Р(о) =
1 – 0,9
= 0,652). Под независимой выборкой понимается, что выбор заданий
конкретного обучаемого не зависит от того, какие задания получают
другие обучаемые. Не трудно подсчитать, что при 10 заданиях для
каждого из 12 обучаемых (обычное количество рабочих мест в
компьютерном классе) исходный массив должен содержать более 86 тысяч
заданий! Расчет сделан при сохранении условия, что вероятность
получения хотя бы одного одинакового задания у разных обучаемых не
превышает 0,08. Создать исходный массив такого размера практически не
реально. Поэтому, при проведении контроля в компьютерном классе,
необходимо применение более сложных систем контроля. Сетевая система
случайной выборки из общего для всего класса массива с вычеркиванием
позволяет организовать серию из неповторяющихся заданий для
приведенного примера при размере исходного массива всего 120 заданий
(количество заданий в серии, умноженное на количество обучаемых).
Стратегия случайной выборки хорошо работает на одном массиве при соблюдении правил подбора (одна тема, один уровень трудности). Однако цели контроля часто требуют наличия нескольких исходных массивов заданий, а именно для разных тем, уровней знаний и т.п.
Иерархические (многоуровневые) выборки. Наиболее распространенным сценарием иерархической выборки является «билетная» выборка. Контрольные задания распределены в некоторое множество массивов билетов. Каждый билет может включать задания по разным уровням трудности, разным темам. Сначала производится случайная выборка билета, а затем последовательная выборка заданий из выбранного билета. В данном случае мы можем считать, что имеется двумерный массив заданий (номер билета, номер задания). Массивы могут быть и больших измерений, например тема, трудность заданий, номер задания.
Фактически иерархическая выборка означает применение сценария последовательной или случайной выборки на разных уровнях. Можно использовать разнообразные сценарии, лишь бы они соответствовали целям контроля.
Адаптивные алгоритмы предназначены, в основном, для сокращения времени контроля. Вы можете указать максимальное количество или (и) максимальную сумму штрафных очков, при наборе которых контрольная серия будет прервана и принято решение о неудовлетворительной оценке знаний.
Например, если Вы считаете, что при семи неправильных ответах в серии из 15 заданий знания учащегося неудовлетворительны, то контроль можно прекратить и не терять время на решения оставшихся заданий. Точно так же при безошибочном выполнении заданий контрольной серии можно досрочно прервать контроль и выставить положительную отметку.
Можно построить алгоритм адаптации, например, к уровню знаний.
Рассмотрим следующую ситуацию. Контрольные задания распределены в три группы – «на тройку», «на четверку» и «на пятерку». Сначала задается серия вопросов средней группы. При положительном результате переходят к вопросам «на пятерку», при отрицательном – «на тройку». Результаты контроля на этом уровне позволяют однозначно выставить обучаемому адекватную отметку.
Очень условно к адаптивным сценариям можно отнести прерывание контроля в случае превышения назначенного общего времени контроля. Решение можно вычислять либо по результатам выполненных заданий, либо засчитать все невыполненные задания как неправильно решенные.
Как известно, составление массива педагогически корректных заданий вызывает значительные трудности у авторов, да и требует очень больших затрат времени. Поэтому предпринимаются попытки возложить хотя бы часть задач по составлению условий заданий и правильных эталонных ответов на жестяные плечи компьютера. В основном работы идут в двух направлениях.
Генерация задания. Это частный случай решения одной из глобальных проблем информатики, которую можно было бы сформулировать следующим образом: научить компьютер генерировать синтаксически и прагматически правильный произвольный текст. Уже имеются некоторые результаты в создании образцов подобных интеллектуальных систем, построенных на базах знаний, однако до широкого их использования в системах контроля и обучения еще далеко.
Генерация переменных задания.
Гораздо большие результаты достигнуты в области генерации условий задания. При этом автор составляет шаблоны, заготовки заданий, а компьютер на основании некоторого набора простых правил вставляет в определенные места (заполняет пропуски) сгенерированные данные.
Рис. 13.7. Пример генерации чисел (в данном случае 2 и 5)
Это позволяет во многих случаях сократить исходный массив заданий. Так, при проверке знания таблицы умножения надо выдать на экран два целых случайных числа в диапазоне от 2 до 9. Одно такое задание будет эквивалентно массиву из 64 заданий. Эталон правильного ответа компьютер легко вычисляет, как произведение этих двух чисел.
В других случаях необходимо генерировать не просто число, а значение выражения, например, в случае решения задачи на нахождение целочисленных сторон прямоугольного треугольника, требуется сгенерировать два целых числа U и V, затем вычислить и отпечатать на экране значения трех сторон треугольника по формулам:
X = 2 • U • V, Y = Abs(U2 – V2), Z = U2 + V2.
В третьем случае необходимо выдавать на экран некоторое слово из списка (например, личное местоимение). В таком случае каждому списку генерируемых сообщений должен быть сопоставлен один или несколько списков правильных ответов. Например, список личных местоимений русского языка и сопоставимые им списки английских, французских и немецких местоимений.
Типы генерируемых сообщений:
случайное число в диапазоне;
значение выражения;
слово (фразы) из списка;
сопоставление списков.
Требования к организации задания.
Задания должны быть операциональными, т.е. требовать однозначного ответа. Обучаемому необходимо указать, в какой форме он должен дать свой ответ (высказывание). Ответ обучаемый должен вводить на кадре с заданием, чтобы условие задачи было перед его глазами.
В ряде случаев для выполнения задания обучаемому может быть предоставлена возможность обращения к необходимой справочной информации или помощи по решению задания. Использование обучаемым помощи при проведении контроля, особенно при заключительном, обычно штрафуется. Помощь может включать несколько уровней вызова – от мягких напоминаний в виде рисунков, выдержек из лекционного материала до прямой подсказки в виде формул, алгоритмов решения и решения аналогичной задачи. В том случае, если вызов помощи штрафуется, обучаемый должен быть обязательно предупрежден об этом.
Реакция на ответ.
Оценка правильности (неправильности) ответа должна быть на этом же кадре, чтобы обучаемый мог попытаться найти самостоятельно свою ошибку, так как он имеет перед глазами условие задачи, свой ответ и его оценку.
Для некоторых типов контроля, например, текущего и рубежного, необходимо, чтобы любой ответ обучаемого комментировался. Известно, что обучаемый может дать правильный ответ случайно (там, где предлагается, например, выбор из двух-трех вариантов ответов), или узнав его у соседей (в случае групповых занятий). Он может дать правильный ответ не будучи уверенным в его правильности, или не умея объяснить его. Поэтому и на правильный ответ должен быть дан комментарий.
Помимо реакций на правильные и неправильные ответы автор должен предусмотреть и реакцию на непредусмотренный им ответ обучаемого. Это необходимо для того, чтобы обучаемый в любом случае мог продвигаться по курсу.
Диагностика (локализация) ошибок.
Подбор «типичных» неправильных ответов и разработка комментариев к ним должны быть предметом особого внимания автора обучающего курса. От того, насколько точно автор учитывает в комментарии причину ошибки обучаемого, зависит адаптивность данного курса к конкретному обучаемому.
Часто авторы не анализируют возможные ошибки, дают реакции только на правильный ответ, а все остальные ответы попадают в рубрику непредусмотренных ответов («иначе»).
Однако, достичь должного уровня индивидуализации обучения таким путем невозможно, так как и для автора, и для обучаемого причины ошибок оказываются скрытыми. Автор в этом случае не может поставить точный «диагноз» обучаемому и обеспечить адекватную коррекцию.
Некоторые авторы пытаются выйти из этого положения. Они проводят типологию ошибок и составляют реакции на типичные ошибки. Но как показали исследования психологов, это не гарантирует точность диагноза, потому что одна и та же ошибка, с одной стороны, может быть вызвана разными причинами, а с другой стороны, правильный ответ может быть получен в результате неверных действий.
При создании структуры формируемой деятельности автору надо выделить систему действий, подлежащих усвоению, и соответствующую каждому действию систему операций.
Как показано психологами, психологическими причинами ошибок могут быть:
несформированность одной или нескольких отдельных операций;
несформированность системы операций при сформированности каждой отдельной операции;
обе причины вместе.
Зная в каждом из описанных случаев, что именно не сформировано у конкретного обучаемого, автор четко знает, какие ошибки может сделать обучаемый, и предусматривает соответствующую коррекцию.
Не всегда по ответу обучаемого можно сразу поставить точный диагноз. Необходимо дать дополнительные уточняющие задания, по ответам на которые можно вскрыть причину ошибки – локализовать ошибку.
Например, обучаемому надо не просто объяснить его неправильный ответ, но дать дополнительную задачу (или серию задач), наводящий вопрос, уточняющие задания, справочные данные и т.д. Организация познавательной деятельности обучаемого с использованием поэтапного решения задания выполняет двоякую функцию.
С одной стороны, это позволяет имитировать естественный диалог (типа беседы с обучаемым на коллоквиуме или на семинаре), а, с другой стороны, уже в процессе этого диалога обучаемый сам понимает свою ошибку и находит правильное решение.
Иногда по характеру отрабатываемого действия бывает достаточно задания и набора реакций на возможные ответы обучаемого.
В связи с вышеизложенным можно выделить несколько типов заданий.
Решение за 1 этап. Задание формулируется таким образом, чтобы обучаемый ввел конечное решение. Например «Вычислите и введите значение периметра окружности с радиусом 3,8 метра».
Решение в несколько этапов. Задание формулируется в виде нескольких подзаданий и решается последовательно. Например: «Тело брошено под некоторым углом к горизонту с начальной скоростью v0 и через 3 секунды падает на землю на расстоянии 5 метров от точки бросания. Вычислите значения начальной скорости v0 и угла .
1-й этап. Нарисуйте траекторию движения тела и сравните его с предложенными.
2-й этап. Введите формулу для вычисления начальной скорости в общем виде.
3-й этап. Вычислите значения начальной скорости и введите ее значение с точностью не менее трех значащих цифр.
4-й этап. Введите формулу для вычисления угла в общем виде.
5-й этап. Вычислите значения угла и введите его значение с точностью не менее двух значащих цифр»
Локализация ошибки. При решении задачи (в один или несколько этапов) и ошибочном ответе задаются дополнительные вопросы, уточняющие причину ошибки.
Каждый ответ обучаемого должен быть оценен. Оценка может учитывать только правильность (или неправильность) ответа. В этом случае шкала оценок содержит всего две позиции (например, единица за правильный ответ и 0 за неправильный). Такая, достаточно грубая шкала, прекрасно работает во многих случаях. Более точно оценить уровень усвоения знаний можно при учете других факторов.
Вес ошибки. Как указывалось выше, во многих случаях можно предусмотреть возможные типичные ошибки обучаемого при решении задачи и назначить им разные штрафные очки. В этом случае шкала оценки с учетом веса ошибки может иметь, например, такой вид: 0 – без ошибки (правильно), 1 – правильно, но не совсем точно; 2 – N – от малозначительной до грубой ошибки.
Вес задания. Вес задания может характеризовать:
трудность задания, как уровень усвоения деятельности;
сложность задания, как количество существенных операций при решении данного задания;
некоторую экспертную оценку, например, «на тройку», «на четверку», «на пятерку» или др.
Вес задания может учитываться назначением премиальных очков при правильном ответе или изменением веса ошибки при неправильном.
Использования помощи (подсказок). Использование обучаемым помощи может штрафоваться, причем величина штрафа может меняться в зависимости от уровня подсказки. Прямая подсказка должна штрафоваться сильнее, чем мягкое напоминание. Естественно, что использование справочной информации не должно штрафоваться.
Время на ответ. При проверке навыков значение имеет не только правильность решения задания, но и время решения. Существуют два основных варианта учета времени решения. В первом варианте, если учащийся не успел дать ответ за отведенное время, ему автоматически засчитывается ошибка с определенным штрафом.
Во втором варианте, в зависимости от затраченного времени, правильный ответ может поощряться или штрафоваться, т.е. назначаться соответствующие очки.
Количество попыток решения. В ряде случаев обучаемому предоставляется возможность повторного решения задания. Важно, чтобы это не превращалось в «угадайку». Правильный конечный ответ может быть засчитан как правильный, но при этом назначены некоторые штрафные очки, учитывающие количество попыток решения.
Отказ от ответа может штрафоваться как неправильный ответ, а может штрафоваться достаточно мягко, стимулируя честность обучаемого. При диагностике знаний отказ от ответа может вызвать предъявление более простого задания или прямого вопроса о тех затруднениях, которые имеются у обучаемого.
Для решения задания в один этап вычисление оценки не представляет особых трудностей. При многоэтапном решении задания некоторые ответы могут оказаться ошибочными. В этом случае система контроля принимает решение по одному из двух возможных правил:
«Жесткий» контроль. Ошибка при неправильном решении любого этапа прекращает контроль и считается, что задание не выполнено.
«Мягкий» контроль. Если обучаемый проходит, в конце концов, все этапы решения, делая и исправляя ошибки, пользуясь помощью и т.п., он получает положительную оценку. При этом ему назначаются и штрафные очки, которые учитываются при подсчете результатов всей контрольной серии.
По завершении контрольной серии заданий принимается решение о результатах контроля. При этом могут быть приняты во внимание следующие показатели:
количество заданий;
количество правильно решенных заданий;
веса ошибок;
веса заданий;
использования помощи (подсказок);
время на ответ;
количество попыток решения;
отказ от ответа.
Естественное желание – свести все показатели (или отбросив часть показателей) к некоторому общему критерию. В простейшем случае учитывают только количество заданий и количество правильно решенных заданий. Критерий при этом рассчитывается как процент успешности по формуле:
Результат = 100 * (количество правильно решенных заданий / количество заданий).
Учет других показателей обычно сводится к начислению для них общих очков по специальным правилам, а затем к вычислению критерия, учитывающего количество правильно решенных заданий, количество заданий и набранные очки.
На основании рассчитанного критерия программная система контроля обычно принимает одно из двух решений.
Выставление отметки (рейтинга). Некоторые виды контроля, например, рубежный и итоговый, требуют выставления отметки в принятой шкале. Правило перевода критерия успешности в пятибалльную отметку приводилось выше.
Изменение хода обучения. Промежуточные виды контроля могут служить не только для констатации факта уровня усвоения, но и для принятия решения о дообучении учащегося, если этот уровень не достаточен для продолжения обучения.
Здесь мы будем рассматривать только методические проблемы надежности контроля ЗУН при использовании КСО.
Достоверность контроля
Под достоверностью контроля понимается устойчивость получения близких результатов в однородных учебных группах при его применении. Для оценивания достоверности чаще всего применяют следующие методы.
Параллельный контроль. Контроль проводится в нескольких однородных группах. Для соблюдения однородности можно перемешивать учащихся из разных учебных групп.
Повторный контроль проводится при небольшом количестве учащихся через короткое время (часы). Корреляция результатов машинного контроля с традиционными видами контроля преподавателем является наиболее психологически ценной для преподавательского коллектива. Преподаватель всегда считает, что именно он наиболее достоверно может оценить знания обучаемых. В таком случае проводиться контроль знаний с использованием программных средств, а затем пишется обычная контрольная работа, отметку за которую выставляет преподаватель. Расхождение результатов может служить основанием для коррекции контроля.
Проверка достоверности обязательно должна проводиться на этапе опытной эксплуатации программы контроля.
Аутентификация
На системы, используемые для контроля знаний, накладываются дополнительные требования, связанные с аутентификацией обучаемых (определению личности), их авторизацией (допуска к тестированию), выполнению требований по проведению тестирования. В настоящее время указанные требования могут быть выполнены только в случае прохождения тестирования либо в учебном заведении, либо в опорном пункте учебного заведения. Требования аутентификации, авторизации, надлежащего проведения контроля обеспечиваются персоналом учебного заведения или опорного пункта.
В случае проведения тестирования в опорных пунктах необходимо обеспечение надежной аутентификации опорных пунктов, защищенная передача данных тестирования, обеспечивающая целостность сообщений, контроль времени отправки и получения результатов тестирования.
Для разработки компьютерных средств обучения, в том числе и средств тестирования и контроля знаний, используются различные программы, которые обычно называются инструментальными средами (ИС).
Необходимо подробно рассмотреть требования к отдельным функциям ИС, т.е. насколько полно решаются ими как дидактические, так и другие задачи, которые возникают при создании конкретных КСО. Детальный список конкретных требований служит основанием для выбора ИС. Часто эта процедура выполняется несколько раз, так как в процессе выбора и испытания ИС могут меняться сами требования.
Чаще всего используются следующие стратегии выбора:
Использовать ИС, имеющуюся в учебном заведении и рекомендованную к применению учебным управлением, т.е. пользоваться не тем что надо, а тем, что есть;
Подобрать «пиратскую» версию подходящего продукта – путь незаконный и чреватый неприятными последствиями;
Провести анализ рынка и приобрести легальную версию подходящей и проверенной ИС;
Разработать свою собственную среду – нет смысла пытаться разработать свою собственную среду, так как существует ряд продуктов, опробованных на практике, тестируемых и модернизируемых, удовлетворяющих высоким мировым требованиям и стандартам. При разработке своего продукта очень вероятно допущение ошибок, значительно затрудняющих организацию процесса дистанционного обучения. Разработка и особенно отладка серьезных ИС занимает годы и стоит очень больших денег.
Приведем, наверное, не полный, список факторов, влияющие на выбор инструментальной среды (ИС) для разработки компьютерных средств тестирования и контроля знаний.
Целевое назначение.
ИС будет использоваться только для тестирования и контроля знаний, умений и навыков или как часть более общей системы обучения
Представление учебной информации:
Средства создания (или сборки) и редактирования учебной информации;
Управление представлением учебной информации (переходы, навигация и т.д.)
Организация контроля усвоения ЗУН:
Ввод и анализ ответов;
Организация сценария контроля ЗУН;
Принятие решения по результатам контроля за один вопрос и контрольную серию.
Генерация последовательности предъявления тестов.
Сбор и обработка статистики о ходе обучения.
Инструментарий разработчика.
Наличие средств визуального проектирования и редактирования;
Интерфейс разработчика: панели инструментов, редактирование методом Drag and Drop, справочная система, контекстная справка, работа с шаблонами и т.п.;
Средства автоматизации процесса создания и отладки. Реализация функций управления проектом и средств, поддерживающих совместную деятельность коллектива разработчиков. Реализация функций администрирования, разграничения прав доступа;
Требования к компьютерной квалификации разработчиков;
Наличие средств формирования дистрибутива продукта и создания программы его установки.
Средства проигрывания:
С помощью стандартных программ входящих в состав операционной системы (ОС) или в комплект поставки ОС, например MS Internet Explorer;
С помощью специализированных программ-проигрывателей;
Настройка готового курса преподавателем в зависимости от цели конкретного занятия.
Средства доставки содержания КСО обучающемуся:
Автономные;
Сетевые, которые в свою очередь можно разделить на:
Для использования в локальных сетях;
Для использования в глобальных сетях.
Экономические факторы.
Стоимость и срок действия лицензии;
Наличие и величина лицензионных отчислений за распространение созданных продуктов;
Условия сопровождения (период бесплатного сопровождения, стоимость консультаций, обеспечение технической поддержки по телефону и Internet и т.д.);
Условия предоставления обновленных и новых версий.
Специальные требования к программным системам контроля ЗУН
Соответствие средств ввода и анализа ответов заявленному (требуемому) уровню усвоения ЗУН.
Соответствие средств визуализации представления заданий необходимым требованиям.
Функционально-валидный интерфейс.
Соответствие виду контроля ЗУН (тест, контрольная работа, диагностика и т.п.).
Обеспечение надежности функционирования: аутентификация, авторизация, надежность и защита статистики, защита от взлома.
Создание этой системы преследовало три основные цели:
предоставить преподавателям удобное (и вместе с тем достаточно универсальное) средство создания и редактирования контрольных вопросов;
по возможности максимально автоматизировать проверку знаний учащихся;
организовать единый банк вопросов, что упростило бы его обновление и управление.
Существуют, по крайней мере, два возможных подхода к решению поставленной задачи:
web-сервер отсутствует – требуется установка дополнительного программного обеспечения для организации интерфейса между преподавателем, студентами и базой вопросов;
существует web-сервер – к банку вопросов возможен доступ с использованием стандартных средств просмотра Интернет-страниц (например, MS Internet Explorer).
Отличительными особенностями сетевой системы контроля знаний являются:
наличие банка вопросов, который доступен по компьютерной сети и работает под управлением системы управления базой данных (СУБД) совместимой с Microsoft SQL Server 2000;
применение визуальных средств создания вопросов, не требующих от преподавателя навыков программирования;
сбор (в том числе персональный) статистической информации, помогающий проанализировать и повысить качество вопросов.
Основные возможности данного программного средства могут быть проиллюстрированы следующими примерами разработанного и применяемого пользовательского интерфейса.
Статус пользователя определяется именем и паролем, который он вводит в начале работы (рис. 13.8). Если пользователем является студент, то ему дополнительно предлагается указать учебную группу и свою фамилию (рис. 13.9).
После успешной проверки введенной информации, которая осуществляется на сервере, преподавателю становятся доступны две дополнительные, по отношению к студенту, закладки: «Администрирование», на которой осуществляются основные действия по созданию, редактированию и удалению вопросов, и «Журнал» – для просмотра ответов учащихся.
Рис. 13.8. Окно идентификации пользователя
Рис. 13.9. Регистрация студента
Действия и возможности преподавателя
Вопросы структурируются по учебным дисциплинам и темам, представленным в виде древовидной структуры, которая располагается в основном окне программы слева.
Если требуется создать или удалить дисциплину, тему или вопрос, можно воспользоваться контекстным меню. При этом, в зависимости от того на каком уровне структуры вызвано это меню, будет предложено создать элемент следующего уровня (рис. 13.10).
Дополнительно рис. 13.10 иллюстрирует возможность выполнения этих действий без вызова контекстного меню, а посредством нажатия так называемых «горячих» клавиш на клавиатуре: «Insert» – для вставки, «Delete» – удаления и «F2» – переименования элементов «дерева».
|
|
|
Рис. 13.10. Добавление новой темы и вопроса
После создания нового или выбора существующего вопроса основное окно программы будет выглядеть так, как показано на рис. 13.11. Изменить можно следующие позиции:
заголовок (название) вопроса;
текст вопроса;
рисунок, иллюстрирующий данный вопрос;
один или несколько вариантов правильного ответа на вопрос;
перечень переменных, из которых студент будет создавать свой ответ.
Название вопроса будет отображаться в «дереве» курсов, тем и вопросов и может быть произвольным. Из перечня переменных на этапе контроля формируется отдельная панель инструментов. Он является «строительным материалом», из которого студент создает свой ответ. Для отделения одной записи от другой используется знак «;». Текст вопроса дается в произвольной форме (в текущей версии разнообразие шрифтов не поддерживается).
Рис. 13.11. Режим редактирования вопроса
Каждый вопрос может быть проиллюстрирован одним рисунком. Его изготовление осуществляется в любом редакторе, который может сохранять рисунок в известных форматах растровой графики: BMP, GIF, JPEG. Добавление (или удаление) рисунка осуществляется через контекстное меню, вызываемое на поле для иллюстрации (рис. 13.12).
Рис. 13.12. Контекстное меню иллюстрации к вопросу
Команда «Вырезать» помещает копию изображения в буфер обмена и очищает поле рисунка. «Копировать» действует так же, как и «вырезать», только без удаления рисунка. Если в буфере обмена уже находится иллюстрация, то ее можно вставить соответствующей командой. При этом старый рисунок будет удален. Команда «Загрузить» позволяет вставить рисунок из файла. Команда «Очистить» – удаляет рисунок без сохранения.
В зависимости от вопроса перечень правильных ответов может включать более одной позиции. Для управления им используются кнопки: «Добавить», «Изменить», «Удалить» и «Сохранить ответы». Названия первых трех кнопок говорят сами за себя. Последняя из них обеспечивает сохранение введенных записей в базе данных, размещаемой на сервере. Ответы могут быть записаны как в виде: <искомая величина> = <выражение>, так и без левой части со знаком равенства (например, для примера на рис. 13.11 правильный ответ может быть записан и виде i(R)). Подсистема анализа ответов правильно распознает и такой вариант.
За исключением позиции «Ответ(ы)» остальные составляющие вопроса (заголовок, перечень переменных, текст, иллюстрация) сохраняются в базе данных автоматически при переходе к другому вопросу или к другой закладке («Контроль» или «Журнал»).
Для того чтобы посмотреть на изготовленный вопрос и проверить возможность ответа на него, следует перейти на закладку «Контроль» (рис. 13.13). Необходимые пояснения по работе с этой закладкой даны ниже в описании возможностей, предоставленных студенту. Здесь стоит лишь отметить, что тестирование вопроса в журнал действий пользователя не заносится. Значения, которые преподаватель указывает в поле «Перечень переменных», превращаются в кнопки панели инструментов, которая находится в левой части окна.
Закладка «Журнал» доступна только для преподавателя. С ее помощью он может проанализировать и проконтролировать ответы учащихся.
Рис. 13.13. Проверка вопроса преподавателем
Внешний вид закладки представлен на рис. 13.14. Она может быть разделена на две области. Первая содержит поля отбора (фильтрации), вторая – таблицу для отображения результатов. Допускается отбор по следующим параметрам:
дата (с, по);
название учебной группы;
фамилия студента;
тема, к которой относится вопрос;
название вопроса.
По последним четырем позициям допускается ввод неполных выражений (например, «эл» вместо полного «Эл-11-99»).
При ответе студента заносится следующая информация: дата и время ответа, учебная группа, фамилия и имя учащегося, название темы и вопроса, на которые отвечал учащийся, результат ответа (в текущем варианте это реализовано на уровне «правильно» – «неправильно»).
При работе преподавателя заносится дата и время входа в систему, а также Интернет-адрес, с которого осуществлен вход.
Рис. 13.14. Просмотр журнала ответов
Каждый столбец допускает сортировку по возрастанию или убыванию. По умолчанию она ведется по полю «Дата/Время».
Действия и возможности студента
После регистрации учащегмуся доступна одна закладка – «Контроль». Доступ к вопросам, на которые он должен дать ответ, осуществляется посредством перемещения по «дереву», которое отображается на экране слева. После выбора вопроса на экране формируется окно, подобное тому, что показано на рис. 13.15.
Для ответа на выбранный вопрос необходимо построить выражение (позиция «Ответ» на рис. 13.15) из терминов (переменных), арифметических операций, числовых значений, представленных в соответствующих панелях инструментов (рис. 13.15, вверху). Он формируется в виде одной строки текста. Сложные выражения формируются с помощью скобок по правилам алгебры.
Рис. 13.15. Построение ответа студентом
Для уменьшения неоднозначности ответа и ускорения его обработки соответствующее текстовое поле переведено в режим «только для чтения». Таким образом, требуемое выражение записывается только в терминах того «алфавита», который представлен на панелях инструментов.
Это положение можно проиллюстрировать примером, показанным на рис. 13.15. Для формирования ответа студент вначале должен нажать на кнопку «w»; затем на «=»; далее «–»; и в конце – «5». Если требуется ввести выражение, содержащее десятичное число с дробной частью, то необходимо воспользоваться кнопкой «.».
Для коррекции неправильно введенного ответа служат
кнопки
.
Первая из них позволяет отменить последний введенный символ, вторая –
вернуть неправильно удаленный символ, а третья – полностью
очистить поле ответа.
После того как студент дал ответ, нажав кнопку «Принять ответ», результат его действий фиксируется в электронном журнале, хранящемся на сервере. Правильность или неправильность ответа отображается флажками зеленого или красного цвета соответственно рядом с названием в перечне вопросов.
Отдельно следует сказать о блоке анализа введенных выражений. Используя теоретические положения методов разбора регулярных выражений, этот блок способен разобрать введенный и правильный ответы на отдельные операнды и операции (с учетом приоритета и скобок), и на основе этого разбора построить иерархическое «дерево». Если оба «дерева» совпадут, то ответ дан правильно. Совпадение будет и в том случае, если операнды поменять местами в операциях, в которых это не приведет к изменению конечного результата. Дополнительно блок анализа умеет учитывать основные тригонометрические функции.
Количество правильных и неправильных ответов учитывается и отображается в цветных полях внизу главного окна программы. Кроме того, флажок соответствующего цвета отображается рядом с названием вопроса. Если на вопрос ответ еще не дан, то флажок будет серого цвета (см. рис. 13.15). По умолчанию время, в течение которого учащийся или преподаватель не производят никаких действий в программе с помощью клавиатуры или мыши, ограничено примерно 20 минутами. После истечения указанного срока для продолжения работы нужно закрыть программу и осуществить повторный вход в нее.
При возможности развертывания на одном из компьютеров web-сервера (например, при использовании Microsoft IIS 5 или 6 версии) можно отказаться от установки на клиентских рабочих местах дополнительных программ и воспользоваться встроенным обозревателем Интернет (например, MS Internet Explorer). Дополнительным достоинством этого варианта является повышение безопасности при работе с базой данных извне, так как взаимодействие с удаленными пользователями осуществляется по стандартному 80-му порту подключения.
Такой вариант системы был создан и опробован. По своим возможностям и интерфейсу он максимально приближен к варианту системы, представленному в пункте 13.5.1. В настоящее время его функционирование можно посмотреть по адресу http://ecio.mpei.ac.ru/Colloquim/Logon.aspx.
По указанному адресу размещается начальная (стартовая) страница, на которой осуществляется процедура регистрации (рис. 13.16).
Если пользователь зарегистрировался как преподаватель (администратор вопросов), то ему будет доступна страница, которая выглядит так, как показано на рис. 13.17. В левой части располагается «дерево» курсов, тем и вопросов. Справа вверху – закладки. Текст текущей закладки выделен жирным шрифтом, а ее фон сделан более светлым. Содержимое рамки слева меняется в зависимости от выбранного в «дереве» уровня.
Рис. 13.16. Начальная страница, регистрация пользователя
Рис. 13.17. Вид страницы после регистрации преподавателя
Несколько изменен способ создания, удаления и изменения курсов и тем. Для того чтобы произвести редактирование, необходимо перейти на соответствующий уровень «дерева» и воспользоваться соответствующими кнопками и полем редактирования (рис. 13.18). В примере показано редактирование названия курса. Кнопки обеспечивают: создание темы (т.е. следующий уровень дерева), удаление курса (здесь надо быть внимательным, так как в этом случае будут удалены все темы и вопросы, которые входят в этот курс) и сохранение внесенных в название курса изменений (кнопка «Изменить»).
Рис. 13.18. Редактирование названия курса
Редактирование вопроса не претерпело существенных изменений (рис. 13.19).
Добавлена кнопка «Сохранить в БД», обеспечивающая сохранение внесенных исправлений в сетевой базе данных. При наличии больших по объему иллюстраций и низкоскоростных линий связи этот процесс может занять заметное время. Добавление рисунка производится выбором файла с помощью кнопки «Обзор…», затем необходимо нажать кнопку «Обновить» для отображения внесенных изменений. В случае, когда поле с именем файла рисунка пустое, нажатие кнопки «Обновить» приводит к очищению поля рисунка. Формат рисунков может быть любым, который поддерживает программа Internet Explorer (например, BMP, JPG, GIF, PNG).
Для учащегося верхние закладки выглядят так, как показано на рис. 13.20 вверху. Закладки «Администрирование» и «Журнал» ему не доступны. Фамилия и имя студента добавляются к названию закладки. Ответ формируется нажатием на кнопки, представленные на рисунке вверху. Там же размещены и кнопки отмены, повтора и очистки содержимого поля ответа. Таким образом, технология создания ответа принципиально не отличается от рассмотренного варианта.
Рис. 13.19. Пример редактирования выбранного вопроса
Рис. 13.20. Внешний вид страницы при ответе студента
Модуль разбора выражений в данной версии полностью идентичен ранее описанному варианту по своим возможностям и принципу действия. Правильные и неправильные ответы отмечаются визуально в «дереве» слева в виде зеленых и красных «флажков».
Возможности журнала представлены на рис. 13.21. Фильтр можно установить по полям «Группа» (в том числе «Администратор»), «Пользователь» (фамилия, имя), «Тема», «Вопрос», а также указать период времени за который просматриваются записи в журнале.
В конечную таблицу помимо перечисленного добавлен столбец «Результат», в котором в символьном виде показано правильно или нет ответил студент на вопрос. Если количество просматриваемых записей превышает 15, то производится разбивка на страницы. Количество страниц, а также номер текущей страницы отображаются внизу справа.
Для каждого столбца таблицы предусмотрена
сортировка по возрастанию и убыванию. Такой столбец отмечен стрелками
или
.
Рис. 13.21. Просмотр журнала ответов
База вопросов имеет простую структуру, основу которой составляют три таблицы, представленные на рис. 13.22:
«Courses» («Курсы») включает ключевое поле CourseID (идентификатор курса) и поле CourseName (название курса);
«Themes» («Темы») включает ключевое поле ThemeID (идентификатор темы), поле ThemeName (название темы) и поле связи с таблице «Courses» CourseID (идентификатор курса);
«Questions» («Вопросы») является основной таблице, в которой хранится содержимое вопросов. Она состоит из следующих полей: QuestionID – ключ,
ThemeID – связь с таблицей «Themes»;
Question_Title – заголовок вопроса,
Question_Text – текст вопроса,
Question_Buttons – описание кнопок для панели инструментов с переменными,
Answer_Mask – перечень правильных ответов,
QImage – бинарное поле для хранения изображений.
Рис. 13.22. Основная часть структуры БД вопросов
Помимо этого имеются три таблицы, которые носят вспомогательный характер. Их состав представлен на рис. 13.23. Показанные на нем элементы описываются следующим образом:
Таблица «StudyGroup» содержит поля:
GroupID – идентификатор учебной группы;
GroupName – название учебной группы;
Таблица «Students» состоит из полей:
StudentID – идентификатор записи о студенте;
GroupID – поле связи с таблицей «StudyGroup»;
StudentFullName – фамилия, имя, отчество учащегося.
Рис. 13.23. Вспомогательные таблицы
Таблица «Journal» включает поля:
UserGroup – название учебной группы или «Администратор БД» для преподавателя;
UserName – совпадает с StudentFullName для учащегося и содержит имя пользователя и компьютера для преподавателя (в случае web-версии – IP адрес);
ActionResult – результат ответа на вопрос или «Вход» для преподавателя;
Theme_Name – название темы (совпадает с ThemeName из таблицы «Themes»), для преподавателя остается пустым;
Question_Title – заголовок вопроса (совпадает с Question_Title из таблицы «Questions»), для преподавателя остается пустым;
Date_Time – отметка даты и времени появления записи в журнале;
RecordNumber – идентификатор (номер) записи в журнале.
В заключение можно указать несколько направлений, по которым можно расширить возможности представленной сетевой системы тестирования знаний:
отказ от жесткого шаблона вопроса (текст, иллюстрация, кнопки формирования выражения). Существующий стандарт на формат HTML обеспечивает широкие возможности при проектировании внешнего оформления с привлечением современных средств повышения интерактивности за счет, например, Flash-анимации. На этом направлении потребуется решить несколько задач: создание встроенного редактора HTML страниц, размещение в базе данных исходного текста страницы и бинарных данных, связанных с ней (рисунки, анимация и т.п.), введение типовой формы ответов, повышение уровня требований к знаниям и умениям преподавателей;
организация поддержки других программ-просмоторщиков, а не только Internet Explorer;
расширение возможностей встроенного модуля разбора регулярных выражений, что позволит сделать шаблон ответов более гибким и разносторонним.
Список литературы
13.1. Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М.: Изд-во Московского психолого-социального института, 2002.
