МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ им. Н.Э.Баумана

УДК

ГРНТИ

№ госрегистрации

Инв.№

Руководитель проекта ________И.П.Норенков

СПИСОК ИСПОЛНИТЕЛЕЙ

Руководитель темы

Ответственный исполнитель

Исполнители темы

инженер ___________М.Ю.Уваров (раздел 5)

к-т.техн.наук, доцент ___________В.Г.Федорук (раздел 6)

к-т.техн.наук, доцент ___________Т.М.Волосатова (раздел 7)

ассистент ___________В.В.Белоус ( раздел 7)

Нормоконтролер ___________С.С.Агафонова

Реферат

отчет 75с., 1 ч., 5 рис., 1 табл., 50 источников.

ДИСТАНЦИОННОЕ ОБРАЗОВАНИЕ, УПРАВЛЕНИЕ КАЧЕСТВОМ, КРИТЕРИИ КАЧЕСТВА

Объектом исследования является система показателей качества дистанционного образования.

Цель работы – разработка и обоснование системы показателей качества Оценка качества дистанционного образования во многих отношениях должна быть близкой к оценке качества обычного очного или заочного образования. Так, качество образования, как комплекса знаний и умений, должно отвечать одним и тем же требованиям, вне зависимости от формы обучения. Однако оценка качества по показателям организации процесса обучения будет зависеть от формы обучения.

Проблема качества обучения включает задачи контроля и оценки качества обучения и задачи управления качеством обучения, т.е. задача контроля и оценки качества входит в задачу управления качеством, как составная часть.

6 СПОСОБЫ ОЦЕНКИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ДИСТАНЦИОННОГО ОБУЧЕНИЯ 39

7 КАЧЕСТВО УЧЕБНОГО ПРИКЛАДНОГО ПО 52

ЗАКЛЮЧЕНИЕ 71

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 72

Приложение А: Список лабораторных работ на основе комплекса ПА9 для курса “Основы автоматизированного проектирования” 75

В настоящем отчете о НИР использованы ссылки на следующие стандарты.

ISO 9000 - основные понятия, руководство по применению ISO 9001;

ISO 9001 - модель качества, достигаемого при проектировании, производстве, обслуживании;

ISO 9002 - сокращенная по сравнению с ISO 9001 модель (без процессов проектирования);

ISO 9003 - модель качества при финальном тестировании продукции.

ISO 9004 - элементы систем управления качеством.

ISO 9000:2000 Fundamentals and vocabulary (Основы и терминология);

ISO 9001:2000 Requirements (Требования);

ISO 9004:2000 Guidelines for performance improvement (Руководство по развитию).

Российские аналоги стандартов ISO 9000:

ГОСТ Р ИСО 9001-96 "Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании";

ГОСТ Р ИСО 9002-96 "Системы качества. Модель обеспечения качества при производстве, монтаже и обслуживании";

ГОСТ Р ИСО 9003-96 "Системы качества. Модель обеспечения качества при окончательном контроле и испытаниях".

ОБОЗНАЧЕНИЯ И СОКРАЩЕНИЯ

В работе, посвященной вопросам обеспечения качества образования при дистанционных технологиях обучения, прежде всего необходимо определить, что будет пониматься под качеством образования и дистанционным обучением.

В международном стандарте ISO 8402 дается следующее определение качества: "Качество - совокупность характеристик продукта, относящихся к его способности удовлетворять установленные или предполагаемые потребности".

По ГОСТ 15467-79 "качество продукции - это совокупность свойств продукции, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением", а интегральным показателем качества названо "отношение суммарного полезного эффекта от эксплуатации или потребления продукции к суммарным затратам на ее создание и эксплуатацию".

В БСЭ [1] дано определение качества продукции, как совокупности свойств, определяющих степень пригодности продукции для использования по назначению. Не противоречит этим определениям и попытка лаконичной, но более расплывчатой формулировки, например, в [2], где "качество - это то, что удовлетворяет потребителя".

Имеются предложения по корректировке этих определений. Так, автор работы [3] предлагает относить понятие качества только к уже потребленным продуктам, а в работе [4] понятие качества связывается не с любыми свойствами, а с конкурентоспособностью продукции. В работе [5] подчеркивается, что качество - не абсолютная категория, а зависит от конкретных условий, а именно "качество - это совокупность потребительских свойств продукции, определяющих степень ее соответствия заданной конкретной потребности в фиксированных условиях потребления".

Дискуссионным является также вопрос учета стоимости продукции или услуг в определении качества. Например, К.Исикава [6] отделяет качество от цены, замечая, что даже "при высоком качестве продукция не может удовлетворить заказчика, если на нее установлена слишком высокая цена". В то же время А.Фейгенбаум [7] включает в совокупность свойств, определяющих качество, общую "совокупность технических, технологических и эксплуатационных характеристик, посредством которых изделия или услуги будут отвечать требованиям потребителя при их эксплуатации".

Необходимо договориться о понимании часто используемых терминов “дистанционное образование” и “дистанционное обучение”. Однозначное толкование этих терминов особенно важно при рассмотрении вопросов контроля и оценки качества в образовательной сфере.

Двоякое толкование термина "образование" имеет следствием двоякое определение термина "качество образования". Во-первых, это степень соответствия знаний, навыков и умений выпускника учебного заведения заранее согласованным требованиям. Во-вторых, это качество образовательной системы, т.е. согласно ГОСТ 15467-79 это совокупность свойств системы, обусловливающих ее пригодность удовлетворять определенные потребности в соответствии с ее назначением. Именно вторая формулировка оказывается близкой к формулировке понятия качества дистанционного обучения, как качества учебного процесса, осуществляемого по технологии ДО.

В дальнейшем под качеством дистанционного образования будем понимать совокупность свойств образовательной системы, обеспечивающих получение обучаемыми знаний, навыков и умений, соответствующих заранее согласованным требованиям. В частности, при полномасштабном дистанционном образовании такими требованиями должны быть требования, зафиксированные в государственных стандартах профессионального образования.

Таким образом, при первой формулировке понятия "образование" непосредственный контроль качества образования - это контроль знаний и умений обучаемых, например, в процессе экзаменов и зачетов, а оценка показателей организации, обеспечения и проведения учебного процесса - это вспомогательные процедуры. Если принимается вторая формулировка понятия образования, то главным в контроле качества образования становится контроль показателей организации, обеспечения и проведения учебного процесса. Другими словами, основными положениями модели качества дистанционного обучения становятся положения стандартов серии ISO 9000. В то же время не отрицается полезность учета результатов тестирования обучаемых в показателях качества дистанционного образования или обучения.

Оценка качества ДО во многих отношениях должна быть близкой к оценке качества обычного очного или заочного образования. Так, качество образования, как комплекса знаний и умений, должно отвечать одним и тем же требованиям, вне зависимости от формы обучения. Однако оценка качества по показателям организации процесса обучения будет зависеть от формы обучения.

Проблема качества обучения включает задачи контроля и оценки качества обучения и задачи управления качеством обучения, т.е. задача контроля и оценки качества входит в задачу управления качеством, как составная часть.

В настоящее время продолжают разрабатываться методики создания электронных учебников, в том числе по федеральным научно-техническим программам. В них справедливо уделяется внимание вопросам широкого использования мультимедийных технологий, повышения эффективности тестирующих систем, учета психологических факторов при обучении и др. Необходимо в число требований к создаваемым средствам компьютерного обучения включать требования интероперабельности учебников, компиляции версий учебных материалов, адаптированных к индивидуальным особенностям обучаемых, целесообразно уделять большее внимание снижению временных и материальных затрат на создание версий учебников. Базой для реализации этих требований должны стать международные стандарты в области информационных технологий обучения и их творческое развитие в отечественных образовательных организациях.

4.1 Причины появления и назначение стандартов в области информационных технологий обучения.

Индустрия компьютерных средств обучения развивается на протяжении уже более двадцати пяти лет. На первых порах в учебном процессе использовались различные программно-методические комплексы для освоения студентами элементов информационных технологий. Примерами таких комплексов могут служить учебно-исследовательские САПР, создававшиеся в ряде вузов страны. Одновременно получили развитие компьютерные средства контроля знаний студентов. В конце 80-х годов стали создаваться компьютерные обучающие системы (КОС) на базе электронных учебников по различным дисциплинам с текстовыми и графическими фрагментами.

Появление Web-технологий в первой половине 90-х годов стало очевидным стимулом для развития информационных технологий в обучении. Во второй половине 90-х годов началось становление дистанционного обучения, в том числе обучения на базе Internet. Появилась концепция открытого образования, как системы предоставления образовательных услуг с помощью средств, имеющихся в распределенной информационно-образовательной среде, выбираемых пользователем и адаптированных под его конкретные запросы.

Однако существовавшие к тому времени КОС не были приспособлены к реализации идей дистанционного обучения и открытого образования в силу своей уникальности, несовместимости форматов данных, структур электронных обучающих средств и т.п. Электронный учебник, созданный с помощью авторской подсистемы в одной КОС, не мог быть воспроизведен и использован в рамках другой КОС. Существующие электронные учебники не отличались гибкостью, отсутствовали технологии адаптации содержания электронных курсов к запросам конкретных обучаемых, что не позволяло в нужной степени удовлетворить требования индивидуализации обучения. Нерешенной оставалась проблема легкости сопровождения учебников, своевременного отражения в них современного состояния науки и техники.

Со всей очевидностью возникла проблема унификации архитектур обучающих систем, структур и форматов данных для представления учебных материалов, моделей обучаемых, средств управления учебным процессом и компиляции индивидуализированных версий учебных пособий, отражающих последние научно-технические достижения.

Для решения этой проблемы было создано несколько международных и национальных организаций, поставивших перед собой цель стандартизации компьютерных средств обучения на основе современных информационных технологий. Среди этих организаций выделяются:

IMS Global Learning Consortium - международный образовательный консорциум, развивающий концепцию, технологии и стандарты обучения на базе системы управления обучением IMS (Instructional Management System);

IEEE LTSC - IEEE Learning Technology Standards Committee - комитет стандартизации в области технологий обучения, созданный в IEEE (Institute of Electrical and Electronics Engineers);

AICC - Aviation Industry CBT Committee - комитет компьютерного обучения в авиационной промышленности;

ADL - Advanced Distributed Learning Initiative Network - организация распределенного обучения, основанная департаментом политики в области науки и технологий в администрации президента США (OSTP - White House Office of Science and Technology Policy) и министерством обороны США (DoD), как сеть распределенного обучения, обеспечивающая широкомасштабный доступ к образовательным ресурсам многих пользователей.

4.2 Спецификации IMS.

Консорциум IMS создан в 1997 г. ведущими промышленными компаниями в области информационных технологий, университетами и правительственными органами нескольких стран.

Система IMS включает спецификации:

• IMS Content Packaging Specification - компоновка содержания учебников и учебных пособий;

• IMS Learner Information Package Specification - описание данных об обучаемом;

• IMS Metadata Specification - описание метаданных учебных материалов;

• IMS Digital Repositories Interoperability - описание связей разных репозиториев;

• IMS Question and Test Specification - описание типичных вопросов и средств тестирования;

• IMS Digital Repositories - описание хранилищ цифровых данных

и ряд других.

Эти спецификации предназначены для обеспечения распределенного процесса обучения, открытости средств обучения, интероперабельности обучающих систем, обмена данными о студентах между электронными деканатами в системах открытого образования. Распространение IMS спецификаций должно способствовать созданию единой информационно-образовательной среды, развитию баз учебных материалов, в том числе благодаря объединению усилий многих авторов при создании электронных учебников и энциклопедий.

Спецификация IMS Content Packaging Specification разработана в конце 2000 г. Совместимость учебных средств и систем обеспечивается применением специального формата (IMS Content Packaging XML format), основанного на языке разметки XML. Спецификация определяет функции описания и комплексирования учебных материалов, в том числе отдельных курсов и наборов пособий, в пакеты для сети КОС, поддерживающих концепции IMS. Пакеты (дистрибутивы) снабжаются сведениями, называемыми манифестом, о структуре содержимого, типах фрагментов, размещении учебных материалов. Манифест представляет собой иерархическое описание структуры со ссылками на файлы учебного материала. Каждый учебный компонент, который может использоваться самостоятельно, имеет свой манифест. Из манифестов компонентов образуются манифесты интегрированных курсов.

Структура пакета учебника (учебных пособия) показана на рис. 3, а на рис. 4 проиллюстрированы процедуры и роли участников учебного процесса, соответствующие концепции IMS.

Рис. 3. Структура пакета по IMS

Спецификация IMS Learner Information Package посвящена созданию модели обучаемого, включающей его идентификационные (биографические) данные, сведения, характеризующие уровень образования индивида, цели, жизненные интересы, предысторию обучения, владение языками, предпочтения в использовании компьютерных платформ, пароли доступа к средствам обучения и т.п.. Эти сведения используются для определения средств и методики обучения, учитывающие индивидуальные особенности обучаемого. Они могут быть представлены в виде таблицы, иерархического дерева, объектной модели. Возможно использование рекомендаций этой спецификации для представления данных об авторах учебных материалов и преподавателях, что может быть полезно использовано в системах управления образовательным учреждением.

Рис. 4. Процедуры учебного процесса и роли участников в концепции IMS.

Назначение спецификации IMS Digital Repositories Interoperability - унифицировать интерфейс между различными наборами ресурсов - базами учебных материалов (репозиторями), используемыми в разных обучающих системах. Обращаться к репозиториям могут разработчики курсов, обучаемые, администраторы репозиториев, программные агенты. В спецификации оговорены основные функции обращений к репозиториям, инвариантные относительно структуры наборов. Это функции помещения учебного ресурса в базу, поиска материала по запросам пользователя, компиляции учебного пособия. Система управления репозиторием при этом осуществляет запоминание вводимых данных, доставку и экспозицию запрошенного материала соответственно. Репозитории могут быть ориентированы на форматы SQL, XML, Z39.50. Формат Z39.50 используют для поиска библиотечной информации, формат XQuery (XML Query) - для поиска XML-метаданных, а протокол SOAP - для передачи сообщений. Доступ к репозиториям может быть непосредственным или через промежуточный модуль.

Определены сценарии действий пользователей при записи нового материала в репозиторий, при корректировке имеющихся материалов, поиске метаданных как в одном, так и сразу во многих репозиториях и в случае посылки запроса по найденным метаданным непосредственно пользователем или программным агентом, заказе извещений на изменения в метаданных.

Описание метаданных в документе IMS Learning Resource Meta-Data Information Model базируется на соответствующем документе, разработанном в IEEE LTSC (P1484.12) [9]. Спецификация определяет элементы метаданных и их иерархическую соподчиненность. В их число входят различные элементы, характеризующие и идентифицирующие данный учебный материал. Всего в спецификации выделено 89 элементов (полей), причем ни одно из полей не является обязательным. Примерами элементов метаданных могут служить идентификатор и название материала, язык, аннотация, ключевые слова, история создания и сопровождения материала, участники (авторы и спонсоры) создания или публикации продукта, его структура, уровень агрегации, версия, технические данные – формат, размер, размещение, педагогические особенности, тип интерактивного режима, требуемые ресурсы, ориентировочное время на изучение, цена, связь с другими ресурсами, место в таксономической классификации и др. Каждый элемент описывается такими параметрами, как имя, определение, размер, упорядоченность, возможно указание типа данных, диапазона значений, пояснение с помощью примера.

Метаданные используются для правильного отбора и поиска единиц учебного материала, обмена учебными модулями между разными системами, автоматической компиляции индивидуальных учебных пособий для конкретных обучаемых.

В документе IMS Question and Test Specification описана иерархическая структура тестирующей информации (с уровнями пункт, секция, тест, банк) и даны способы представления заданий (вопросов), списка ответов, разъяснений и т.п. В спецификации приведены классификация форм заданий, рекомендации по сценариям тестирования и обработке полученных результатов.

4.3 Спецификации IEEE LTSC.

В комитете по стандартизации образовательных технологий Learning Technology Standards Committee (LTSC) в IEEE создан ряд рабочих групп с дифференциацией направлений работ. Эти группы занимаются разработкой и развитием следующих документов:

P1484.1 - модель архитектуры образовательной системы (Architecture and Reference Model);

P1484.3 - терминологический словарь (Glossary);

P1484.11 - управление обучением (Computer Managed Instruction);

P1484.12 - метаданные обучающих средств (Learning Objects Metadata);

P1484.14 - семантика и замены (Semantics and Exchange Bindings);

P1484.15 - протоколы обмена данными (Data Interchange Protocols);

P1484.18 - профили платформ и сред (Platform and Media Profiles);

P1484.20 - определение компетенции (Competency Definitions).

4.4. Модель SCORM.

SCORM (Shareable Content Object Reference Model) - промышленный стандарт для обмена учебными материалами на базе адаптированных спецификаций ADL, IEEE, IMS, Dublin Core, and vCard. Цели создания SCORM: обеспечение многократного использования учебных модулей, интероперабельности учебных курсов (их использования в средах разных КОС), легкого сопровождения и адаптации курсов, ассемблирования контента отдельных модулей в учебные пособия в соответствии с индивидуальными запросами пользователей. В SCORM достигается независимость контента от программ управления.

Первая версия объектной модели разделяемых образовательных ресурсов SCORM [10] была представлена организацией ADL Initiative в начале 2000 г. Модель SCORM стала результатом обобщения многих проводившихся работ в области стандартизации обучающих средств для Internet. Версия 1.2 появилась в октябре 2001 г.

Основой модели SCORM является модульное построение учебников и учебных пособий, близкое к концепции модульных учебников, использованной в свое время при создании отечественной обучающей системы CTS [11] и изложенной в [12]. Модули (learning objects или instructional objects) учебного материала в SCORM называются разделяемыми объектами контента (SCO - Shareable Content Objects). Как и модули в [12], SCO - автономная единица учебного материала, имеющая метаданные и содержательную часть. Совокупность модулей определенной предметной области называется в [12] прикладной энциклопедией или в SCORM библиотекой знаний (Web-репозиторием). Модули (SCO) могут в различных сочетаниях объединяться друг с другом в составе учебников и учебных пособий, для компиляции которых создается система управления модульным учебником (сервер управления контентом), наиболее часто используемое ее название - Learning Management System (LMS).

Несмотря на общность основных идей концепций [12] и SCORM, между ними имеются и определенные различия. Так, для [12] характерно наличие онтологии приложения и поддержка соответствующего тезауруса, на их базе развита система компиляции версий электронного учебника. В SCORM рекомендуется максимально возможная автономность содержания SCO, что однако не всегда соответствует характеру излагаемого материала.

В SCORM используется язык XML для представления содержимого модулей, определяются связи с программной средой и API, даны спецификации создания метаданных.

SCORM включает три части (рис. 5):

1. Введение (общая часть), в котором описываются основы концепции SCORM и перспективы ее развития;

2. Модель агрегирования модулей CAM (Content Aggregation Model) в законченные учебные пособия;

3. Описание среды исполнения (Run Time Environment), представляющей собой интерфейс между содержательной и управляющей частями и использующей Web-технологии и язык JavaScript. Эта часть опирается на модель данных и концепцию API, разработанную в AICC.

Рис. 5. Структура SCORM

CAM включает:

• Метаданные (Metadata Dictionary) с описанием назначения и типа содержимого модуля, сведениями об авторах, цене, требованиями к технической платформе и др.; эта часть САМ заимствована из спецификаций IEEE.

• XML-данные (Content Structure) о структуре контента. Язык XML в SCORM используется в виде версии CSF (Course Structure Format). С помощью CSF представляется структура учебного курса, определяются все элементы и внешние ссылки, необходимые для интероперабельности в рамках концепций IMS, IEEE и AICC. CSF основан на модели AICC Content Model.

• Данные (Content Packaging) о способах объединения модулей в пособия на базе спецификации IMS Content Packaging specification. При этом каждый элемент автоматически получает уникальный идентификатор.

Система управления LMS состоит из нескольких компонентов, выполняющих одноименные функции:

• управление контентом (Content Management Service);

• визуализация (Delivery Service);

• упорядочение материала (Sequencing Service);

• администрирование курсов (Course Administration Service);

• тестирование (Testing/Assessment Service);

• моделирование обучаемых (Leaner Profile Service);

• определение траектории обучения (Tracking Service);

• коммуникация с системной средой (API Adapter).

Предусмотрено тестирование SCORM материалов, заключающееся в проверке адекватности представления материала с помощью CSF.

Благодаря модульной структуре, многократному использованию модулей в разных версиях учебных пособий и адаптации пособий к особенностям обучаемых достигается уменьшение стоимости обучения на 30-60%, времени обучения на 20-40%, повышается степень усвоения материала [9].

Следует отметить еще одну версию XML, используемую в КОС. Это созданная компанией Saba Software версия Universal Learning Format (ULF) [13]. Она также основана на концепциях IMS, ADL, IEEE. Ее назначение - реализация обменов учебными материалами между различными приложениями. На ULF разработаны каталоги метаданных, профили обучаемых, библиотеки классов и т.п.

Спецификация AECMA 1000D [8] - технология представления технической документации, признанная в авиационной промышленности (AECMA - European Association of Aerospace Constructors). В основе AECMA 1000D, как и в старших классах ИЭТР, лежит декомпозиция представляемого материала на модули. Модули включают идентификационную и содержательную секции, записанные на языках SGML или HyTime с иллюстрациями в форматах CGM или JPEG, и хранятся в специальной БД - Common Source Data Base (CSDB). Предусмотрена автоматическая простановка гиперссылок (для этого имеются соответствующие программные средства).

Документы, методики и процедуры, используемые в управлении качеством, называются системой управления качеством.

Так, среди показателей качества ДО имеются показатели как числовые (типов real и integer), так и качественные (типов enumeration, string или boolean). Очевидно, что количественная оценка качества станет возможной после выбора способа перевода неколичественных показателей в количественные.

Согласно концепции информатизации образования качество образования характеризуется следующими группами показателей:

• показатели качества содержания образования;

• показатели качества технологий обучения;

• показатели качества результатов образования.

Этому делению показателей на группы соответствует и предлагаемое группирование показателей качества по следующим аспектам и свойствам обеспечения, организации и проведения учебного процесса:

• учебные планы и программы;

• база учебных материалов;

• техническое обеспечение;

• методики и технологии проведения учебных занятий, включая тестирование обучаемых (процедуры промежуточного и итогового контроля, возможно использование результатов анкетирования обучаемых).

• возможности производственной подсистемы;

• кадровое обеспечение;

• организационное обеспечение.

Выбор групп показателей и конкретных показателей качества должен быть подчинен следующим требованиям: нужно учитывать основные показатели, которые, во-первых, существенно влияют на качество процесса ДО, во-вторых, могут быть оперативно оценены для практического использования в системе управления качеством.

В группу "Учебные планы и программы" входят следующие показатели:

• Соответствие учебных планов существующим стандартам профессионального образования;

• Наличие учебных программ, их соответствие стандартам профессионального образования, современному состоянию предметной области и дидактическим требованиям.

В настоящее время разработаны примерные учебные программы по всем дисциплинам высшего образования, прилагаемые к стандартам профессионального образования. Поэтому речь должна идти о рабочих программах дисциплин.

В группу "База учебных материалов" входят следующие элементы качества электронных учебников:

• Соответствие содержания учебника утвержденной учебной программе;

• Соответствие объема материала установленным нормам;

• Соответствие содержания учебника и его формы;

• Полнота состава (комплектация) учебника;

• Современность учебного материала;

• Принятый в учебнике способ самотестирования обучаемых.

Поскольку не все свойства учебника охватывает приведенный перечень показателей, можно список показателей расширить, введя в него экспертные оценки методического, содержательного и технологического уровней учебного материала.

Более подробно эти показатели рассматриваются далее.

Показатели группы "Техническое обеспечение ДО":

• Достаточность в количественном отношении компьютерного оснащения учебных классов, степень его соответствия требованиям, предъявляемым к ПК для систем ДО.

• Пропускная способность каналов передачи данных.

В группу "Методики и технологии проведения учебных занятий в системе ДО" входят элементы качества, характеризующие технологии общения преподаватель-студент, студент-студент и проведения контрольных мероприятий:

• Степень доступности преподавателей;

• Удобство формы общения преподаватель-студент и студент-студент;

• Объективность и полнота экспертизы подготовки обучаемых при проведении контрольных мероприятий (экзаменационных и зачетных сессий, защит проектов);

• Обеспеченность цикла лабораторных работ и курсового проектирования необходимыми программными средствами.

Наряду с технологиями, предусматривающими работу студентов под постоянным контролем и руководством со стороны людей-преподавателей, находят применение технологии обучения под руководством виртуальных преподавателей, в качестве которых выступают интеллектуальные обучающие системы. В этом случае на первый план выходят показатели качества сетевых учебников, характеризующих их роль, как "виртуальных преподавателей".

Показатели группы "Возможности производственной подсистемы":

• характеристики инструментальных средств для разработки электронных (сетевых) учебников и учебных пособий;

• наличие и производительность оборудования для изготовления твердых копий, видеокурсов, компакт-дисков.

• процентное соотношение преподавателей с учеными степенями доктора и кандидата наук и без степени,

• наличие научных и/или методических публикаций у преподавателей, авторство в курсах ДО, рекомендованных к тиражированию.

• наличие автоматизированной системы управления документами, часто именуемой электронным деканатом,

• наличие системы управления качеством обучения.

Система управления качеством в соответствии со стандартами ISO 9000 является документальной системой, включающей описание политики учебного заведения в области обеспечения качества, различные документы по регламентации обязанностей и полномочий лиц, связанных с обеспечением качества, требования к используемым ресурсам ДО и к показателям качества учебных материалов и процедур учебного процесса, планы действий по обеспечению этих требований и т.п.

6.1 Основные положения

В данном разделе представлены возможные способы оценки показателей качества дистанционного образования. Для решения вопросов достаточности имеющегося уровня качества требуется определение значений показателей качества. Показатели качества могут быть количественными или неколичественными величинами, причем большинство показателей имеет неколичественный характер. Перевод значений этих величин в оценки качества производят с помощью двузначных (да - нет) или многозначных шкал. Для выбора шкал применяют экспертные методы, т.е. собственно перевод значений показателей (предметных переменных) в числовые или булевы значения шкалы возлагается на экспертов, проводящих контроль качества.

Выбор шкалы относится к компетенции контролера, т.е. организации, в интересах которой проводится контроль качества дистанционного образования. В частности, в внутривузовской системе управления качеством шкалы могут устанавливаться самим образовательным учреждением, т.е. контролером может быть руководство учебного заведения. Однако для целей лицензирования и аттестации учебных заведений, для сравнительной оценки качества, обеспечиваемого в разных вузах, целесообразно использовать единообразный подход к выбору шкал по каждому показателю.

Процедура назначения экспертов определяется целями экспертизы и должна регламентироваться соответствующими документами, например, стандартами, посвященными лицензированию и аттестации учреждений дистанционного образования.

Форма представления результатов оценки качества дистанционного образования также зависит от целей и задач экспертизы. В случае задач ранжирования систем дистанционного образования может быть рассчитан комплексный показатель качества Z, являющийся взвешенной суммой частных показателей y_j, j Î [1:n]:

n

Z = å y_j

j=1

В случае задач аттестации образовательного учреждения возможны как комплексная, так и поэлементные оценки качества с использованием двузначных шкал. Поэлементные оценки служат также для управления качеством ДО, указывая на те стороны и компоненты ДО, которые требуют улучшения, при этом использование многозначных шкал выглядит предпочтительнее.

Для задач ранжирования наряду с оценкой качества ДО по комплексу элементов качества целесообразно использовать в качестве дополнительной оценку, основанную на результатах тестирования - выполнения студентами контрольных заданий.

Поскольку показатели качества характеризуют степень соответствия компонентов системы дистанционного образования предъявляемым требованиям, а среди требований к системе имеются требования, претерпевающие значительные изменения за время действия стандарта вследствие развития информационных технологий и изучаемых предметных областей, то большинство показателей качества относится к нестабильным. Нестабильность обусловливается также разнообразием региональных и ведомственных условий и задач подготовки специалистов. Неоднозначность оценок показателей качества из-за их нестабильности наиболее заметна в случае использования многозначных шкал и при определении значений весовых коэффициентов в комплексных показателях. В связи с этим выбор многозначных шкал оценок и весовых коэффициентов в комплексном показателе качества не является предметом унификации, а производится контролером или по решению контролера относится к компетенции назначенных экспертов.

6.2 Классификация учебных материалов, включаемых в БУМ

По назначению учебные материалы БУМ целесообразно подразделять на следующие группы:

• сетевые энциклопедии:

• сетевые учебники, соответствующие принятым учебным программам профессионального образования;

• сетевые учебные пособия, частично соответствующие принятым учебным программам профессионального образования;

• лабораторные практикумы;

• прикладное программное обеспечение для циклов лабораторных работ, курсового и дипломного проектирования;

• методические указания по изучению дисциплины;

• сборники задач и упражнений для самотестирования;

• учебные программы дисциплин.

По форме представления различают:

• традиционный материал, переведенный в электронное представление без переработки содержания;

• статический гипертекстовый материал;

• мультимедийный материал (с аудио- и/или видео- фрагментами);

• материал с интерактивными фрагментами и с элементами искусственного интеллекта.

Ниже оценка качества рассматривается применительно к сетевым учебникам и их компонентам.

6.3. Оценка качества базы учебных материалов

Показатели качества БУМ оцениваются раздельно по каждой дисциплине, включенной в учебные планы.

Известно, что полнота содержания и качество проработки материала в электронном учебнике или пособии существенно зависят от объема финансирования, выделенного на его разработку. При оценке электронных учебников и пособий нужно учитывать это обстоятельство и не закрывать дорогу разработкам, которые по полноте содержания и технологическому уровню не в полной мере соответствуют строгим требованиям, но в то же время могут быть полезными при отсутствии более высококачественных альтернатив. Тем более, что в стандарте по ГОСТ 15467-79 качество продукта обратно пропорционально его цене. Положительные заключения по учебным материалам, не в полной мере отвечающим жестким требованиям, достигается использованием многозначных шкал.

Ниже в таблице 1 приведен предлагаемый вариант оценки показателей качества электронных учебников в четырехбалльных шкалах.

Соответствие содержания учебника утвержденной учебной программе - один из важнейших показателей его содержания. Очевидно, что для высшего образования такими программами являются примерные учебные программы дисциплин, разработанные учебно-методическими советами по направлениям подготовки в соответствии со стандартами высшего профессионального образования. Соответствие устанавливается уполномоченным экспертом. При положительном решении эксперта учебник по этому показателю должен быть отнесен к уровню 1 и в соответствии с табл. 1 показатель качества оценивается в 3 балла.

Таблица 1

При оценке соответствия объема учебника имеющимся нормам не следует думать, что чем больше объем, тем лучше учебник. Можно ориентироваться на нормы, используемые при издании учебников по традиционным технологиям (например, один печатный лист соответствует четырем часам лекционных занятий), т.е. для положительной оценки показателя нужно не иметь существенных отличий числа символов в тексте электронного учебника от значения К

К = (число часов лекций) *10⁴.

По форме представления учебники и учебные пособия целесообразно подразделять на следующие классы:

класс 4: традиционный материал, переведенный в электронное представление без переработки содержания;

класс 3: статический гипертекстовый материал;

класс 2: как в классе 3, но с добавлением мультимедийного материала (с аудио- и/или видео- фрагментами);

класс 1: как в классе 2, но с добавлением интерактивных возможностей с элементами искусственного интеллекта (при тестировании пользователя, составлении для него адаптированной версии, контроле усвоения материала и т.п.).

Для многих дисциплин включение в учебник мультимедийных фрагментов позволяет существенно повысить его дидактические свойства. Например, это относится к показу с помощью видео или мультипликации протекания физических или технологических процессов. Для таких дисциплин приведенные номера уровня и класса совпадают. В то же время для ряда других дисциплин, например, по математике, вычислительной технике, мультимедийные фрагменты неактуальны. Поэтому здесь уровню 2 может соответствовать класс 3.

При наличии всех компонентов, указанных на рис. , электронный учебник по показателю комплектации должен быть отнесен к уровню 1. Отсутствие какого-либо компонента снижает оценку на балл, отсутствие двух показателей - на два балла. Следует, однако, отметить, что в данном случае оценивается не состав отдельного учебника, а обеспеченность учебной дисциплины компонентами БУМ. Поэтому учебник конкретного автора может не содержать, например, лабораторного практикума, но если в БУМ такой практикум есть, оценка не будет снижена.

Современность характеризуется датами разработки и последнего обновления материала учебника. Характер и даты обновления должны быть указаны в атрибутах учебника. Качество учебника устанавливается по времени Т, прошедшему с момента его разработки, причем свои значения Т устанавливаются для каждой предметной области. Наличие обновления несколько снижает первоначальное значение Т.

По способу тестирования целесообразно использовать следующие уровни качества учебников:

уровень 4: отсутствие самотестирования;

уровень 3: самотестирование выполняется по способу "заданы вопросы и меню ответов (или вопросы, требующие числовых ответов");

уровень 2: как в уровне 3, но с помощью вопросов и меню ответов предлагаются задачи, требующие многошаговых процедур принятия решений;

уровень 1: самотестирование с элементами интеллектуальности (например, автоматическое распознавание системой ответов, представленных на ограниченном естественном языке, автоматический анализ ошибок обучаемого и т.п.).

Указанные в табл. 1 показатели оценивают лишь часть свойств учебных материалов. Поэтому целесообразно использовать дополнительные экспертные оценки методического, содержательного и технологического уровней учебных материалов.

В число факторов (субпоказателей), учитываемых экспертом при оценке показателя "Методический уровень учебных материалов", входят:

• наличие или отсутствие рекомендации учебно-методического совета по соответствующему направлению (специальности) подготовки или другого уполномоченного органа Минобразования РФ к использованию оцениваемого учебника или учебного пособия в ДО;

• соответствие характера, стиля изложения и представления изучаемого материала требованиям, предъявляемым виртуальным университетом к уровню предварительной подготовки обучаемых;

• наличие методических указаний по изучению дисциплины;.

• наличие средств адаптации имеющихся материалов к индивидуальным особенностям обучаемых.

В число факторов, учитываемых экспертом при оценке показателя "Содержательный уровень учебных материалов", входят:

• Наличие рецензии (при отсутствии рекомендации Минобразования или учебно-методического объединения вузов к применению учебника). В рецензии характеризуются полнота, достоверность и актуальность содержания. При этом полнота оценивается с позиций требований, установленных стандартом высшего профессионального образования для соответствующего направления подготовки. Актуальность характеризуется соответствием содержания современному уровню науки, при оценке принимается во внимание частота корректировки содержания учебника и дата последнего внесения изменений.

• Наличие вспомогательных учебных материалов. Как минимум, в базе учебных материалов должны быть дополнительные к указанным в электронном учебнике примеры заданий на самостоятельную работу, в том числе на курсовое и дипломное проектирование, примеры выполнения типовых заданий. В базу включают также учебные пособия (или их фрагменты), дополняющие содержание сетевого учебника.

В число факторов, учитываемых экспертом при оценке показателя "Технологический уровень учебных материалов", входят:

• разумность компромисса между эффективностью, стоимостью и изобразительностью (последнее характеризуется объемом используемых видео- и аудиофрагментов);

• соблюдение рекомендаций специалистов относительно использования типов и размера шрифтов, адекватного употребления цвета, взаимодополнения и синхронизации звука и изображения и т.п.;

• согласованность со схемами интерфейса, принятыми в современных операционных системах;

• возможность печати учебных текстов, изображений, упражнений, результатов расчетов и др.;

• фиксация и сохранение результатов тестирования и выполнения упражнений;

• фиксация и сохранение персональных заметок.

По названным дополнительным показателям эксперт выставляет свои оценки в четырехбалльной шкале.

Совокупная оценка качества учебных материалов по конкретной дисциплине определяется как среднеарифметическая величина оценок по частным показателям.

6.4. Оценка других показателей качества

В случае показателей "Соответствие учебных планов существующим стандартам профессионального образования" и "Наличие учебных программ, их соответствие стандартам профессионального образования и современному состоянию предметной области" положительная оценка ("да") имеет место, если в учебном плане ДО присутствуют все дисциплины федеральных компонентов из соответствующего стандарта общего профессионального образования. Соответствие по содержанию дисциплин в учебных планах стандарта и учебного заведения ДО устанавливается экспертом по представленным учебным программам. Также на эксперта возлагается определение достаточности объема дисциплины, изучаемой дистанционно

Показатель "Достаточность в количественном и качественном отношениях компьютерного оснащения учебных классов" отражает требования к компьютерному оснащению, которые устанавливаются по характеристикам используемого прикладного программного обеспечения. Для формулирования этих требований составляется список прикладного программного обеспечения (ПО) с указанием следующих данных:

- название программы, производитель, версия;

- требуемое общесистемное ПО;

- мультимедийность;

- минимально необходимые объемы памяти;

-поддерживаемые дисциплины, по каждой дисциплине подсчитывается коэффициент использования, равный произведению А₁А₂, где А₁ – число студентов, изучающих дисциплину, А₂ – усредненное число часов работы студента с данным ПО.

По этим данным определяются требования к конфигурации, производительности и емкости памяти компьютеров. Возможна градация требуемого компьютерного оснащения на ряд групп с разными значениями указанных характеристик. Положительная оценка имеет место при наличии групп компьютеров, удовлетворяющих сформулированным требованиям, и при достаточности количества компьютеров в группах, что в случае стационара устанавливается в зависимости от коэффициентов использования и режимов работы ПО ("клиент/сервер" или одноранговая сеть).

Положительная оценка показателя "Пропускная способность каналов передачи данных" для стационара имеет место, если V > M, где V - пропускная способность каналов "последней мили" стационара, M – норма, зависящая от числа обучаемых студентов, интенсивности использования Internet-источников, обмена данными Центр-стационар и стационар-терминалы и определяемая опытным путем. В случае удаленного терминала должен быть установлен порог пропускной способности, ниже которого ДО не допускается.

Показатель "Степень доступности преподавателей" оценивается частотой и продолжительностью сеансов связи, посвященных консультациям студентов. Положительная оценка имеет место при наличии ежедневных сеансов (не менее шести дней в неделю) в течение рабочего дня. При этом по каждой конкретной дисциплине число сеансов связи должно быть не менее N раз в неделю, где N - значение, устанавливаемое контролером.

Показатель "Удобство формы общения преподаватель-студент и студент-студент" определяется используемой телекоммуникационной технологией и оценивается оперативностью ответов на запросы, зависящей от расписания консультаций и режима конференц-связи. Наличие электронной почты является необходимым условием для положительной оценки. При многозначных шкалах более высокие значения оценок соответствуют использованию телеконференций, аудиоконференций, видеоконференций. Положительная оценка имеет место, если используется режим on-line или если в режиме off-line задержки ответов преподавателя на вопросы студентов имеют математическое ожидание не более К₁ часов (суток), а максимально допустимая задержка – не более К₂.

Положительная оценка показателя "Объективность и полнота экспертизы знаний обучаемых при проведении контрольных мероприятий" имеет место, если содержание контрольных заданий соответствует утвержденным учебным программам дисциплин. И если созданы условия, исключающие искажающее вмешательство в процедуры выявления знаний посторонних лиц (т.е. проведение экзаменов, зачетов, защит проектов происходит перед экзаменатором или экзаменационной комиссией в Центре или дистанционно в филиале под контролем уполномоченных лиц).

Положительная оценка показателя "Обеспеченность цикла лабораторных работ и курсового проектирования необходимыми программными средствами" имеет место, если предусмотрено выполнение лабораторных работ в виртуальной или удаленной лаборатории и все лабораторные работы обеспечены соответствующими программными средствами. Современность используемого прикладного ПО устанавливается экспертом.

Положительная оценка показателя "Характеристики инструментальных средств для разработки сетевых учебников и учебных пособий" соответствует наличию инструментальных средств, выполняющих необходимые функции для оформления сетевых учебников (редактирование текстовых и графических материалов, создание аудио- и видеофрагментов, конвертирование популярных форматов данных и т.п.). Более дифференцированный подход к оценке качества программных инструментальных средств рассматривается ниже.

Кадровые показатели ("Процентное соотношение д.т.н./к.т.н./без степени" и "Наличие научных и/или методических публикаций у преподавателей, авторство в сетевых курсах, рекомендованных к тиражированию") представлены отношением К числа преподавателей с ученой степенью к общему числу преподавателей, а также данными по каждому преподавателю, включающими стаж преподавательской работы, наличие научных трудов по тематике преподаваемого курса, стажу работы в системе ДО. При низких значениях этих показателей (например, К <0,5, усредненный по преподавательским штатам стаж работы менее 5 лет) для положительного заключения по этому системному элементу нужна положительная экспертная оценка результатов собеседования эксперта (экспертов) с соответствующими кандидатами на роль преподавателей в системе ДО.

Оценка показателей "Наличие автоматизированной системы управления документами" и "Наличие системы управления качеством обучения" выполняется по двузначной шкале. Следует однако отметить, что эти оценки, особенно в отношении последнего из указанных показателей, целесообразно считать факультативными.

1. КАЧЕСТВО УЧЕБНОГО ПРИКЛАДНОГО ПО

7.1 Общие подходы к оценке качества программных продуктов и баз данных

В значительной мере качество ДО определяется качеством используемых учебных материалов и программного обеспечения (ПО) для самостоятельных работ.

Для ПО в информационной индустрии разработан ряд стандартов управления качеством [14], эти стандарты с определенными оговорками могут быть использованы и для учебного ПО.

Наряду со стандартами серии ISO 9000, основу управления качеством программных средств определяют стандарты ISO 9126, ISO 12207 и ISO 14598.

Стандарт ISO 9126 "Качество программных средств" состоит из четырех частей, задающих соответственно модель качества, внешние метрики, внутренние метрики и метрики качества в использовании. При этом под внутренними метриками понимаются показатели, характеризующие технологический процесс и средства разработки программы, например, показатель документируемости. Внешние метрики - показатели самой разрабатываемой программы, интересующие пользователей. Метрики качества в использовании характеризуют эффект от применения программы, они относятся к конкретным применениям продукта.

В стандарте ISO 9126 вводятся шесть базовых показателей качества, характеризующих такие свойства программного продукта, как функциональные возможности, надежность, практичность, эффективность, сопровождаемость и мобильность. Каждый базовый показатель состоит из субпоказателей (метрик).

Функциональные возможности конкретизируются метриками функциональная пригодность, корректность, способность к взаимодействию, защищенность. Метриками надежности являются завершенность, устойчивость к дефектам и ошибкам, восстанавливаемость, доступность. Практичность характеризуется понятностью, простотой использования, изучаемостью и привлекательностью. Эффективность подразделяется на временную, оцениваемую числом выполняемых операций, и ресурсную, оцениваемую объемом используемых ресурсов. Сопровождаемость имеет аспекты анализируемость, изменяемость, стабильность, тестируемость. К метрикам мобильности относятся адаптируемость, простота установки, сосуществование, замещаемость. Для оценки качественных показателей стандарт рекомендует использовать четырехбалльные шкалы.

Стандарт ISO 12207 "Процессы жизненного цикла программных средств" определяет перечень и содержание базовых работ на этапах жизненного цикла программ. Так, на этапе разработки вводятся 55 работ, в том числе выбор средств обеспечения качества. При этом рекомендуется пользоваться показателями качества, установленными стандартом ISO 9126. Обеспечению качества посвящен также специальный раздел стандарта ISO 12207, который коррелирован со стандартами ISO 9001 и 9003. В этом разделе говорится о содержании планов действий по обеспечению качества программного продукта.

Стандарт ISO 14598 "Оценивание программного продукта" посвящен планированию, документированию и управлению оценкой качества с позиций разработчиков, пользователей и контролеров.

По отношению к базам данных (БД) стандарты, подобные ISO 9126, пока не созданы [15]. Обычно для БД рекомендуются следующие очевидные показатели:

• полнота накопленных описаний объектов;

• достоверность - степень соответствия данных реальным значениям;

• актуальность данных, характеризуемая своевременным их обновлением.

Показатели полноты, достоверности и актуальности имеют непосредственное отношение и к оценке содержательного уровня базы учебных материалов (БУМ).

Показатели качества, представленные в стандартах ISO 9126 и ISO 12207, преимущественно ориентированы на сложные промышленные программные комплексы, их оценка довольно трудоемка. Значимость различных показателей существенно зависит от специфики применения ПО, вплоть до изменения самого состава показателей в зависимости от приложения. Специфика учебного прикладного ПО позволяет применять эти стандарты с определенными оговорками и дополнениями.

Дополнения касаются в основном такой важнейшей группы показателей качества учебного ПО как функциональность. Очевидно, что набор функций будет различным в таких группах ПО как программы моделирования, оптимизации, машинной графики, управления объектами и т.п. Поэтому для каждой группы программ после предварительного проведения классификации ПО нужно устанавливать свои способы оценки функциональности. Поскольку для виртуальных лабораторий наиболее важной группой ПО является группа программ моделирования, рассмотрим критерии функциональности ПО применительно к этой группе.

Классификация программ моделирования проводится по нескольким признакам. Прежде всего используются следующие четыре признака:

1. этапность моделирования,

2. иерархический уровень моделирования;

3. решаемые задачи или выполняемые проектные процедуры;

4. предметная область (приложение).

Первому признаку соответствуют два возможных значения - S или MS. С помощью S-программ выполняют только этап решения уравнений математической модели (simulation), с помощью MS-программ - как этап формирования модели (modeling), так и ее решения (simulation). К числу типичных S-программ относятся математические пакеты. Примеры MS-программ - программно-методические комплексы типа Nastran, Spice, Adams и др. Очевидно, что S-программы в основном предназначены для использования в процессе изучения математических дисциплин, но для изучения инженерных дисциплин они по сравнению с MS-программами неудобны, а иногда и бесполезны.

В соответствии со вторым признаком выделяют уровни моделирования распределенный (микро), сосредоточенный (макро), функционально-логический, системный. Примерами программ микроуровня могут служить Ansys, Nastran, Cosmos, макроуровня - Adams, Spice, ПА9, функционально-логического - QuickSim, TimeMill, Voyager, системного - GPSS/PC, OPNET и др.

В соответствии с третьим признаком выделяют такие типичные задачи как моделирование установившихся состояний, стационарных, динамических и нестационарных процессов.

В соответствии с четвертым признаком выделяют программы анализа механических, гидравлических, электронных, оптико-электронных и т.п. систем.

Функциональность программы моделирования, как правило, может быть оценена только качественно. Метриками функциональности программ моделирования могут быть степени универсальности, определяемые по каждому признаку приведенной выше классификации, и адекватность. Степень универсальности по признаку этапности, как уже отмечено, имеет два возможных значения S и MS. Степень универсальности по признаку "Иерархический уровень" оценивается принадлежностью к одному или нескольким иерархическим уровням. Степень универсальности по признаку "Решаемые задачи" характеризуется полнотой перечня решаемых задач. Степень универсальности по признаку "Предметная область" характеризуется возможностью решения задач в разных приложениях и возможностью моделирования взаимодействия процессов разной физической природы. Очевидно, что наиболее универсальны программы моделирования, способные отражать процессы в системах различной физической природы, наименее универсальны программы, предназначенные для решения задач анализа и расчета конструкций или устройств одного частного типа.

Очевидно, что при оценке качества программы указание степени универсальности должно сопровождаться указанием адекватности получаемых результатов. Адекватность характеризуется перечнем свойств моделируемого реального объекта, отражаемых в модели, и областью адекватности. Областью адекватности называют область в пространстве параметров, в пределах которой погрешности модели остаются в допустимых пределах. Например, область адекватности линеаризованной модели поверхности детали определяется системой неравенств

max |e _ij| £ e _доп,

где e _ij = (x_ijист - x_ijмод)/x_ijист, x_ijист и x_ijмод - i-я координата j-й точки поверхности в объекте и модели соответственно; e _ij и e _доп - допущенная и предельно допустимая относительные погрешности моделирования поверхности, максимум берется по всем координатам и контролируемым точкам.

Отметим, что в большинстве случаев области адекватности строятся в пространстве внешних переменных. Так, область адекватности модели электронного радиоэлемента обычно выражает допустимые для применения модели диапазоны изменения моделируемых температур, внешних напряжений, частот.

Наряду с функциональностью для учебного ПО первостепенное значение имеют показатели практичности. Программы со сложным интерфейсом и значительной трудоемкостью освоения операций пользования программой отвлекают обучаемого от основного предмета изучения, приводят к нерациональным затратам времени. Такие программы не могут быть признаны качественными. Одним из аспектов практичности программ моделирования является похожесть процедуры выполнения работы в виртуальной и физической лаборатории.

Эффективность также становится немаловажным фактором, если использование программы требует значительных ресурсов по времени и памяти, которых при слабой оснащенности учебных лабораторий современными ЭВМ может не хватать. Программа моделирования, которая выдает решение на введенное учебное задание через десятки минут, не может быть полезно использована, например, в лабораторных работах.

К числу показателей качества программ, используемых в виртуальных лабораториях, следует отнести показатель приспособленности применения программы в сетевой среде. Следует выделить три типа программ в зависимости от характера используемых сетевых технологий:

1. Программа разрабатывается без учета сетевых возможностей. Копия программы пересылается клиенту, например, по E-mail. Методическое пособие при этом может располагаться на сервере центра дистанционного обучения или пересылаться одновременно с программой. Если программа не является собственной разработкой, то, очевидно, что этот способ возможен только для свободно распространяемых программ. Достоинством метода является полная автономность такой программы. Недостатком – привязка к операционной системе и отсутствие защиты авторских прав (особенно это актуально для программно-методических комплексов имеющих помимо учебного, еще и промышленное применение).

2. Программа строится по принципу клиент-сервер. Серверная часть устанавливается на сервере в центре дистанционного обучения. При этом возможны два варианта построения программы-сервера: первый – сервер обеспечивает соединение только с одним клиентом, второй – сервер имеет возможность одновременного обслуживания многих клиентов. Первый вариант более прост в реализации, но имеет ограниченные возможности по одновременному обслуживанию запросов многих клиентов, так как для обеспечения такой возможности необходим запуск нескольких копий программы-сервера (например, на разные программные порты). Это не очень удобно для клиента, так как ему необходимо самостоятельно найти свободный порт. Второй вариант более сложен в реализации, но удобнее для клиента. Учебные задания всех пользователей при этом выполняются на сервере центра. Достоинством метода является высокая защищенность программы, контролируемость доступа к ней, легкая модифицируемость. Недостатком – ограниченность числа пользователей из-за возможности перегрузки сервера и привязка к операционной системе. Кроме того, если клиент находится за брандмауером, для обеспечения возможности доступа соответствующие порты должны быть открыты. Другим существенным недостатком такого подхода является то, что при модификациях или исправлении ошибок в программе необходимо реинсталлировать программы как на сервере, так и на машинах пользователей.

3. Программа выполнена на языке Java в виде апплета, встроенного в HTML-страницу. В этом случае клиенту пересылается байт-код апплета, и расчеты выполняются на машине клиента. Достоинствами метода является неограниченное количество пользователей, защищенность программы с точки зрения охраны авторских прав, контролируемость доступа к ней стандартными средствами контроля доступа к HTML-страницам, легкая модифицируемость (не требуется реинсталляция клиентских программ), использование стандартных программных портов, возможность исполнения программы в любой операционной среде, для которой разработан Web-браузер с поддержкой Java. В настоящий момент такие Web-браузеры разработаны практически для всех популярных операционных систем. Также несомненным достоинством является возможность размещения на одной HTML-странице подробных инструкций и методических указаний по работе с программой.

Очевидно, что третий вариант является наиболее перспективным при разработке нового программного обеспечения. В рамках третьего варианта возможна разработка специализированных или универсальных программ.

Эти три варианта построения прикладного программного обеспечения проиллюстрируем на примере трех учебных программ, разработанных в Московском государственном техническом университете им. Н.Э. Баумана.

Примером программы первого типа может служить программа проектирования оптико-электронных систем ПАСМ, разработанная на кафедре “Лазерные и оптико-электронные системы”, второго типа – программа МВТУ (“Моделирование В Технических Устройствах”), разработанная на кафедре “Ядерные реакторы и установки”, третьего типа – программа ПА9, предназначенная для моделирования разнородных технических объектов, разработанная на кафедре “Системы автоматизированного проектирования”. Программно-методический комплекс (ПМК) ПА9 является универсальной программой, применить которую можно для постановки лабораторных практикумов по различным дисциплинам.

Если говорить о достоинствах и недостатках специализированных и универсальных программ, то достоинством специализированных программ является их явная направленность на конкретную лабораторную работу и возможность реализации в этих программах любых идей, вплоть до трехмерного воспроизведения реальных лабораторных стендов. Недостатком же и весьма существенным – высокие требования к квалификации программиста и большие трудозатраты, связанные как с программированием, так и с получением корректных математических моделей. Достоинство универсальных программ заключается в возможности их адаптации к различным лабораторным работам как в пределах одной предметной области, так и в различных предметных областях. При этом математическая модель объекта строится автоматически, умения программирования на каком либо языке не требуется. К недостаткам можно отнести унификацию интерфейса таких ПМК, которая не всегда позволяет использовать привычные для конкретной предметной области обозначения элементов.

Возможен и промежуточный вариант – универсальный программный комплекс, в котором не закрыта возможность создания оригинальных графических изображений элементов, характерных для конкретной предметной области. К таким ПМК относится ПА9.

Инвариантность ПМК ПА9 к предметной области можно проиллюстрировать двумя методическими пособиями размещенными на сайте wwwcdl.bmstu.ru: лабораторный практикум “Цифровая схемотехника” и “Применение комплекса ПА9 к решению задач ТММ”. В первом пособии апплетами, реализованными с помощью ПА9, выполняется моделирование базовых элементов основных технологий изготовления микросхем, во втором моделирование плоских рычажных механизмов.

7.2. Обзор универсальных программных комплексов, пригодных для построения виртуальных лабораторий

К этой группе можно отнести такие ПК, как ПА9, SYMHYD, СИАМ, МВТУ(МГТУ им. Н.Э. Баумана), MathCAD, MATLAB with SIMULINK (MathWorks Inc.) [9]. LabView, BridgeView, LookOut (фирма National Instruments) [10]; TRADE MODE (фирма Ad Astra).

Пакет MathCAD компании MathSoft (ныне называющейся Insightful Corp.) в течение долгих лет удерживает лидирующие позиции среди научного ПО. MathCAD представляет собой универсальный пакет для проведения математических и инженерных расчетов, пользующийся широким признанием среди специалистов.

MathCAD предоставляет пользователю удобную вычислительную среду, соединяющую в одной оболочке математическое ядро, текстовый процессор, мощную графическую систему обработки результатов и средства коммуникации. В ней нашла отражение передовая технология LDI (Live Document Interface), согласно которой каждое действие пользователя по вводу математического выражения немедленно интерпретируется системой и после соответствующих вычислений отображается в документе. После того как решение записано в выражениях MathCAD’а, пользователь просто задает интересующие его данные и немедленно получает результат. Другим важным принципом системы является естественное, то есть принятое в математической литературе, представление формул и выражений. Этот принцип в соединении с расширенными возможностями форматирования превращает MathCAD в мощный инструмент для подготовки математических публикаций, которые можно получать как в бумажном, так и в электронном виде. Основным документом системы является рабочая область, так называемая Worksheet. В документах Worksheet отображается как данные, вводимые пользователем, так и вычисленные результаты. Каждая формула, текстовый блок или график в документе считаются его отдельной областью. С последними можно проводить традиционные действия — перемещать, удалять, копировать и т. д.

MathCAD предоставляет доступ к широкому набору общих и специальных математических функций. Опишем основные их группы.

Группа символьных вычислений. К ним относятся основные операции алгебры и анализа:

-- нахождение производных, интегралов, пределов, сумм и произведений;

-- преобразование выражений (упрощение, факторизация, приведение подобных), разложение в ряды Тейлора;

-- символьное решение уравнений и их систем;

-- матричная алгебра;

-- преобразования (Фурье, Лапласа и z-преобразования).

Группа численных операций. Поддерживается большое количество высокоэффективных численных алгоритмов, к основным из которых относятся:

-- нахождение корней уравнений и их систем;

-- решение оптимизационных задач (нахождение экстремумов функций, задачи линейного программирования);

-- численное решение некоторых типов дифференциальных уравнений.

Статистические функции. MathCAD имеет в своем составе большое число мощных статистических процедур. Перечислим основные из них:

-- основные характеристики выборки (среднее, дисперсия и т. д.);

-- функции основных типов статистических распределений;

-- генерерование последовательности случайных чисел из основных распределений;

-- линейная и кубическая интерполяция, сглаживание данных;

-- подгонка распределений и линейное прогнозирование.

Финансовые функции. Последнии версии Mathcad содержит множество финансовых функций, которые могут быть использованы для расчетов инвестиций и кредитов.

Графические средства обработки результатов вычислений MathCAD’а являются одними из лучших среди аналогов. Двумерные графики можно строить в декартовых и полярных координатах. Для каждой кривой предусмотрено задание цвета, толщины, стиля и т. д. Для графика в целом задают вид осей координат, надписей, масштаб и другие параметры. MathCAD поддерживает следующие основные типы трехмерных графиков: график в виде поверхности (заданной явно или параметрически), контурный, точечный, столбиковый, в виде векторного поля. Их можно отображать в трех координатных системах: декартовой, сферической и цилиндрической. Кроме цвета, толщины линий и других традиционных параметров получится задать поворот, наклон, подсветку, перспективу, уровень прозрачности и другие специальные эффекты. Также графики можно создавать, вставляя (импортируя) их из файлов графических форматов. С помощью анимационных функций построенные графики можно "оживить".

Важной возможностью системы является поддержка разных систем измерения. Пакет поддерживает несколько систем измерения, и кроме того, пользователь с легкостью введет свои единицы и свяжет их с уже известными.

MathCAD имеет собственный инструментарий для создания пользовательских программ, которые записываются непосредственно в документы пакета. Надо отметить, что возможности программирования в MathCAD не особо развиты. Впрочем, такой подход к внутренним программным средствам используется преднамеренно, поскольку главным принципом, которого придерживаются разработчики системы, является простота и наглядность (даже за счет некоторой утраты функциональности).

Пакет легко может быть включен в распределенную вычислительную систему, объединяющую несколько приложений. Для этих целей в пакете предусмотрены специальные средства (так называемые компоненты), позволяющие установить его связь с другими программами посредством механизма OLE. При этом MathCAD может использоваться и как сервер, и как клиент OLE-протокола. Имеются специальные компоненты для взаимодействия с такими известными программами, как MathLab, Axum, Excel, S-PLUS. Для связи с другими программами, поддерживающими OLE-протокол, применяются программируемые компоненты, в которых сценарий взаимодействия приложений возможно записывать на языках VBScript или JScript.

Рабочие документы MathCAD’а экспортируются в HTML- и PDF-форматы для последующего использования в других приложениях или опубликования в World Wide Web. Стоит заметить, что экспортированные документы почти неотличимы от оригинала, однако, иногда возникают проблемы с передачей кириллического текста.

Таким образом, MathCAD является почти идеальной средой для решения научных и инженерных задач в тех областях науки и техники, где общепринятой и естественной является постановка задачи в виде формул или систем уравнений. Однако, в большинстве инженерных задач исследуемый объект представляется, как правило, в виде функциональных или принципиальных схем. К сожалению, в MathCAD'е полностью отсутствуют средства для автоматизации формирования системы дифференциальных уравнений, описывающей поведение исследуемого объекта на основе его графического представления, а осуществить эту операцию вручную в большинстве случаев практически не представляется возможным, если число уравнений в системе превосходит 30-40.

Программный комплекс MATLAB with SIMULINK (в дальнейшем просто SIMULINK) является самым развитым по своим функциональным и интерфейсным возможностям ПК для моделирования и анализа систем автоматического управления. Фундаментом его широких возможностей является мощный, широко известный в мире математический пакет MATLAB, разработанный фирмой MathWorks, Inc. По сути ПК MATLAB является языком программирования интерпретативного типа, удачно сочетающим элементы языка высокого уровня (типа Си), развитый математический аппарат, основанный на матричном исчислении и реализованный через набор функций, а также развитые средства отображения, хранения и обмена информацией. Благодаря высокой надежности предлагаемых алгоритмов и удобства общения пользователя с ЭВМ ПК MATLAB нашел широкое применение при вычислениях в различных разделах математики и прикладных наук. Кроме основных программ, функций и команд, сосредоточенных в ядре комплекса, в MATLAB включено ряд ППП для выполнения расчетов специалистами, работающими в самых различных областях науки и техники.

Важное место в комплексе MATLAB занимают ППП для решения самых разнообразных задач анализа, синтеза и идентификации САУ. Среди этих пакетов можно назвать Control System Toolbox, предназначенный для анализа и синтеза линейных систем с постоянными параметрами, Robust Control Toolbox для робастного управления автоматическими системами, Model Predective Control Toolbox, используемый в задачах синтеза адаптивного управления системами с эталонной моделью, System identification Toolbox, позволяющий решать проблемы идентификации параметров автоматических систем, Optimization Toolbox, служащий для оптимизации САУ и др. В этом смысле SIMULINK представляет собой интегрированную графическую надстройку, включающую графический редактор для формирования моделей автоматических систем в виде структурных схем, а также механизмы связи с ядром MATLAB, что позволяет производить непосредственно в среде SIMULINK моделирование, анализ, оптимизацию и другие исследования. ПК SIMULINK работает под управлением операционной системы WINDOWS, имеет богатый набор модулей и алгоритмов, представляет собой открытую систему, позволяет создавать иерархические структурные схемы и обладает рядом других привлекательных свойств.

Однако программный комплекс SIMULINK не обладает свойствами SCADA-систем: в нем отсутствуют виртуальные средства управления процессом моделирования, встроенные средства связи с внешними расчетными программами. Тестирование ПК SIMULINK на ряде модельных задач показало недостаточную эффективность реализованных в нем методов интегрирования для решения жестких систем дифференциальных уравнений.

В большинстве перечисленных выше программных комплексах визуальный образ объекта исследования формируется в виде структурной схемы из типовых элементов, описываемых в форме входо – выходных отношений. Такой способ представления является наиболее удобным и естественным для систем, являющихся предметом исследования теории автоматического управления (ТАУ).

Разработчики ПК PRADIS основывались на методологии, принятой в семействе ПА. Спецификой комплекса является его предметная направленность на решение задач анализа узлов оборудования и транспортных машин, то есть механических и смешанно-механических систем. В соответствии с этим в ПК PRADIS реализована модификация узлового метода, характерными особенностями которой являются:

• математическая модель объекта исследования формируется в виде системы дифференциальных уравнений не 1-го, а 2-го порядка;

• формирование модели объекта преимущественно из моделей конструктивных элементов, обеспечивающее возможность получения исходных данных непосредственно из конструкторской документации;

• наличие развитой библиотеки механических и смешанно-механических элементов, позволяющее сократить время на подготовку моделей разнотипных элементов.

Разработчикам ПК PRADIS удалось повысить потребительские свойства комплекса, хотя круг решаемых задач при этом сузился. К недостаткам ПК PRADIS необходимо отнести и отсутствие возможности создавать виртуальные приборы управления и отображения.

Программный комплекс LabView представляет собой интегрированную графическую систему, предназначенную в основном для автоматизации эксперимента. В графическом редакторе ПК создаются окна двух типов: окно функциональной схемы и окно панели управления и мониторинга. Функциональная схема содержит блоки следующих типов: блоки связи с объектом (порты входа-выхода, в которых реализован тот или иной интерфейс связи с платами, программами, файлами и т.д.); блоки функциональной обработки входных сигналов (усиление, суммирование, фильтрация, статистика и т.д.); блоки, с помощью которых устанавливается связь сигналов на функциональной схеме с визуальными элементами отображения и управления на окне панели управления и мониторинга (кнопки, вольтметры, ключи и т.д.). Объем элементной базы как в части создания панелей управления и мониторинга, так и в части обработки сигналов, удобство графического интерфейса, широкая палитра встроенных средств связи с объектом делает LabView весьма привлекательным инструментом для автоматизации эксперимента или создания панелей управления и мониторинга. В последнем случае подразумевается обмен данными между LabView и моделирующими программами. Однако создать в среде LabView математическую модель системы, относительно сложной в динамическом плане, проблематично.

Программные комплексы LookOut и BridgeView предназначены для создания АСУ ТП в том числе и сложных технических систем. Они включают в себя все возможности ПК LabView, но при этом позволяют создавать мнемосхемы технических объектов, проводить архивирование данных, осуществлять контроль и диагностику протекания технологического процесса и т.д. В принципе, эти программные комплексы более “подготовлены” к использованию их для разработки виртуального лабораторного практикума, однако сверхвысокая их стоимость (более 10 тысяч USD) препятствует их внедрению в учебный процесс многих даже зарубежных университетов.

Программный комплекс “МВТУ” позволяет моделировать нестационарные процессы в непрерывных, дискретных и гибридных технических системах, в том числе и при наличии обмена данными (синхронный или асинхронный) с внешними программами и устройствами, редактировать параметры структурной схемы и расчета в режиме “on-line”,рестарт, архивацию и воспроизведение результатов моделирования, выполнять параметрическую оптимизации САУ и идентификацию опытных данных; расчет амплитудно-фазовых частотных характеристик для любой линейной и большинства нелинейных систем (ЛАХ, ФЧХ, различные годографы и др.), расчет коэффициентов, полюсов и нулей передаточных функций.

Программные комплексы ПА9 и Simhyd направлены на проектирование широкой номенклатуры технических объектов. Для этого в ПК используется метод аналогий, согласно которому в большинстве технических систем можно выделить три типа простейших элементов: элемент, рассеивающий энергию, элемент, накапливающий потенциальную энергию и элемент, накапливающий кинетическую энергию Сочетанием этих простейших элементов, а также источников фазовых переменных может быть получена математическая модель технического объекта любой сложности, состоящего из различных физических подсистем (электрических, механических, гидравлических, тепловых и др.). В графическом редакторе программного комплекса собирается структурная схема технического объекта. ПК ПА-9 написан на языке Java, имеет развитые средства редактирования структурной схемы (включая создание макромоделей), средства удаленного доступа через сеть INTERNET. Библиотека блоков включает в себя элементы механических и гидравлических систем, однако наиболее полно представлена электрическая система.

Метод аналогий, заложенный в основу ПК ПА-9 и Simhyd, позволяет создавать и моделировать структурно заданные модели сложных технических систем с подсистемами различной физической природы в рамках единого системного подхода.

К недостаткам программных комплексов ПА и Simhyd необходимо отнести и отсутствие в них виртуальных средств управления и отображения.

Управление качеством учебного процесса - многогранная проблема. Важное место в управлении качеством отводится вопросам оценки и контроля качества учебного процесса. Такая оценка выполняется на основе критериев качества. К сожалению, большинство показателей качества не имеет непосредственного количественного выражения. Поэтому при оценке качества важная роль отводится мнениям экспертов.

В рамках данной НИР выполнена разработка и обоснование системы показателей качества дистанционного образования. Основное внимание уделено системам качества учебных материалов и прикладного программного обеспечения для виртуальных лабораторий. При разработке критериев качества принимались во внимание положения международных стандартов в области информатизации учебного процесса и управлении качеством программного обеспечения. На основе их анализа и личного опыта участия авторов отчета в педагогическом процессе предложены как показатели качества дистанционного обучения, так и подходы к их оценке.

1. Лабораторный практикум “Цифровая схемотехника”

1. Пособие по курсовому проектированию "Применение комплекса ПА9 к решению задач ТММ".