Осин А.В. Технология и критерии оценки образовательных электронных изданий

http://ito.edu.ru

Осин В.А.
Генеральный директор, Республиканский мультимедиа центр Минобразования России

• установка/удаление продукта в системе (требуемая память, вторжение в предустановки ОС, корректность автоматической установки стандартного ПО, восстановление предустановок ОС при деинсталляции, удаление собственных элементов и пр.)
• функциональное тестирование (работоспособность активных зон, всех заявленных функций, логических переходов, ресурсоемкость и качество мультимедиа компонентов и пр.)
• качество программной реализации (поведение при провокациях, при запуске параллельных приложений, скорость отклика на запросы и пр.)
   

Содержательная экспертиза нацелена на оценку полноты содержания в предметной области, педагогических и методических свойств ЭИ. Рассматривается позиционирование издания по виду, предмету, составу материала, характеристики по сравнению с ближайшими аналогами. Аттестат содержательной экспертизы включает:

• оценку объема материала и степени разработки темы (соответствие обязательному минимуму по Федеральным стандартам, актуальность, новизна, оригинальность и пр.)
• оценку содержания в целом (фактографическая, идеографическая, прагматическая содержательность, фоновое культурное знание, формирование целостной картины и пр.)
• педагогическую оценку (соответствие интересам преподавателя, обучаемого, организация материала, культурологическая составляющая и пр.)
• методическую состоятельность продукта (оценка используемых методик, системы контроля, соответствие принципам вариативности и пр.)

Экспертиза дизайн — эргономики электронного издания оценивает качества дизайна аудио-видеоряда, психологические, эргономические и художественные качества продукта. Сложность этой экспертизы заключается в том, что она оценивает искусство разработчиков, по-просту говоря: «хорошее кино или плохое». Аттестат экспертизы дизайн-эргономики включает:

• оценку художественных средств (полнота использования и гармония средств мультимедиа, оригинальность и качество мультимедиа компонентов и пр.)
• оценку организации интерактива (способы передачи реакций сторон, оригинальные приемы и пр.)
• оценку эргономики, комфортности пользователя (интуитивная ясность, дружественность, удобство навигации и пр.)
• оценку простоты использования.
  После завершения трех экспертиз и обсуждения Аттестатов на экспертном совещании заполняется сводная форма — Акт экспертизы ЭИ, в котором указывается общая оценка качеств продукта в баллах (от 0 до 120). В результате возможно составление рейтингового списка электронных изданий, отвечающего на волнующий практически всех вопрос: «что (сегодня) получше?».
  Аккуратная формулировка вопроса, конечно, связана с известной субъективностью любой экспертизы. Однако случаи, когда установленный рейтинг разных продуктов одной компании совпадал с качественной оценкой самих разработчиков, позволяют надеяться на достаточную объективность подхода.

2.Анализ российского рынка и конкурсный отбор образовательных продуктов на CD-ROM для первой поставки по проекту «Сельская школа»
Для реализации проекта «Сельская школа», отбора изданий в первую поставку школьной медиатеки был проведен анализ рынка и комплексная экспертиза образовательных изданий. При этом образовательные издания были структурированы по трем основным группам: издания для поддержки и развития учебного процесса, информационно-справочные источники, издания общекультурного характера.
Издания для поддержки и развития учебного процесса представляют собой электронные учебные пособия, содержащие систематизированный материал в рамках программы учебной дисциплины. Предназначены для изучения предмета «с нуля» до границ предметной области, определенных программой. Включают все виды учебной деятельности: прием/передачу информации, практические занятия в известных и новых формах, аттестацию. Нацелены на поддержку работы и расширение возможностей преподавателя и самостоятельную работу учеников. Такие издания для основного, программированного учебного процесса для краткости называют учебными ЭИ.
Информационно-справочные источники обеспечивают общую информационную поддержку. Это энциклопедии, справочники, словари, хрестоматии, географические, астрономические атласы, нормативно-правовые, экономические сборники и пр. Они не привязаны к определенному курсу, программе, дидактической схеме. Нацелены на использование в качестве исходного материала при решении творческих учебных задач в т.ч. выходящих за рамки учебных программ.
Издания общекультурного характера предназначены для создания культурной среды. Это виртуальные экскурсии по музеям мира, путешествия по городам, странам и континентам, издания, посвященные классикам мировой культуры, шедеврам архитектуры, живописи, музыки. Цель – предоставить равные возможности воспитания общей культуры, широты мировоззрения всем учащимся.
На первом этапе был составлен исходный список электронных изданий, формально отвечающих задачам образования. Источниками информации являлись: официальные издания Государственного депозитария НТУ «Информрегистр», прайс-листы издательств, дилеров, предприятий розничной торговли, СМИ, информационные сайты, опросы экспертов. В итоге исходный список включал более 300 наименований.
Затем этот список был проанализирован на предмет аналогов, физического наличия издания на рынке, современности версии, особенно актуальной для информационно-справочных источников, апробации изданий, наличия отзывов и рецензий в СМИ и пр. Особое внимание уделялось проверке лицензионной чистоты ЭИ. Важным также считалось представление всех ведущих компаний-производителей. В результате был составлен перечень образовательных электронных изданий, подлежащих комплексной экспертизе (около 100 наименований).
 Независимая экспертиза была организована и финансировалась Национальным фондом подготовки кадров. Для выполнения работы было привлечено более 50 экспертов, имеющих опыт оценки электронных изданий: участников жюри конкурсов CD-ROM, педагогов с опытом применения ЭИ в школе, членов секций экспертных советов, ученых и специалистов из РАН, РАЕН, РАО, учреждений образования.
Работа в таких масштабах проводилась впервые в России, отчетливо формулировалось ее важное значение в определении базовых параметров и направлений развития новых технологий обучения, заинтересованность большого количества компаний-производителей. Это определило повышенные требования к тщательности исполнения, тем более серьезные ввиду крайне сжатых сроков.
В результате комплексной экспертизы были составлены рейтинговые списки образовательных электронных изданий как по абсолютному рейтингу, так и по группам, а внутри группы учебных ЭИ – по дисциплинам средней школы.

Однако одного рейтинга для принятия решения недостаточно – пользуясь только простой арифметикой, в школы можно было бы направить, скажем, двадцать продуктов по английскому языку. Рейтинговые таблицы – только основа для выбора изданий разного характера, покрывающих максимальное количество школьных дисциплин, представляющих различное методические подходы, варианты реализации в бесконечном пространстве мультимедиа, но равно высокого качества.
Одновременно с экспертизой, проводимой НФПК, Минобразование России организовало исследование потребностей российской школы в электронных изданиях учебного назначения. Были статистически обработаны результаты специального опроса региональных органов образования, проведен анализ предложений и мнений работников образования на местах. На итоговом совещании с участием заместителей Министра образования, руководителей управлений, представителей НФПК, экспертов и специалистов, на «top» рейтинговых таблиц были «наложены» требования и рекомендации специалистов образования. В результате был определен список изданий для следующей конкурсной процедуры – котировки цен.
На заключительном этапе, после стандартной котировочной процедуры, диски, предполагаемые для закупки, прошли дополнительную содержательную экспертизу в Федеральном экспертном совете по учебному книгоизданию.