В. Н. Черняк
ОЦЕНИВАНИЕ УРОВНЯ КАЧЕСТВА КОМПЬЮТЕРНОГО УЧЕБНО-
МЕТОДИЧЕСКОГО КОМПЛЕКСА
б) пример семибалльной оценочной шкалы
Приложение – Иерархические структуры свойств компьютерного учебно-методического комплекса, шкалы и критерии оценки свойств
ОЦЕНИВАНИЕ УРОВНЯ КАЧЕСТВА КОМПЬЮТЕРНОГО УЧЕБНО-
МЕТОДИЧЕСКОГО КОМПЛЕКСА
Одним из наиболее важных факторов, оказывающих влияние на качество предоставляемых образовательных услуг, является качество используемых при этом средств обучения. Проникновение современных информационных технологий в образовательную среду привело к появлению и активному применению всевозможных компьютерных средств обучения. Для эффективной работы нужно оценивать уровень качества компьютерных средств обучения. Рассматриваются вопросы оценивания уровня качества компьютерных средств обучения (компьютерного учебно-методического комплекса)
One of the most important factors that impacts a quality of educational services provided is a quality of training tools used. Modern information technologies invasion into educational environment lead to introduction and application of different educational software. In order to provide an effective work, the level of educational software has to be accessed. Aspects of accessing of quality level of educational software are being considered (computer training and methodological complex)
Одним из наиболее важных факторов, оказывающих влияние на качество предоставляемых образовательных услуг, является качество используемых при этом средств обучения. На современном этапе развития образовательных технологий они характеризуются большим разнообразием и включают как традиционные, так и компьютерные средства. К традиционным средствам обучения можно отнести, например, изданные полиграфическим способом учебники и учебные пособия, различные модели, макеты, экспериментальные установки и другие. Компьютерными средствами обучения являются воспроизводимые с помощью вычислительной техники «электронные учебники», конспекты лекций, специализированное программное обеспечение, предназначенное для имитационного моделирования изучаемых объектов (предметов или процессов), всевозможные обучающие программы.
Практика показывает, что современный преподаватель, используя информационно-коммуникационные технологии в своей профессиональной деятельности, как правило, не остается в стороне от разработки компьютерного учебно-методического комплекса.
Настоящая статья посвящена вопросу оценки компьютерного учебно-методического комплекса (далее объект оценивания).
В соответствии с принятой за основу целевой установкой, конечным результатом осуществления процедуры оценивания должно быть получение количественной оценки уровня качества достаточно специфического заданного объекта оценивания. При этом под уровнем подразумевается относительная характеристика качества, основанная на сравнении значений всей выделенной совокупности определяющих показателей качества данного объекта с принятыми за основу для осуществления такого сравнения базовыми значениями (числовыми значениями базовых показателей качества). Определяющими показателями качества объекта называются показатели, относящиеся к таким его отдельным свойствам или совокупности свойств, по которым принято решение оценивать качество рассматриваемого объекта в целом. В соответствии с основными принципами квалиметрии процедуру оценивания уровня качества любого объекта можно представить в виде следующего ряда последовательных операций (алгоритма) оценивания:
1) определение ситуации оценивания;
2) декомпозиция качества оцениваемого объекта и разработка его базовой квалиметрической модели в виде иерархической структуры свойств, определяющих качество оцениваемого объекта (построение «дерева свойств»);
3) выбор номенклатуры показателей качества для количественной характеристики всех выделенных простых свойств, определяющих качество оцениваемого объекта;
4) установление базовых значений показателей качества (определение числовых значений базовых показателей качества);
5) разработка методик оценивания (измерения) и реализация процедуры оценивания (измерения) всех выделенных простых свойств, определяющих качество оцениваемого объекта, и получение на этой основе количественных оценок абсолютных показателей его качества;
6) выбор метода определения и определение уровня качества оцениваемого объекта;
7) анализ полученных результатов и подготовка выводов по результатам оценивания.
Содержание и порядок реализации каждой операции данного алгоритма представлены ниже.
Определение ситуации оценивания состоит в формировании некоторого массива исходной информации, необходимой и достаточной для реализации процедуры оценивания с требуемой эффективностью. Под эффективностью процедуры оценивания подразумевается, прежде всего, точность и достоверность получаемых результатов.
Формирование массива исходных данных должно начинаться с идентификации оцениваемого объекта, суть которой состоит в определении его принадлежности к определённой классификационной группе.
Наиболее важными элементами алгоритма оценивания являются условия использования объекта и цель оценивания качества.
При формировании набора требований потребителей есть необходимость особо выделить задачу учёта требований непосредственных потребителей образовательных услуг, предоставляемых учреждениями образования дополнительного образования взрослых.
Сложности конкретизации факторов, определяющих ситуацию оценивания, требуют проведения достаточно трудоёмких исследований с разработкой необходимых методик получения, анализа и обработки информации, поступающей от потребителей. Опрос фактических и потенциальных потребителей может проводиться путём интервьюирования или анкетирования. В результате последующего анализа должны быть выделены требования, подлежащие обязательному учёту, произведена их систематизация и классификация. Полученную информацию предъявляют экспертам в качестве исходных данных для построения иерархической структуры свойств заданного объекта. Определение ситуации оценивания входит в общий комплекс работ, выполняемых на подготовительном этапе, предваряющем собственно экспертизу оцениваемого объекта. Для выполнения таких работ создаётся рабочая группа, деятельность которой должна быть направлена не на экспертизу, а на обеспечение наиболее эффективной работы экспертной группы.
Декомпозиция качества оцениваемого объекта.
Выполнение данной операции подразумевает моделирование качества оцениваемого объекта в виде иерархической структуры свойств, определяющих его качество, или построение «дерева свойств» оцениваемого объекта. Такую модель качества или «дерево свойств» любого объекта в наиболее общем виде можно графически интерпретировать в виде схемы, представленной на рисунке1.
При моделировании качества оцениваемого объекта в виде иерархической структуры свойств (иерархии свойств) для удобства принимают, что качество как некоторое наиболее обобщенное, сложное его свойство, находится на самом низком, нулевом уровне такой структуры, а составляющие его менее обобщенные свойства – на более высоком, первом её уровне. В свою очередь, каждое из этих свойств также может состоять из некоторого числа еще менее общих свойств, лежащих на еще более высоком, втором уровне рассмотрения, а в некоторых случаях и на высших уровнях.
Выделенные свойства второго уровня иерархии раскладывают (декомпонируют) на менее общие свойства следующего по высоте третьего уровня и т.д. Возникает так называемое иерархическое «дерево свойств», число уровней рассмотрения которого в принципе может неограниченно возрастать, что вытекает из аксиомы о непрерывности процесса познания. Строя иерархическую структуру свойств, желательно подняться до такого высокого m-го уровня рассмотрения, на котором будут располагаться так называемые простые свойства, не разлагаемые на какие-либо другие менее общие свойства при данной глубине исследования объекта оценивания качества. Необходимо отметить, что простота свойств m-го уровня иерархии должна рассматриваться не как абсолютная, а как относительная их характеристика. По мере углубления исследования объекта оценивания качества его свойства, считавшиеся ранее простыми, могут становиться разложимыми на другие, менее общие свойства и, таким образом, переходить из разряда простых в разряд сложных.
Рисунок 1 – Моделирование качества объекта в виде иерархической структуры свойств («дерева свойств»), определяющих его качество
Таким образом «дерево свойств», определяющих качество любого оцениваемого объекта можно рассматривать как графическое представление результата декомпозиции наиболее сложного его свойства на некоторую совокупность простых свойств. Декомпозицию осуществляют путем последовательного многоуровневого разложения каждого сложного свойства на соответствующую ему группу менее сложных (менее обобщённых) свойств вплоть до простых.
Декомпонирование свойств – весьма сложная квалиметрическая задача, достигнутый уровень формализации которой не позволяет решать её аналитически (например, путём выполнения соответствующих расчётов). Для решения такого типа задач широко используются экспертные методы, что можно рассматривать как единственный вариант поиска наиболее эффективного решения.
На данный момент отсутствует достаточно аргументированное и доказательное теоретическое обоснование решения задач декомпонирования. Существует ряд теоретически обоснованных или эмпирически установленных правил решения подобных задач. Эти правила используют как основные принципы, на которых основано декомпонирование свойств. Рассмотрим эти принципы подробнее.
1. Сплошной учёт ситуации оценивания
2. Деление свойств по одному основанию (одинаковому признаку)
3. Суперпозиция учитываемых свойств или учет их взаимного влияния на качество объекта в целом
4. Необходимость и достаточность количества учитываемых свойств
В Приложении представлены некоторые примеры построения иерархической структуры свойств, определяющих качество компьютерного учебно-методического комплекса.
Для оценивания уровня качества любого объекта его свойства должны быть охарактеризованы количественно, что достигается с помощью показателей качества. При этом под показателем качества объекта подразумевается количественная характеристика одного или нескольких свойств, входящих в состав его качества (включённых в иерархическую структуру свойств), рассматриваемая применительно к определённым условиям его создания и использования.
Для количественной характеристики большинства свойств оцениваемых объектов могут быть использованы различные варианты показателей качества. В результате возникает необходимость определения для каждого свойства наиболее эффективного показателя качества с точки зрения решаемой задачи оценивания уровня качества данного объекта. Так, например, для количественной характеристики объёма компьютерного учебно-методического комплекса могут быть использованы такие показатели, как объем информации, количество страниц, и пр. При этом для оценивания качества данных объектов не исключается возможность использования и такого показателя, как балльная оценка, если его выбор может обеспечить решение поставленной задачи оценивания с требуемой эффективностью.
В результате выполнения рассматриваемой операции оценивания иерархическая структура свойств оцениваемого объекта должна быть трансформирована (преобразована) в иерархическую структуру показателей его качества. Причём эта операция имеет весьма важное значение, поскольку выбор показателя качества для количественной характеристики каждого оцениваемого свойства в общем определяет и стратегию его оценивания или измерения.
Базовые показатели качества позволяют перейти в оценках к относительным показателям при оценивании разных свойств, что необходимо при комплексировании показателей для получения общей оценки уровня качества объекта.
Номенклатура базовых показателей качества определяется номенклатурой показателей качества оцениваемого объекта, выбранных для количественной характеристики всех выделенных его свойств. Поэтому выполнение данной операции алгоритма оценивания сводится к установлению целесообразных значений показателей качества, задающих некоторый базовый уровень (определяющих базовый образец, или эталон сравнения). За такие значения могут приниматься реально достигнутые значения показателей качества конкретного, реально существующего объекта, либо теоретически возможные значения показателей качества, определяющие качество некоторого идеального объекта (виртуальный базовый образец, или эталон сравнения).
Для первого варианта решения задачи в качестве базовых значений показателей качества чаще всего принимают значения показателей качества лучших отечественных или зарубежных образцов, отвечающих самым высоким современным требованиям. В качестве виртуального базового образца, или эталона сравнения, может рассматриваться некоторый идеализированный объект, характеризующийся максимально возможными, теоретически достижимыми значениями показателей качества.
Когда речь идёт об экспертном оценивании уровня качества компьютерного учебно-методического комплекса, наиболее приемлемым представляется вариант использования виртуального базового образца (эталона сравнения), то есть как образец предлагается рассматривать некоторый компьютерный учебно-методический комплекс, характеризующийся максимальными оценками всех свойств, определяющих его качество.
Возможна также ситуация, когда необходимо выбрать лучший вариант компьютерного учебно-методического комплекса из двух или более сопоставляемых вариантов путём проведения их взаимной оценки. В этой ситуации нет необходимости особо устанавливать некоторые базовые значения показателей качества, а за базовый образец может условно приниматься любой из сопоставляемых объектов.
Следует отметить, что в большинстве своём задача определения численных значений показателей качества базовых образцов или эталонов сравнения (базовых показателей качества) носит сложный характер и налагает на экспертов большую ответственность. Применение необоснованных значений таких показателей качества может приводить в итоге к завышенной или, наоборот, заниженной оценке уровня качества оцениваемого объекта со всеми вытекающими из этого возможными негативными последствиями. Такого типа задачи на практике решают экспертным методом с привлечением необходимого количества высококвалифицированных специалистов-экспертов.
Разработка или проектирование методик оценивания (измерения) простых свойств, определяющих качество оцениваемого объекта, предполагает прежде всего выбор оценочной шкалы (шкалы измерения) и соответствующей ей оценочной единицы (единицы измерения), а также методов, способов и процедур оценивания каждого простого свойства заданного объекта. Для успешного решения всего этого комплекса достаточно сложных задач необходимо чётко определить, какой смысл вкладывается в понятие «оценивание» и какие существуют уровни оценивания.
В квалиметрии под оцениванием свойства объекта подразумевается определение местоположения оцениваемого свойства на определённой оценочной шкале. В результате выполнения такой операции оцениваемому свойству присваивается определённый символ (буквенный, словесный, графический, в частном случае, некоторое число). Исходя из этого, оценочную шкалу формально можно рассматривать как некоторую совокупность всех возможных символов, которые могут быть присвоены оцениваемому свойству объекта на данной шкале. При этом различают следующие уровни оценивания.
1. Оценивание на уровне классификации объектов.
2. Оценивание на уровне ранжирования объектов.
3. Оценивание на уровне аппаратурного определения количественного содержания свойств объекта.
Специфика объектов квалиметрии состоит в том, что подавляющее большинство простых свойств, определяющих их качество, относится к категории нефизических величин и для их количественного выражения на практике широко используются различные субъективные методы нефизических измерений (чаще всего экспертные методы оценивания). Такие измерения характеризуются рядом основных особенностей.
Всякое нефизическое измерение имеет два компонента:
1) средство измерения, как правило, в виде заранее подготовленной шкалы, достаточно наглядной и понятной, которая реализуется испытуемым (используется при выставлении баллов и/или ранжировании);
2) процесс измерения (собственно измерение), которое имеет ряд специфических моментов (наличие возможности измерения или оценивания как способности различения уровней сигнала; объективность наблюдателя; понимание инструкции по измерению и т.д.).
Специфика нефизических измерений включает следующие моменты:
- измерение методологически связано с классификацией; иногда его представляют как определенный вид классификации, чем подчеркивают концептуальный аспект (не акцентируется операциональная сторона, более важная для физических измерений);
- измерение концептуально и операционально связано с человеком (с его субъективными свойствами: эмоциями, установками, желаниями и т.д.);
- операционально процедура нефизического измерения определяется весьма нечетко: реализацией процедуры измерений считаются не только «шкалирование», но и «наблюдение, анкетирование, беседа». Сами шкалы здесь часто концептуальные средства, отражающие определенные опытные данные, ранее полученные и устоявшиеся, а не технически реализованные шкалы средств измерений. Поэтому даже при высокой объективности участвующих в измерениях экспертов процедура измерения и результаты сильно зависят от субъективных факторов (например, от вкусов тех экспертов, которые составляли или трактуют конвенционально установленную «шкалу»).
Очевидно, что ключевым вопросом, решаемым в процессе проектирования методик оценивания (измерения) свойств объектов, является вопрос выбора оценочной шкалы, или шкалы измерения.
Учитывая то, что почти все свойства, характеризующие качество компьютерного учебно-методического комплекса, относятся к категории нефизических величин, оценивание может быть осуществлено с использованием двух типов шкал: шкалы наименований и шкалы порядка. Для реализации такой процедуры оценивания следует привлечь специалистов-экспертов.
Разработка конкретных оценочных шкал для экспертного оценивания (измерения) отдельных простых свойств оцениваемых объектов, включающая определение оптимального размера шкалы, количества фиксируемых уровней градации оцениваемого свойства, соответствующих им критериев оценивания, является одним из наиболее важных аспектов проектирования методик экспертного оценивания этих свойств.
От того, насколько удачно построена оценочная шкала, в значительной мере зависит достоверность получаемых результатов оценивания. На практике при экспертном оценивании простых свойств чаще всего применяются различные балльные оценочные шкалы. По способам получения балльные оценки делятся на непосредственно назначаемые экспертами и получаемые в результате формализации процесса оценивания, причём формализация может быть как эвристической, так и экспериментальной.
Непосредственное назначение балльных оценок производится экспертами в рамках выбранной оценочной шкалы путём анализа ощущений, полученных при восприятии качества объекта оценивания по данному свойству на основании имеющегося у эксперта опыта. Количество баллов в рамках оценочной шкалы может быть различным и определяется возможностью различать градации уровня оцениваемого свойства экспертами. Следует отметить, что наиболее часто в практике квалиметрии используются пятибалльная и семибалльная шкалы:
а) пример пятибалльной оценочной шкалы
| Оценка |
Число баллов |
| Отлично |
5 |
| Хорошо |
4 |
| Вполне удовлетворительно |
3 |
| Удовлетворительно |
2 |
| Плохо |
0 |
б) пример семибалльной оценочной шкалы
| Оценка |
Число баллов |
| Качество очень высокое |
7 |
| Качество высокое |
6 |
| Качество выше среднего |
5 |
| Качество среднее |
4 |
| Качество ниже среднего |
3 |
| Качество низкое |
2 |
| Качество очень низкое |
1 |
Эвристическая формализация процесса оценивания заключается в определении экспертами зависимости между выраженностью свойства и его оценкой в баллах.
При экспертном оценивании свойств объектов может учитываться как интенсивность, так и желательность ощущений, возникающих у экспертов при оценивании свойств. Исходя из этого, для оценивания можно использовать как шкалы интенсивности, так и шкалы желательности, содержащие некоторые качественные описания выраженности оцениваемых свойств и соответствующие им баллы. Целесообразно предпочтение отдавать экспертному оцениванию свойств с использованием комбинированных шкал, включающих одновременно и шкалу интенсивности, и шкалу желательности. В шкале желательности балльным оценкам в соответствие устанавливаются «уровни желательности» свойств.
Число баллов в рамках оценочной шкалы конкретного свойства объекта определяется числом его оцениваемых градаций (пятибалльная, семибалльная и другие шкалы). В то же время число баллов шкалы оценивания качества объекта в целом определяется суммарным количеством баллов, приходящихся на все оцениваемые свойства, т.е. суммарным количеством их градаций.
Результаты оценивания качества компьютерного учебно-методического комплекса анализирует группа обеспечения экспертизы или специально отобранная группа экспертов. Анализ проводят в соответствии с поставленной конкретной целью оценивания качества одного учебника или нескольких учебников. На основании проведенного анализа результатов оценивания заказчику экспертизы могут быть предложены проекты конкретных решений, имеющих рекомендательный характер, например:
- принять положительное (отрицательное) решение о качестве оцениваемого компьютерного учебно-методического комплекса;
- признать один из рассмотренных вариантов компьютерного учебно-методического комплекса лучшим и рекомендовать его в качестве базового компьютерного учебно-методического комплекса по соответствующей учебной дисциплине;
Могут быть подготовлены и иные проекты решений.
Приложение – Иерархические структуры свойств компьютерного учебно-методического комплекса, шкалы и критерии оценки свойств