|
| | | | Проблемы современной экономики, N 3 (23), 2007 | | | | ПРОБЛЕМЫ НАУКИ И ОБРАЗОВАНИЯ | | | Левшина В. В.
заведующий кафедрой управления качеством и математических методов экономики
Сибирского государственного технологического университета (г. Красноярск),
доктор технических наук, профессор
Шимохина В. В.
ст. преподаватель кафедры управления качеством и математических методов экономики Сибирского государственного технологического университета
| |
| | | |
В соответствии с Концепцией модернизации российского образования на период до 2010 г., главная задача российской образовательной политики состоит в обеспечении высокого качества образования. Мировая практика показывает, что реализация подобной задачи обычно гарантируется наличием в организации системы менеджмента качества (далее – СМК). Так, при прохождении комплексной оценки деятельности образовательной организации именно эффективное функционирование СМК является одним из необходимых условий подтверждения любым российским вузом своего статуса. В соответствии с приказом Рособрнадзора № 1938 от 30.09.2005 г., был утвержден показатель 1.2.3 «Эффективность внутривузовской системы обеспечения качества образования».
В ближайшее десятилетие одной из стратегических целей вузов становится разработка эффективных СМК. При этом со стороны органов государственного надзора в области образования требуется выработка согласованных стандартов, процедур и руководящих принципов, на основании которых будет осуществляться оценка эффективности этих систем. Следует отметить, что в настоящее время отсутствует надежный метод количественной и качественной оценки эффективности функционирования СМК в образовательных организациях, каждая организации решает эту проблему по-своему. Таким образом, встает вопрос о необходимости оценки ее эффективности.
Существующие методики оценки эффективности СМК позволяют оценить ее тремя способами [3]: по достигнутому уровню экономической эффективности в результате применения системы менеджмента качества; по критерию соответствия уровня СМК установленным требованиям; по оценке степени влияния отдельных элементов СМК на функционирование организации в целом и на уровень качества ее продукции. Следует отметить, что третий метод оценки эффективности не отличается принципиально от второго и является его разновидностью. Таким образом, эффективность СМК может оцениваться на основе двух базовых способов: оценка экономической эффективности и определение соответствия требованиям.
1. Оценка системы менеджмента качества по критерию экономической эффективности и по критерию соответствия требованиям
В связи со спецификой процессов, протекающих в организации, этот метод несет в себе известные сложности. Во-первых, основные результаты деятельности образовательных организаций лежат не в экономической, а в социальной сфере. Во-вторых, даже зная результаты деятельности образовательной организации, сложно выделить и идентифицировать вклад в них СМК. Однако, согласно традиционной терминологии, принятой в экономической науке, из определения эффективности, как связи между результатом и величиной затраченных ресурсов, вытекает один из альтернативных путей оценки эффективности образовательной организации с помощью оценки затрат на качество. Для оценки затрат на качество сформированы две основных методики оценки: стоимостная модель процесса, описанная в Британском стандарте BS 6143:1992 «Руководство по экономике качества. Часть 1. Модель затрат на процесс», и модель предупреждения, оценки и отказов (PAF), описанная в Британском стандарте BS 6143:1990 «Руководство по экономике качества. Часть 2. Модель предупреждения, оценки и отказов». В работе Н.Г. Синьковой [4] были проведены исследования по использованию моделей оценки затрат на качество (PAF, стоимостная модель и интегрированная модель) применительно для образовательной организации. Предложенная автором вербальная интегрированная модель оценки затрат на качество включает элементы стоимостной модели и модели PAF, что позволило оценить экономическую эффективность СМК образовательной организации. В качестве входных параметров модели приняты данные отбора абитуриентов, на выходе анализируется содействие трудоустройству выпускников. Внутренним содержанием системы оказывается образовательный процесс. Однако, в связи с воздействием человеческого фактора, данный способ может привести к негативным последствиям для качества образования, которые могут выразиться в фальсификации результатов. Можно предположить, что применение к образовательным организациям метода оценки экономической эффективности преждевременно.
При оценке эффективности СМК через определение уровня ее соответствия установленным требованиям используются результаты внутреннего и внешнего аудита. Неоспоримыми и общепризнанными достоинствами внешнего и внутреннего аудита является его формализованность, систематизированность и независимость. Однако данный метод также имеет и существенные недостатки, к которым можно отнести принципиальную дихотомию оценки (система соответствует или не соответствует требованиям). При этом не обеспечивается постоянная, системная оценка элементов СМК и всей системы в целом. Кроме того, эффективность и полнота аудита в значительной мере зависят от квалификации и опыта аудиторов. Безусловным недостатком аудитов также является и то, что в результатах проверок, как правило, отсутствуют количественные показатели оценки СМК, т.к. аудитор лишь фиксирует ошибки и недостатки. Таким образом, и выполнение установленных требований не может служить полноценным свидетельством эффективности функционирования СМК.
Оценка эффективности функционирования СМК представляет собой весьма сложную задачу, так как трудно учесть все взаимосвязанные факторы, влияющие на нее. Необходимо отметить, что некоторые специалисты в области управления качеством относят возможность измерения эффективности к числу сомнительных предложений. Не случайно члены рабочей группы Совета по координации управления качеством высшего профессионального образования предлагают показатель 1.2.3 «Эффективность внутривузовской системы обеспечения качества образования» заменить на «Результативность внутривузовской системы обеспечения качества образования». В ГОСТ Р-ИСО 9000-2001 и Терминологическом словаре в области управления качеством высшего и среднего профессионального образования [5] результативность определяется как степень реализации запланированной деятельности и достижения запланированных результатов. В Бизнес-словаре [1] результативность определяется как мера эффективности, характеризующая достижение результата/цели или степень приближения к ней. Результативность, в данном случае, определяется значениями показателей, отражающих достигнутый конечный результат, т.е. результаты деятельности организации и есть полноценные показатели эффективности СМК.
2. Модель оценки результативности образовательной организации
Мы полагаем, что качество образования есть результат двух составляющих: качества результата образовательного процесса и качества системы, его обеспечивающей. В настоящее время первая составляющая оценивается образовательными организациями при проведении самообследования (проверка остаточных знаний студентов каждой специальности), а также с помощью методик адаптивного тестирования специально подготовленными экспертами-тестологами. Вторая составляющая оценивается в процессе комплексной оценки деятельности образовательных организаций. Кроме того, как следует из анализа мировых тенденций, обе составляющие обеспечиваются и оцениваются при функционировании в образовательных организациях СМК.
Согласно этому, результативность СМК образовательной организации есть функция трех составляющих: качества системы, обеспечивающей эти результаты – Ксмк’, качества выполнения аккредитационных показателей – КАП; и качества результата образовательного процесса – Кро. Таким образом, модель оценки результативности СМК образовательной организации – Р представлена в виде следующей математической модели: | | |  |
Определение результативности СМК образовательной организации на основе оценки соответствия ее достигнутых показателей запланированным предложено рассчитывать с помощью коэффициента результативности. Коэффициент результативности представляет собой среднестатистическую количественную оценку соответствия достигнутых показателей запланированным и определяется по следующей формуле: | | |  |
где А – максимально допустимая оценка в баллах
(А=10);
Таким образом, значения коэффициента результативности могут иметь пределы от нуля (все достигнутые показатели не соответствуют запланированным) до единицы (все достигнутые показатели соответствуют запланированным),т.е. 0<КР<1.
Дальнейшая работа над данной моделью касалась вопроса о соотношении трех ее составляющих между собой. Определено, что характеристики оценки СМК образовательной организации подразделяются на две составляющие: внутренние показатели СМК и результаты СМК. Нами установлено, что внутренние показатели СМК образовательной организации характеризуют ее возможности и оцениваются по двум критериям – зрелость СМК и выполнение аккредитационных показателей образовательной организации.
Результаты СМК образовательной организации оцениваются по пяти критериям – знания, умения и навыки студентов; трудоустройство выпускников; удовлетворенность работодателей; удовлетворенность студентов и удовлетворенность персонала.
Исходя из этого, формула (2) преобразуется в следующий вид. | | |  |
Кудр – коэффициент удовлетворенности работодателей качеством выпускников, баллы;
Кудс – коэффициент удовлетворенности студентов, баллы;
КудП – коэффициент удовлетворенности персонала, баллы.
Следующим шагом было решение вопроса о значимости всех составляющих формулы (3), которое было найдено в определении их весовых коэффициентов. Формула (3) преобразована следующим образом: | | |  |
Используя известное соотношение между возможностями и результатами, принятое в большинстве моделей самооценки (например, Европейская премия в области качества), нами было выбрано соотношение «50 : 50». Коэффициенты весомости были установлены с учетом важности вклада каждой из составляющей в общий коэффициент результативности. Таким образом, формула (4) приняла следующий вид: | | |  |
Нами определено, что значения составляющих коэффициента результативности должны иметь пределы от нуля до десяти (0 < К < 10).
3. Области практического применения модели оценки результативности СМК
Практическое применение формулы (6) для оценки результативности СМК образовательной организации предполагает решение вопроса о количественной оценке каждой из ее составляющих. Наибольшие сложности связаны с оценкой зрелости СМК образовательной организации, так как на сегодняшний день оценка этой составляющей не является обязательной. Оценка остальных составляющих формулы (6) проводится образовательными организациями регулярно.
Для оценки зрелости СМК образовательной организации предложено воспользоваться уже разработанной и апробированной методикой «Модель совершенствования деятельности вуза (ссуза) в области менеджмента качества» [2].
Минобрнауки РФ установлены перечни аккредитационных показателей для всех типов и видов образовательных организаций и их пороговые значения. Выполнение образовательной организацией требований, предъявялемых аккредитационными показателями, в модели оценки результативности СМК учитывается с помощью коэффициента выполнения аккредитационных показателей, КАП, и рассчитывается в баллах. Данный коэффициент показывает, насколько значения аккредитационных показателей образовательной организации больше пороговых. Известно, что абсолютные значения аккредитационных показателей имеют различные единицы измерения (руб., %, шт. и т.д.) и порядок измерения (10, 100, 1000 и т.д.). Поэтому необходимо перевести все значения абсолютных аккредитационных показателей в относительные показатели с диапазоном разброса 0 < КАП < 10. Для перевода абсолютных показателей в относительные нами предложено использовать линейные и нелинейные зависимости между ними, которые получены экспертным методом на основании анализа статистических данных аккредитационных показателей образовательных организаций.
Коэффициент выполнения аккредитационных показателей определяется по формуле: | | |  |
n – количество аккредитационных показателей: для образовательных организаций высшего профессионального образования – 13; для образовательных организаций среднего профессионального образования – 4.
Оценку знаний, умений и навыков студентов (далее – ЗУН), т.е К3ун, можно проводить несколькими способами. Первый основан на внешнем тестировании ЗУН студентов в процессе аккредитации образовательной организации по методике, утвержденной Аккредитационной коллегией от 05.10.2006. Методика тестирования студентов основана на определении критериальных значений (среднего процента выполненных заданий) для каждой дисциплины, относящейся к конкретному блоку государственного образовательного стандарта, по каждой специальности (кодам ОКСО – Общероссийскому классификатору специальностей по образованию). Второй способ предназначен для подготовки к процедуре комплексной оценки вузов Национальное аккредитационное агентство в сфере образования (Росаккредагентство), г. Йошкар-Ола, также предлагает принимать участие вузам в «Интернет-экзамене в сфере высшего профессионального образования». На основе единых измерительных материалов, единой технологии сбора и обработки результатов тестирования экзамен позволяет вузу оценить соответствие результатов обучения студентов требованиям государственного образовательного стандарта и сравнить их со статистикой по другим вузам России. По данной методике тестирование студентов основано на определении критериальных значений в зависимости от весомости зачетных единиц конкретной дисциплины, относящейся к конкретному блоку государственного образовательного стандарта, по каждой специальности (кодам ОКСО).
Однако из-за невозможности приведения полученных результатов к единому показателю, отражающему ЗУН, отсутствию единой, утвержденной базы банков тестовых заданий для всех специальностей, а также из-за применения тестирования только для образовательных учреждений высшего профессионального образования, данные методики сложно реализовать для оценки ЗУН в системе оценке результативности СМК других образовательных организаций. Таким образом, использование результатов тестирования рассмотренных методик для оценки результативности СМК образовательных организаций в настоящее время пока невозможно.
На основании сделанного вывода, нами предложен другой альтернативный способ определения коэффициента оценки ЗУН студентов. Предложенный способ оценки основан на определении процента оценок «5» и «4» от общего количества оценок в год (по результатам двух экзаменационных сессий) – показатель Кзун. . Его значение определяется по формуле (8): | | |  |
Трудоустройство выпускников, удовлетворенность работодателей выпускниками, удовлетворенность студентов и персонала образовательной организации являются одними из важнейших показателей результативности ее деятельности. Эти предложено рассчитывать по формулам (9)–(12) соответственно: | | |  |
При расчете всех рассмотренных выше коэффициентов и подстановке их значения в формулу (6), мы получили значение коэффициента результативности, которое можно сравнить с предлагаемой нами шкалой оценки результативности (табл. 1).
4. Результаты практического применения модели оценки результативности СМК
Для апробации методики расчета коэффициента результативности нами были выбраны следующие образовательные организации: две образовательные организации с сертифицированной СМК; две образовательные организации с разработанной и внедренной СМК, но не сертифицированной; две образовательные организации, принимавшие участие в конкурсе Минобрнауки РФ, «Системы обеспечения качества подготовки специалистов», в 2005–2006 гг.; три модельные образовательные организации, имеющие максимально плохие показатели составляющих «возможности» и «результаты», максимально хорошие показатели составляющих «возможности» и «результаты», максимально хорошие показатели составляющей «возможности» и максимально плохие показатели составляющей «результаты».
В соответствии с табл. 1, полученные значения коэффициентов результативности образовательных организаций попали в следующие пределы. В диапазоне 0,86–1 оказалась одна образовательная организация: модельная. Диапазону 0,76–0,85 не соответствуют данные ни одной образовательной организация. В диапазон 0,56–0,75 попало шесть реально функционирующих образовательных организаций. В диапазоны 0,36–0,55 и 0–0,35 попало по одной образовательной организации, относящиеся к типу модельных.
Таким образом, можно предположить, что при оценке результативности СМК образовательных организаций высшего профессионального образования, наиболее часто встречающиеся значения коэффициента результативности будут попадать в пределы диапазона от 0,56 до 0,75, который можно определить как приемлемый. | | | | Таблица 1 Шкала оценки результативности СМК |  |
| |
|
|
