Формулы по оценке уровня подготовки специалиста. Фундаментальные исследования. Модель оценки эффективности обучения персонала Д. Киркпатрика

Сейчас любой более или менее обладающий дальновидностью руководитель уделяет повышенное внимание обучению персонала. Чтобы сохранить занятую долю рынка, а в конечном итоге и весь бизнес, работодателю необходимо постоянно следить за повышением образовательного уровня своих работников.

Из этой статьи вы узнаете:

зачем необходима оценка эффективности обучения персонала;
как организовать процесс оценки обучения персонала;
какие существуют модели, чтобы оценить эффективность обучения персонала;
какие четыре способа использовать, чтобы организовать оценку эффективности обучения персонала.

Если оценка эффективности обучения персонала требует больших расходов от работодателя, то как оправдать траты? Как отмечают эксперты, актуальность проблемы, как оценить эффективность обучения персонала, со временем только растет. Современные вузы не справляются с запросами бизнеса: налицо явное отставания образовательных программ высших и средних учебных заведений от постоянно изменяющихся требрований компаний, стремительно возрастающих ожиданий рынка. Так случается, что сотрудник, недавний выпускник университета, приходит на производство с уже устаревшими знаниями, зачастую непригодными для эффективного роста и развития компании. Работодатель вынужден вкладываться в обучение персонала, особенно это касается молодых специалистов.

Оценка обучения персонала: как организовать процесс

Хорошо, компания готова потратиться на развитие сотрудников. Ведь сама коммерческая деятельность подразумевает вложение средств, правда с определенной целью – ради прибыли. Иначе это уже не бизнес, а благотворительность.Вот тут-то и обнаруживаются трудности оценки эффекта от подготовки. Чтобы процедура проводилась не «ради оценки», HR-менеджерам важно понимать, что они будут делать с ее результатами, и стоят ли усилия вложенных средств.

Можно ведь истратить миллионы на бесполезное развитие персонала, которое не принесет никакой экономической эффективности. Так не лучше ли отдать эти деньги в детский дом? В таком случае ваша благотворительность принесет хотя бы кому-то ощутимую пользу.

Какие существуют модели, чтобы оценить эффективность обучения персонала

Подходы к вопросу, как осуществляется оценка эффективности обучения сотрудников, у большинства компаний разнятся. Но почти все работодатели используют четырехуровневую модель американского исследователя Дональда Киркпатрика, описанную им в 1959 году в книге «Четыре ступеньки к успешному тренингу». Инструмент в настоящее время широко распространен и считается традиционным.

Проведенный HR-специалистами мониторинг методов анализа эффекта от подготовки сотрудников, применяемых на разных предприятиях, показал: чем больше уровней данной модели используется, тем сложнее становится процедура оценки. Трудоемкость оценочных мероприятий проведенных по методике с применением четвертого уровня модели Киркпатрика, превышает даже затраты на проведение всего цикла обучения. По признанию самого автора технологии, проведение оценки обучения на четвертом уровне не всегда целесообразно из-за ее высокой стоимости.

Другим американцем – Дж. Филипсом – в 1991 году был добавлен в модель Киркпатрика пятый уровень оценки – RОI (отдача от инвестиций в развитие сотрудников). На сегодняшний день его модель получила признание (ASTD) «Американская ассоциация тренинга и развития» и успешно используется по всему миру.

Расчет RОI проводится по следующей формуле:

Вместе с расчетом RОI довольно часто занимаются вычислением показателя срока окупаемости, который отражает период времени окупаемости инвестиций, вложенных в подготовку. Показатель срока окупаемости является обратным по отношению к показателю RОI.

Имеет место быть еще одна модель, в нашей стране она практически неизвестна, это так называемая «Таксономия Блюма» (Bloom"s Taxonomy). Модель состоит из трех перекрывающихся частей, сфер, которые часто называют ЗУН (знания, установки, навыки):

Когнитивная сфера (знания);
Эмоциональная сфера (установки);
Психомоторная сфера (навыки).

Данная модель в практическом смысле похожа на модель Киркпатрика, только с ее помощью нельзя сделать финансовую оценку эффективности обучения персонала.

Оценка эффективности обучения персонала: место процесса среди общей функции управления развитием персонала

Оценка эффективности обучения персонала является заключительным этапом управления развитием персонала в современных организациях и предприятиях. Средства, которые тратятся на профессиональное обучение, рассматриваются как инвестиции в развитие персонала предприятия. Эти капиталовложения должны принести отдачу в виде увеличения эффективности деятельности компаний и предприятий.

Методы оценки подготовки сотрудников можно различить по количественным и качественным характеристикам. При количественном методе результаты обучения оцениваются по таким показателям, как:

общая численность обучаемых сотрудников;
численность работников, проходящих подготовку, по категориям;
выбранные способы повышения квалификации;
сумма затрат на развитие персонала.

Количественный учет эффекта от подготовки работников нужен для формирования социального баланса предприятия. Однако количественные методы не помогут вам проанализировать результаты обучения персонала в плане уровня профессиональной подготовки, его соответствия целям предприятия.

Только благодаря качественным методам оценки результатов подготовки вы определите эффективность обучения персонала и влияние его на технические параметры производства.

Четыре способа, по которым может быть организована оценка эффективности обучения персонала

Специалисты выделяют четыре основных способа качественной оценки результатов профессиональной подготовки. При первом способе происходит оценка способностей и знаний сотрудников непосредственно в ходе или по завершению курса обучения. При использовании второго способа оцениваются профессиональные знания и навыки конкретно в условиях производства. Третий способ – оценивается влияние обучения на параметры производства. Четвертый способ – это способ экономической оценки.

Применяя первый способ, можно определить степень овладения профессиональными знаниями и навыками. Процедура оценки подразумевает участие, как правило, только преподавателей и слушателей; используется экзамен классической формы, «проверочные ситуации» и так далее.

Непосредственный руководитель обучаемого сотрудника проводит оценку профессиональных знаний и навыков в условиях производственной ситуации. Результат от полученных знаний оценивается по истечении, некоторого временного интервала, (шести или двенадцати месяцев) после завершения курса. За этот временной промежуток проявится значимость знаний, которые приобрел сотрудник в процессе обучения, пройдет состояние «эйфории», возникшее сразу по завершению программы. Применение этого способа поможет определить степень практического использования полученных знаний.

Установление степени влияния подготовки сотрудников на параметры производства можно рассматривать как основной оценочный уровень, который связывает результаты обучения с требованиями необходимыми для успешной работы и развития производства. Показатели такого анализа выражаются в физических величинах:

численность персонала,
коэффициент брака,
коэффициент текучести кадров и тому подобное.

В настоящее время отсутствуют комплексные методы анализа, применение которых позволило бы с большей точностью определить степень влияния обучения на каждый отдельный фактор.

Экономическая оценка резульативности подготовки сотрудников основана на целесообразности осуществления инвестиций в персонал, человеческие ресурсы. В качестве критерия целесообразности осуществления инвестиций в персонал принимается размер получения дополнительного чистого дохода, после того как программы обучения будут реализованы. В этом случае:

Если приращение больше нуля (D < C, где D – инвестиции в персонал, C – возможный долгосрочный эффект от инвестиций, наблюдаемый в производственно-коммерческом процессе), то вложение денежных средств в данную программу по обучению персонала окупается и является целесообразным. При этом чем меньше рыночная норма отдачи капитала, чем выше ожидаемое увеличение чистого дохода в N-ом году, чем больше период времени использования полученных знаний, тем эффективнее капиталовложения в персонал;
Если D > C, то производство инвестиций в данную программу является нецелесообразным и возникает необходимость в поиске других областей приложения капитала.

Программа обучения персонала своей целесообразностью прямо пропорциональна сроку возможного использования полученных знаний.

Создание некоторых программ обучения ставит своей задачей вовсе не выработку конкретных профессиональных навыков, а нацелено на формирование определенного типа мышления и поведения. Измерение эффективности такой программы довольно сложно произвести напрямую. Ведь результаты программы рассчитаны на долговременный период и связаны с поведением и сознанием людей, которые не поддаются точной оценке. В подобных случаях используются косвенные методы:

проведение тестов до и после обучения, которые показывают степень увеличения знаний обучающихся;
наблюдение за поведением прошедших обучение сотрудников на рабочем месте;
наблюдение за реакцией обучающихся по ходу программы;
оценка эффективности программы самими обучающимися с использованием анкетирования или в ходе открытого обсуждения.

Установленные критерии оценки эффективности программ еще до начала подготовки должны быть доведены до сведения всех участников (как слушателей, так и тренеров и менеджеров процесса). После финиша программы и подведения результатов, итоги сообщаются в службу управления персоналом, руководству обучавшихся сотрудников и самим сотрудникам, а затем используются при планировании дальнейшей подготовки.

Зачем необходима оценка эффективности обучения персонала

Оценивать эффективность обучения персонала можно с использованием различных моделей. Ведь у каждой из приведенных моделей, имеются свои достоинства и недостатки. На какой из них остановит свой выбор специалист, оценивающий эффективность обучения персонала, полностью будет зависеть от целей, которые поставлены руководством компании.

Применение модели Киркпатрика позволяет быстро получить наглядное представление об эффективности обучающих мероприятий. Использование модели «Таксономии Блюма» делает возможным более подробную оценку эффективности обучения, а также позволяет выбрать определенную стратегию обучения персонала. С помощью модели Дж. Филипса можно оценить финансовые аспекты обучения, например, эффективность вложений в персонал. Поэтому на сегодняшний день, как считают специалисты, проблемой является не необходимость оценки эффективности обучения или отсутствие таковой, а определение выбора ее конкретного алгоритма.

Проведен анализ требований руководящих документов, регламентирующих порядок определения уровня подготовки авиационных специалистов летного профиля. Проблема достижения высокого профессионализма авиационных специалистов особо остро проявляется с учетом современного состояния авиационной техники и оружия, снижения уровня подготовки летного и руководящего состава авиационного персонала. По сравнению с гражданской авиацией, в военной имеется высокая потребность обучать авиационных специалистов применению авиационного вооружения, что обусловлено высокозатратным обучением. Если основными задачами гражданской авиации являются перевозка пассажиров и грузов, то в военной авиации к ним добавляется применение оружия для подготовки и ведения военных действий одиночно или группами самолетов. Все это свидетельствует о необходимости поиска более дешевых и достаточно эффективных технических средств тренажерной подготовки и переподготовки авиационных специалистов, нежели обучение и подготовка в реальных полетах. В статье рассматривается подход к оценке уровня профессиональной подготовки с применением технических средств тренажерной подготовки в целях повышения эффективности профессиональной деятельности.

технические средства обучения

тренажерная подготовка

авиационные специалисты

1. Вознюк М.А. Теоретические основы квалиметрии высшей военной школы. – СПб.: ВАС, 1997. – 142 с.

2. Грабарь М.И., Краснянская К.А. Применение математической статистики в педагогических исследованиях. – М.: Педагогика, 1977. – 136 с.

3. Зубов Н.П. Роль и место тактических тренажерно-моделирующих комплексов в системе боевой подготовки Военно-воздушных сил. С. 99–103. Вестник Академии военных наук. – № 1. – М., 2012. – 192 с.

4. Материалы Международной конференции по обучению авиационного персонала WATS 2007. – 12–14 июня 2007 г., Орландо, Флорида, США.

5. Пономаренко В.А., Ворона А.А., Зацарный Н.Н. Психофизиологическое обоснование использования технических средств обучения при подготовке летного состава. – М., 1989.

6. Синицкий А., Казачкова Е. Тренажер вместо самолета // Авиатранспортное обозрение. – № 76. – январь-февраль 2007.

7. Уильям Б. Джонсон, Майкл Э. Мэддокс: Образная модель лучшего человеческого фактора // Журнал Гражданская Авиация. Обучение. – 2/2007. – Halldale Медиа Инк. Орландо, Флорида, США. – С. 20-21.

8. Черепанов В.С. Экспертные оценки в педагогических исследованиях. – М.: Педагогика, 1989. – 152 с.

Все созданные системы обучения полетам нуждаются в управлении или контроле. В полете летательными аппаратами управляет экипаж. Для подготовки на земле авиационных специалистов используются технические средства обучения, тренажеры . Комплекс аппаратуры, используемый в авиации для решения этой задачи, получил название «автоматизированные обучающие системы». На текущий момент в развитии образования большое значение имеют новые информационные технологии. При использовании этих технологий для профессионального авиационного образования весьма перспективны интерактивные автоматизированные обучающие системы с процедурными тренажерами. Основой таких систем для изучения авиационной техники являются мультимедийные автоматизированные учебные курсы. Процедурный тренажер с интерактивной автоматизированной обучающей системой расширяет возможности информационных технологий в профессиональном авиационном образовании и позволяет осваивать авиационному персоналу информационно-управляющее поле реальной кабины самолета, приобретать навыки действий с органами управления в кабине самолета и проводить реальную подготовку самолета к полету и применению оружия.

Тренажерная подготовка и переподготовка авиационного персонала для нужд военно-воздушных сил - одна из самых главных задач, стоящих перед военной авиацией. Такая задача выполняется в учебных центрах подготовки и переподготовки авиационного персонала с применением тренажеров. На сегодняшний день предстоит подготовить и переподготовить от 2 до 4 тысяч авиационных специалистов на различные типы самолетов для управления ими в воздухе, для деятельности в различных видах и родах военно-воздушных сил, причем по самым примерным расчетам ежегодно в военной авиации необходимо готовить от 5 до 10 тысяч авиационных специалистов. Обоснованность применения тренажеров в обучении авиационных специалистов представлена в .

К 2020 году количество выпускающихся отечественными производителями воздушных судов увеличится в два раза при существующих воздушных судах сегодня.

Затраты на подготовку и поддержание квалификации пилотов, инженерно-технического персонала и лиц группы руководства полетами составляют до 20 % текущих расходов структур военно-воздушных сил. И они оправданы. Например, так называемый человеческий фактор стал причиной практически всех последних крупных авиакатастроф. В 60-80 % случаев авиационных происшествий уровень причинности авиационных происшествий обусловлен личностным фактором специалистов из числа летного состава, причина которых - недостаточная подготовка летного состава и ошибки в технике пилотирования при управлении воздушными судами.

В современных условиях как никогда становится актуальной проблема обеспечения необходимого уровня профессиональной подготовки пилотов в условиях ограниченного ресурсного обеспечения. Развитие компьютерных технологий открыло широчайшие перспективы для совершенствования технических средств обучения, особенно тренажеров, как в плане моделирования динамики полета, так и в плане обеспечения реального воссоздания внекабинного пространства. Совершенствование технических средств, необходимых для поддержания надлежащего уровня профессиональной подготовки авиационных специалистов, становится неотъемлемым компонентом процесса обучения . Решить проблемы повышения эффективности и оценки качества профессиональной подготовки авиационных специалистов можно при помощи применения инновационных комплексных учебно-тренировочных систем нового поколения, применение которых значительно снижает количество ошибочных действий авиационных специалистов в профессиональной деятельности.

Анализ требований руководящих документов, регламентирующих порядок определения уровня подготовки авиационных специалистов летного профиля, выявил ряд недостатков, не позволяющих объективно оценить качество их профессиональной подготовки.

Во-первых, отсутствует методика агрегирования летной и тренажерной составляющих профессиональной и методической подготовок и нет оценки результата деятельности обучающих по отношению к обучаемым;

Во-вторых, не определены приоритеты и значимость дисциплин на технических средствах обучения и различных видов полетов в формировании профессионально-важных качеств авиационных специалистов для выполнения задач по предназначению.

В-третьих, существующий порядок оценки допускает субъективизм со стороны руководящего авиационного персонала.

В результате этого авиационные специалисты не всегда способны в полном объеме, с требуемым качеством выполнять задачи по предназначению. Оценка качества профессиональной подготовки не отвечает современным требованиям, носит субъективный характер, производится без системного учета всех количественных показателей, характеризующих их профессиональную деятельность.

Одним из путей устранения указанных недостатков является разработка методики оценки качества профессиональной подготовки, учитывающей показатели, характеризующие деятельность авиационных специалистов

Поскольку уровень профессиональной подготовки авиационных специалистов представляет собой совокупность свойств, следовательно, задача выбора наиболее предпочтительных элементов процессов подготовки является многокритериальной. Такие задачи относятся к области принятия решения, в которой выделяют следующие методы:

однокритериальной оптимизации, в котором один из показателей качества признается наиболее важным, и задача сводится к минимизации или максимизации этого показателя, при этом выполняются и заданные ограничения на другие показатели качества;

векторной оптимизации, при использовании которого из конечного множества векторных оценок качества выбирают «паретооптимизационные», при этом упорядочение векторных оценок производится лицом, принимающим решение;

обобщенного критерия, в котором все частные критерии качества нормируются и по определенным правилам заменяются обобщенными, учитывающим относительную важность частных критериев, после этого задача оптимизации решается относительно единственного критерия.

Анализ данных методов позволил сделать вывод о том, что наиболее предпочтительным при оценке уровня профессиональной подготовки авиационных специалистов является метод обобщенного критерия.

В качестве обобщенного критерия целесообразно использовать степень готовности авиационного специалиста к выполнению задач по предназначению, то есть к выполнению летной деятельности и обучению подчиненных полетам. В качестве общих критериев - уровень профессиональной, методической и общевоенной подготовок авиационных специалистов с использованием технических средств обучения, прирост качества подготовки обучаемых подчиненных, и систему частных критериев, основными из которых являются степень подготовленности авиационных специалистов при выполнении полетов, сдачи зачетов, проведении различных видов занятий с подчиненными на технических средствах обучения.

Процесс обучения авиационных специалистов подчиняется всем законам и принципам педагогики. Использование обобщенного критерия качества подготовки относится к области педагогической квалиметрии - науке о количественной оценке качества педагогических явлений и процессов . В педагогической квалиметрии используют следующие основные принципы общей квалиметрии :

1. Качество рассматривается как некоторая совокупность свойств, характеризующих личность авиационного специалиста. При этом оно представляется в виде иерархического древа, где свойство любого уровня определяется соответствующими признаками более нижнего уровня.

2. Отдельные свойства, составляющие иерархическую структуру качества, выражены числовыми значениями R ij (j - число свойств, лежащих на i-м уровне). Используя R ij получаем значение относительного показателя Y ji .

Y ij = ƒ (R ij , R ijтреб),

где R ij - численное значение достигнутого уровня подготовленности; R ijтреб - численное значение требуемого уровня подготовленности.

В наиболее распространенном случае относительная оценка качества подготовки, характеризующая ее уровень, рассчитывается по формуле

Y ij = R ij /R ijтреб,

1. Различные шкалы измерения абсолютных показателей качества R ij обязательно должны быть нормированы для использования общей шкалы.

2. Каждое свойство качества определяется двумя числовыми параметрами - относительным показателем (Y ij) и важностью (М ij).

3. Сумма важностей свойств одного уровня есть величина постоянная:

Таким образом, применение указанных принципов квалиметрии дает возможность сформулировать частные, общие и обобщенный показатели качества профессиональной подготовки авиационных специалистов.

Процесс формирования обобщенного показателя, отражающего уровень профессиональной подготовки авиационных специалистов на технических средствах тренажерной подготовки, представлен на рисунке.

Процесс формирования обобщенного показателя, отражающего уровень профессиональной подготовки авиационных специалистов

На первом этапе составлен перечень частных показателей, характеризующих уровень подготовленности авиационных специалистов к выполнению профессиональной деятельности (полетов), результаты выполнения зачетных полетов, сдачи зачетов, проверок должностными лицами качества проведения различных видов занятий с обучаемыми на тренажерах.

На втором этапе осуществлен процесс агрегирования частных показателей в общие и выбран вид функции обобщенного показателя качества профессиональной подготовки авиационных специалистов.

На третьем этапе выполнено агрегирование общих показателей в обобщенный с учетом требований к полноте оценки, чувствительности общих показателей к изменениям частных показателей, а также простоты, доступности, приемлемой трудоемкости расчетов.

Таким образом, на основе принципов педагогической квалиметрии в исследовании предложена система частных, общих и обобщенного показателя качества профессиональной подготовки авиационных специалистов, что соответствует требованиям руководящих документов по применению тренажеров в подготовке и выполнению полетов в военной авиации. Полученный перечень показателей отвечает основным требованиям квалиметрии и может быть использован для оценки качества их профессиональной подготовки.

Для реализации на практике этого метода целесообразно использовать систему критериев и показателей оценки качества профессиональной подготовки авиационных специалистов на тренажерах, представленную в табл. 1.

После первого этапа определяется и детализируется система частных и общих показателей качества по направлениям деятельности авиационных специалистов с применением технических средств обучения. После этого для определения важности частных показателей профессиональной подготовки авиационных специалистов авторами был проведен экспертный опрос авиационных специалистов летного профиля, в результате которого получены данные коэффициентов важности.

Обобщенный показатель качества профессиональной подготовки авиационных специалистов (С0) определяется путем агрегирования общих показателей с учетом экспертных оценок их важностей по формуле

где β i - значения i-го общего показателя; k i - коэффициент важности i-го общего критерия.

Так, В.С. Черепанов предлагает использовать экспертные оценки . Для определения важности общих показателей профессиональной подготовки авиационных специалистов использовались результаты экспертного опроса согласно табл. 2.

Исходя из вышеизложенного, полученное в соответствии с предложенной методикой значение обобщенного показателя (С0) отражает уровень профессиональной подготовки авиационного специалиста при помощи технических средств обучения.

Таблица 1

Система критериев и показателей оценки качества профессиональной подготовки авиационных специалистов

Наименование	Критерий	Показатель
Обобщенный	Степень готовности авиационных специалистов к выполнению задач по предназначению	Интегральный показатель, отражающий уровень профессиональной подготовки авиационных специалистов
	Уровень профессиональной, методической и тренажерной подготовок авиационных специалистов	Интегральный показатель, отражающий уровень профессиональной, методической и тренажерной подготовок авиационных специалистов, прироста качества подготовки обучаемых
	Степень индивидуальной подготовленности авиационных специалистов при выполнении полетов, проведении различных видов подготовок	Интегральный показатель, характеризующий степень индивидуальной подготовки авиационных специалистов к полетам, сдачи зачетов, проведении различных видов подготовок с обучаемыми

Таблица 2

Коэффициенты важности общих показателей профессиональной подготовки авиационных специалистов

Предложенный подход к оценке качества различных видов подготовок авиационных специалистов возможно реализовать в автоматизированных информационных системах. Для этого в состав автоматизированной информационной системы необходимо включить специальный модуль, который по заданному алгоритму позволит формировать справочную и аналитическую информацию о состоянии летной, профессиональной и тренажерной подготовок авиационного персонала.

Подход использования обобщенного показателя качества и метода экспертных оценок позволит решать следующие задачи: анализ качества профессиональной подготовки, контроль уровня готовности авиационных специалистов к выполнению задач обучения подчиненных, повышение качества профессиональной подготовки авиационных специалистов и оценка их дидактической эффективности, автоматизация расчета уровня и результатов тренажерной и летной подготовок авиационных специалистов.

В авиации ведущих мировых держав, применяется иной подход к процессу подготовки и переподготовки авиационного персонала . Сущность такого подхода заключается в том, чтобы учебно-тренировочные системы не только сопровождали эксплуатацию воздушного судна от момента его выпуска, но и обновлялись в процессе его модернизации и дальнейшего усовершенствования.

Отечественные военно-воздушные силы максимально заинтересованы в том, чтобы научить авиационных специалистов военной авиации грамотно и безопасно эксплуатировать поставляемую авиационную технику, переложив часть задач обучения и эксплуатации на технические средства обучения.

С учетом опыта подготовки авиационного персонала на тренажерах третьего и четвертого поколений с примитивной визуализацией и с рудиментарной подвижностью предлагается, выстроить структурированную и логичную систему подготовки летного и обеспечивающего персонала, максимально приближенной к стандартам принятым в странах с передовой военной авиацией. В такой системе будет возможно применять все возможные современные технические средства обучения, что соответствует уровню требований времени.

Применение технических средств обучения в системе подготовки авиационных специалистов предполагает:

обеспечение высокого качества подготовки;

обеспечение стандартов в летной деятельности;

экономию средств при широком использовании технических средств обучения;

отработку правил и методов летной эксплуатации воздушных судов, систем и двигателей на автоматизированных обучающих системах.

Регулярные тренировки на тренажере - один из видов обучения и профессиональной подготовки и управления полетами, дающие возможность поддерживать квалификацию пилотов и авиационного персонала отрабатывать различные виды подготовок.

Таким образом, установлено, что эффективность использования тренажеров в целях повышения уровня профессиональной подготовки авиационного персонала улучшается с совершенствованием программ, методики применения тренировок, уровнем подготовленности руководителей занятий . В соответствии с этим предлагается применять методику оценки профессиональной деятельности для различных видов обучения, подготовки и переподготовки, соответствующих технических средств обучения, тренажеров. Следовательно, наряду с разработкой методики оценки уровня профессиональной подготовки должна быть отработана и методика применения тренажеров в авиационном формировании.

Рецензенты:

Малышев В.А., д.т.н., доцент, заместитель начальника кафедры эксплуатации авиационного оборудования, Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина, г. Воронеж;

Донсков Ю.Е., д.воен.н., профессор, старший научный сотрудник 11 научно-исследовательского отдела 1 научно-исследовательского управления НИИЦ (РЭБ и ОЭСЗ) Военного учебно-научного центра Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина», г. Воронеж.

Библиографическая ссылка

Федоренко В.С., Галушка С.А., Семоненко Ю.Ф. К ВОПРОСУ ОБ ОЦЕНКЕ УРОВНЯ ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ АВИАЦИОННОГО ПЕРСОНАЛА С ПРИМЕНЕНИЕМ ТЕХНИЧЕСКИХ СРЕДСТВ ОБУЧЕНИЯ // Фундаментальные исследования. – 2015. – № 7-2. – С. 348-353;
URL: http://fundamental-research.ru/ru/article/view?id=38699 (дата обращения: 25.11.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания» 1

1 «Военный учебно-научный центр Военно-воздушных сил «Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина»

Выполнен анализ применяемых в настоящее время методик текущего контроля уровня обученности и оценки качества усвоения материала. Обозначена и обоснована необходимость совершенствования методики оценки и контроля качества подготовки специалистов. На основе данных, полученных в результате исследования, разработана перспективная методика оценки качества подготовки в условиях заданного множества оцениваемых элементов с учётом ранжирования оцениваемых элементов и присвоения весовых коэффициентов значениям традиционной балльной системы. Применение предложенной методики позволит повысить эффективность профессиональной подготовки за счёт получения и использования в процессе планировании учебного процесса и управления качеством подготовки объективных данных о качестве подготовки специалистов. Кроме того, полученные результаты целесообразно использовать в балльно-рейтинговых системах оценки профессиональной подготовленности выпускников.

качество подготовки

методика оценки

контроль качества

учебный процесс

1. Болотов В. А. О построении общероссийской системы оценки качества // Вопросы образования. – 2005. – № 1. – С. 5-10.

2. Бордовский Г.А. Управление качеством образовательного процесса / Г. А. Бордовский, А. А. Нестеров, С. Ю. Трапицын. – СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. – 359 с.

3. Далингер В. А. Измерение качества профессиональной подготовки специалиста с помощью математической модели Раша // Современные наукоемкие технологии. – 2007. – № 11 – С. 47-48.

4. Дрешер Ю. Н. Как оценить качество подготовки специалиста // Образовательные технологии. Теория и практика обучения. – 2014. – № 2. – С. 80-91.

5. Поташник М. М. Качество образования: Проблемы и технологии управления. (В вопросах и ответах). – М.: Педагогическое общество России, 2002. – 352 с.

6. Сидоров П. И. Системный мониторинг образовательной среды /П. И. Сидоров, Е. Ю. Васильева. – Архангельск, 2007. – 360 с.

7. Симонов В. П. Диагностика степени обученности учащихся: учеб¬но-справочное пособие. – М.: MRA, 1999. – 48 с.

В практике высшего профессионального образования зачастую возникают расхождения между качеством подготовки выпускника, как результатом образовательного процесса, и требованиями производства и общества. Эти расхождения обуславливаются различиями в подходах к оценке качества профессиональной подготовки специалиста в вузе и на предприятии-заказчике. Помимо этого, в ряде случаев различия в системе оценки определяются несовершенством существующих методик оценки качества подготовки.

Переход системы высшего профессионального образования на качественно новую ступень требует адекватной технологии оценивания результатов образования, обеспечивающей единство подходов к оценке качества подготовки. В настоящее время возрастает значение систематической оценки качества подготовки специалистов непосредственно в период их обучения. Осуществляется это с целью мониторинга текущих показателей качества подготовки специалистов, определения соответствия фактических показателей качества подготовки промежуточным контрольным значениям и внесения своевременных корректив в систему планирования и управления качеством подготовки применимо к каждому обучаемому. При этом реализуются самые разнообразные подходы к оцениванию результатов обучения: тестирование остаточных знаний по дисциплинам различных циклов учебного плана подготовки специалистов; стандартные формы проверки уровня сформированности знаний, умений, навыков и т.д. .

Подготовка компетентного, конкурентоспособного специалиста требует разрешения противоречия между потребностью в системе эффективных диагностических методик при оценке качества подготовки специалиста и недостаточностью научно-методического обеспечения текущего и итогового контроля оценки качества подготовки .

В последнее время в педагогике наметилась тенденция к активному применению категории «качество» для анализа и интерпретации различных явлений, аспектов педагогической действительности. Одним из направлений такого анализа является системное рассмотрение качества подготовки во всех педагогических системах, в том числе и высшего профессионального образования . Под качеством подготовки принято понимать соответствие уровня подготовки специалиста требованиям профессиональной среды, в которой ему предстоит работать. В соответствии с современными взглядами понятие качества однозначно соотносится с процессом оценивания, что отражается и в понятийной структуре образования. Однако существующая система оценки подготовки специалистов не в полной мере соответствует формируемым рынком услуг потребностям. И этому явлению есть вполне логичное объяснение, имеющее исторические корни.

С введением в России в 1944 году так называемой «пятибалльной» системы оценки понятие оценка качества образования (уровень подготовки), как характеристика степени усвоения учебного материала в процессе формирования необходимых знаний, умений и навыков, было подменено понятием «успеваемость», то есть подсчётом количества положительных оценок, которые преподаватель ставил достаточно субъективно .

В 1981 году Министерство высшего и среднего специаль-ного образования СССР своим письмом № 31 от 26.10.81 г. «О контроле учебной работы и оценке знаний студентов на экзаменах» установило критерии четырехбалльной шка-лы итоговых оценок обученности студентов. Этот документ фактически повторил, исключив балл «единица», инструк-цию 1944 года с сохранением всех ее недостатков.

Сформулированные критерии очень да-леки от того, что характеризуют знания, умения и навыки, а повторяют все те же общие положения 1944 года.

В современной пятибалльной шкале, а реально - в трёхбалльной, оценка «два» скорее указывает на полное несоответствие требованиям, а не на степень усвоения учебного материала. Это сократило пятибалльную шкалу оценки фактически до трёх баллов. Хотя изначально пятибалльная система предполагала именно оценку степени обученности личности (усвоения и воспроизведения знаний). Оценить же степень обученности, используя в качестве положительных только три балла, было практически невозможно. Именно поэтому педагоги зачастую применяли в совокупности с оценочными баллами знаки « + » и « - », которые позволяли более корректно обозначить степени обученности, а для качественной оценки уровня усвоения учебного материала использовались понятия «твёрдая четвёрка», «слабая тройка» и т.д. Такие показатели свидетельствовали о стремлении фактических показателей к граничным значениям и подразумевали необходимость приведения этих показателей к более «уверенным» значениям.

Представленная графическая модель проверки и оценки степени обученности личности (рисунок) обеспечивает упрощённый переход к условной количественной интерпретации балльных оценок.

На этой основе проблема получения объективной характеристики обученности (подготовленности, уровня квалификации, уровня подготовки личности) решается более успешно в любой системе обучения. Общая идея заключается в уходе от традиционной системы оценки при определении уровня и качества профессиональной подготовки специалиста.

Практика показывает, что одной из причин, способной значительно снизить эффективность подготовки специалистов, может стать необъективность оценки уровня их подготовки, обусловленная несовершенством системы оценки или отсутствием необходимой методики оценки по выбранным критериям. Некорректные значения оценки качества подготовки формируют ложное представление о возможности и готовности специалиста реализовать свой потенциал, требуют внесения корректив в содержание и направленность дальнейшей профессиональной подготовки, снижая в целом эффективность системы подготовки.

Неточные, а порой и откровенно ошибочные значения фактического уровня подготовки специалистов зачастую обусловлены тем, что возникает необходимость оценки какого-либо показателя или параметра подготовки по нескольким элементам, имеющим к тому же различные по значению степени важности (влияния на конечный результат).

Модель оценки соответствия степеней и уровней обученности личности

Положение о необходимости оценки качества подготовки специалистов по нескольким элементам с учётом их значимости в целях получения корректных значений легло в основу разработки специальной методики, учитывающей указанные условия.

Предлагаемая методика оценки качества подготовки (степени усвоения учебного материала) специалистов основывается на определении степени значимости каждого оцениваемого элемента методом экспертных оценок и присвоении стандартным оценкам по каждому оцениваемому элементу весовых коэффициентов, соответствующих их значению.

Порядок оценки качества практической подготовки по каждому i -тому параметру (i -тому упражнению, заданию) следующий:

1. Определяется перечень оцениваемых элементов (чем больше элементов, тем, соответственно, выше точность конечного значения) и производится их ранжирование по степени важности, то есть каждому из них присваивается абсолютный ранг (как указывалось выше, ранжирование проводится методом экспертных оценок).

2. По закону нормального распределения определяется относительный ранг каждого элемента по соотношению:

где Ni - порядковый номер (абсолютный ранг) критерия в упорядоченном перечне;

n - общее количество учитываемых элементов.

3. Определяется нормированный ранг R н i каждого элемента (весовое соотношение между элементами) в общей сумме рангов, равной единице:

4. Далее присваиваются весовые коэффициенты оценкам. Для получения корректных значений показателей качества из всех значений пятибалльной системы нас устраивают только оценки «удовлетворительно», «хорошо» и «отлично». Оценка «неудовлетворительно» нас не устраивает, так как не характеризует качество подготовки, а только лишь указывает на несоответствие предъявляемым требованиям, следовательно, её удельный вес будет равен нулю (табл. 1).

Таблица 1

Соответствие стандартных оценок значениям их удельного веса

Нередки случаи, когда возникает необходимость оценить тот или иной элемент на предмет соответствия требованиям по двухбалльной шкале: соответствует или не соответствует (выполнено - не выполнено; обеспечивает - не обеспечивает). В этом случае приемлемо условие, что удельный вес оценки, соответствующей законам данной системы, будет следующим (табл.2).

Причём, в расчётах предлагается в случае правильного ответа (как единственного, соответствующего предъявляемым требованиям) использовать оценку «отлично», удельный вес которой равен единице. В случае неверного ответа предлагается использовать оценку «неудовлетворительно». Её удельный вес будет равен нулю, так как условие соответствия предъявляемым требованиям не будет выполнено.

Таблица 2

Соответствие оценок двухбалльной системы значениям их удельного веса

6. Завершающим этапом является вычисление итогового показателя качества подготовки (К итог), который определяется как сумма показателей по i -тому оцениваемому элементу:

7. В целях получения качественной характеристики показателей подготовки, соответствующей полученной оценке и расчётному значению показателя качества, можно воспользоваться шкалой соответствия Харрингтона (табл.3).

При необходимости, для проведения сравнительного анализа или мониторинга изменения показателей качества подготовки, полученные значения показателя качества можно представить в процентах. Например:

Китог* 100 % = 0,87 *100 = 87 % (степень освоения в процентах по отношению к максимально возможному значению).

Таблица 3

Соответствие стандартным оценкам значений показателя качества

Качественная характеристика показателей подготовки (соответствие стандартной оценке)		Значение показателя качества
Очень высокая	(отлично)

	(удовлетворительно)
	(неудовлетворительно)
Очень низкая

В этом случае (при значении итогового показателя качества Китог = 0,87) качественная характеристика подготовки специалиста будет соответствовать значению «очень высокая».

Численные значения качества подготовки (в десятичном и процентном выражении), ввиду удобства обработки показателей в таком виде, рекомендуется применять в балльно-рейтинговых системах оценки профессиональной подготовленности специалистов.

В то же время качественные характеристики показателей качества подготовки помогут сформировать так называемые «группы риска» с показателями качества подготовки ниже средней.

К вышесказанному следует добавить, что в зависимости от получаемых при помощи предлагаемой методики результатов рекомендуется осуществлять контроль качества подготовки с различной интенсивностью (табл.4).

Таблица 4

Интенсивность контроля качества подготовки с учётом текущих показателей

Качественная характеристика показателей подготовки	Количественное значение показателей качества	контроля
Очень высокая		Периодически, до снижения текущих показателей
		Периодически, до снижения текущих показателей
		Систематически, до достижения более высоких показателей
		Непрерывно, до достижения более высоких показателей
Очень низкая		Непрерывно, до достижения более высоких показателей

В заключении необходимо отметить, что предлагаемая методика оценки качества подготовки специалиста была разработана с учётом недостатков действующих методик. При этом реализована возможность оценки конечных результатов по заданному количеству оцениваемых элементов в соответствии с их абсолютным рангом, определяющим степень важности или влияния на конечный результат.

Применение разработанной методики оценки качества подготовки в учебном процессе обеспечивает получение корректных количественных значений и качественных характеристик показателей подготовки специалистов, что позволяет использовать полученные значения в балльно-рейтинговых системах учебных заведений и своевременно корректировать содержание и объём профессиональной подготовки. В целом полученные результаты обеспечивают повышение эффективности системы профессиональной подготовки специалистов.

Библиографическая ссылка

Гетман А.В. МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТОВ В УСЛОВИЯХ ЗАДАННОГО МНОЖЕСТВА ОЦЕНИВАЕМЫХ ЭЛЕМЕНТОВ С УЧЁТОМ ИХ РАНЖИРОВАНИЯ ПО СТЕПЕНИ ВАЖНОСТИ // Современные проблемы науки и образования. – 2016. – № 2.;
URL: http://science-education.ru/ru/article/view?id=24179 (дата обращения: 25.11.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Трансформация традиционной системы управления вузом в систему управления, ориентированную на качество, предполагает проведение различных мероприятий, в том числе, построение комплексной системы внутривузовского мониторинга процессов оказания образовательных услуг, контроля и оценки результатов обучения. Одним из этапов этой работы является отбор показателей, определение их относительной важности и учёт взаимного влияния и оценка качественных показателей специалистов-выпускников предприятиями (работодателями).

Для математического анализа основной части модели «Оценка качества подготовки специалистов» НИМЛ «Мониторинг и управление качеством обучения» проводилось социологическое исследование качественных характеристик выпускников ВКГТУ им.Д.Серикбаева работодателями, оценка требований, которые предъявляет промышленность к приглашаемым на работу молодым специалистам, и дальнейшая проверка соответствия полученных данных анкет показателям успеваемости в период обучения в вузе.

Цель исследования - оценка качественных характеристик выпускников вуза в период их трудовой деятельности как инженерных работников.

Объект исследования - работающие на производстве выпускники вуза.

Предмет исследования - определение для каждого специалиста соответствия его аттестации в вузе по циклам дисциплин оценке, данной экспертом-руководителем.

Задачи исследования:

· определение корреляционных связей между оценками качества подготовки специалистов, данными экспертами-руководителями и оценками уровня подготовки их как выпускников в период их обучения в вузе;
· разработка корреляционно-регрессионной модели влияния уровня усвоения выпускниками вуза циклов учебных дисциплин на формирование их профессиональных качеств как специалистов в период трудовой деятельности.

Основные методы исследования: анкетный опрос, сбор данных в архиве университета, статистический анализ данных.

Практическая значимость исследования состоит в возможности использования разработанной корреляционно-регрессионной модели для принятия решений по совершенствованию учебного процесса путем выявления факторов, в наибольшей степени влияющих на профессиональные качества выпускников вуза.

Первый этап исследования - анкетирование.

Анкеты реализовывались, исходя из количества выпускников по подразделениям. Общее количество розданных анкет 394.

В качестве критериев оценки профессиональных качеств был выбран ряд параметров, способных дать всестороннюю характеристику выпускника как инженерного работника (Приложение А).

Оценка каждого специалиста на предприятии осуществлялась путем опроса руководителя подразделения (предприятия), непосредственно взаимодействующего с оцениваемым специалистом по следующим показателям:

1) Период становления выпускника, способного к самостоятельной работе, как специалиста и организатора производства лет (год).
2) Степень владения технологией производства и проявления инициативы по ее совершенствованию.
3) Активность участия в инновационной деятельности (изобретательство, рационализация), предприимчивость.
4) Уровень экономических знаний, умение реализовывать их в рыночных условиях.
5) Компьютерная грамотность, умение работать с персональными ЭВМ.
6) Организаторские и управленческие навыки, умение принимать решения в сложных экстремальных условиях.
7) Профессиональная компетентность в целом.
8) Степень коммуникабельности, умение формировать деловые, партнерские отношения.
9) Ответственность и умение решать производственные задачи в сочетании государственных, корпоративных и личных интересов.
10) Имеет ли перспективы служебного роста (нет - 0, да - 1).

Предлагалось определить эффективность деятельности выпускников по 7-бальной шкале в зависимости от интенсивности проявления, степени важности освоения сотрудником тех или иных знаний или навыков, то есть проводилась качественная градация признака.

Структура анкет проста, вопросы охватывают основные сферы применения специалистом своих профессиональных знаний на практике. Оценивались молодые специалисты, окончившие ВКГТУ не больше 7 лет назад.

Качественная градация признаков выполняется по шкале:

7 - качество проявляется в высшей степени, всегда;
6 - проявляется активно, часть;
5 - имеют место случаи проявления противоположного качества;
4-3 - проявляются в равной степени противоположные качества;
2-1 - ярко выраженные противоположные качества.

Для анализа анкетного опроса используются графоаналитические методы распределения частоты качественных характеристик, процентное соотношение отдельно по каждой специальности и по институтам ВКГТУ.

Второй этап - определение связей

После того как анкеты были заполнены и возвращены, начался второй этап работы. По выпускникам, на которых получены анкеты, были собраны в архиве университета данные об успеваемости по блокам дисциплин за весь период их обучения в вузе.

Для определения связей между оценками эксперта-руководителя и аттестацией выпускников в период их учебы в вузе выделены циклы дисциплин: социально-гуманитарные, естественнонаучные, общепрофес-сиональные, специальные, курсовые проекты (работы), дипломный проект. В качестве критериев, отражающих успеваемость выпускников в период их учебы в вузе, использованы средние значения оценок - Xср , стандартное отклонение - , коэффициент вариации - (см. таблицу 2.1).

Таблица 2.1 Факторы, отражающие уровень вузовской подготовки

При анализе связей между оценками эксперта-руководителя и аттестацией выпускников в период их учебы в вузе предлагается использовать корреляционно-регрессионную модель.

В таблице приведены используемые в качестве аргументов модели наименования циклов учебных дисциплин, в качестве функций - показатели оценки специалиста экспертом-руководителем.

Корреляционно-регрессионная модель представлена в следующем виде:

где А0 - свободный член или коэффициент сопряжения размерностей;

А1, А2,..., Аj - коэффициенты регрессии или параметры, модели, характеризующие степень влияния успеваемости студента по циклу дисциплин на прирост оценки, отражающей деятельность специалиста поданному параметру.

Уравнение регрессии характеризует взаимосвязь между переменными X и Y, показывая изменение величины Y в зависимости от изменения величины X.

Однако в самом уравнении регрессии нет указаний на степень тесноты связи между переменными. Поэтому оценка параметров регрессии сопровождается расчетом коэффициентов корреляции, представляющих собой эмпирическую меру линейной взаимосвязи между X и Y.

Чем выше значение коэффициентов, тем теснее связь между переменными и, соответственно, верно осуществлен выбор функции.

Проверка правильности выбора модели может быть проведена на основании значения индекса корреляции.

Определение числа выборки (количество элементов в выборочной совокупности) производится по формуле:

где n - количество элементов в выборочной совокупности;

N - количество элементов в генеральной совокупности;

S2 - оценка дисперсии из пробного опроса;

? - предельная ошибка выборки;

t - коэффициент доверия, или кратность средней ошибки выборки µ , определяемой величиной доверительности вероятности г .

Качество выборки оценивается по двум показателям: репрезентативности и надежности, т.е. определяется ошибкой выборки или точностью выборочного оценивания и гарантией этой точности.

Ошибки выборки ? рассчитываются по формуле:

где? - предельная ошибка выборки.

Средняя генеральная б должна быть заключена с вероятностью г=0,95 в интервале, с вероятностью ошибки е = 1 - г = 0,95. Если средняя генеральная б не попадает в эти пределы, то репрезентативность, определяемая ошибкой (?/100)%, нельзя считать малой. Чтобы повысить репрезентативность исследования, нужно увеличить число выборки.

Третий этап заключается в ведении полученных анкетных и архивных данных в компьютер и машинная обработка.