«Факторный анализ психолого-педагогических данных компьютерного тестирования»

В факторном анализе предполагается, что наблюдаемые переменные являются линейной комбинацией некоторых латентных (гипотетических или ненаблюдаемых) факторов. Некоторые из этих факторов являются общими для двух и более переменных, а другие – характерными для каждого параметра в отдельности.

Факторный анализ – метод многомерного статистического анализа, позволяющий на основе экспериментального наблюдения признаков объекта выделить группу переменных, определяющих корреляционную взаимосвязь между признаками. Однако эти признаки не являются независимыми (коррелируют между собой). В этом и состоит суть факторного анализа – на основе исследования корреляционных взаимосвязей признаков находить причины, определяющие эти взаимосвязи.

Цель факторного анализа состоит в объяснении интеркорреляций между наблюдаемыми переменными минимальным числом непосредственно ненаблюдаемых причин – факторов. В этом смысле назначение факторного анализа совпадает с целью любого научного исследования – отысканием экономного объяснения наблюдаемого многообразия явлений.

Проблема исследования: Часто в социологических, психологических исследованиях мы имеем дело с многомерной информацией. Если изучаемые объекты – люди, а ответы на вопросы анкеты соответственно признаки изучаемых объектов, то очень часто трудно сгруппировать людей в однородные группы, поскольку при анкетировании задаются несколько десятков вопросов. Даже если разбиение на группы удалось, то сложно описать характеристики этих групп. В этом случае можно попробовать перейти от исходного многомерного факторного пространства к новым факторам, которые обобщали бы в себе все ответы на вопросы. Техника факторного анализа в прикладном смысле нацелена на снижение размерности поля признаков.

Востребованность такого анализа, который бы позволил находить эффективные и высокотехнологичные способы обработки психолого-педагогических данных в современной школе, подтверждают актуальность исследования этой проблемы.

Объект исследования: психолого-педагогические информационные технологии компьютерного тестирования знаний студентов по информационным наукам.

Предмет исследования: использование факторного анализа для диагностики и оценки знаний обучаемого.

Гипотеза: Если применить факторный анализ для обработки данных компьютерного тестирования, то в результате можем получить больше полезной информации для управления процессом обучения посредством дидактических единиц.

Цель исследования: Выявление и установление эффективности методик применения факторного анализа в инструментальном компьютерном тестировании.

Задачи исследования: С помощью факторного анализа в конкретном исследовании обычно решаются следующие задачи:

1. Изучить психолого-педагогическую и математическую литературу по применению факторного анализа в прикладных задачах.

2. Построить математическую и алгоритмическую модель факторного анализа для инструментальных средств тестирования.

3. Экспериментально проверить эффективность использования модели в компьютерном тестировании.

В своей работе мы: рассмотрим теоретические основы компьютерного тестирования; проведем обработку психолого-педагогических данных, полученных путем компьютерного тестирования; попытаемся доказать, что факторный анализ является эффективным методом для получения дидактических единиц.

Скажем о некоторых составляющих факторного анализа:

1. Уменьшение размерности данных. Изучаемые объекты можно характеризовать бесконечным числом разнообразных признаков. Исследователя часто интересует вопрос, можно ли отыскать какой-то полезный способ сгруппировать признаки по смысловому сходству, отыскав, таким образом, небольшое число независимых параметров для описания объектов. Такое уменьшение размерности, когда от большого набора свойств переходят к гораздо меньшему перечню существенных признаков, помогает устранить дублирование информации, исключив малоинформативные или "шумящие" переменные. Задача снижения размерности возникает также и в том случае, когда исследователь хочет построить предварительную концептуальную схему слабоизученной области явлений.

2. Объяснение разложением на составляющие. Используя регрессионный анализ можно наблюдаемое значение зависимой переменной у испытуемого разложить на компоненты, соответствующие независимым переменным. Факторный анализ идет в этом отношении еще дальше и позволяет нам расчленить не только значение любого признака у испытуемого на части, но и дисперсию отдельной переменной или корреляцию между ними, приписав каждую часть действию косвенно проявляющих себя факторов.

3. Косвенное измерение. Факторный анализ базируется на предположении о том, что корреляция наблюдаемых переменных объясняется существованием какой-то стоящей за ними общей причины (или нескольких причин). Таким образом, наблюдаемые переменные рассматриваются в качестве косвенных индикаторов так называемых латентных переменных (т.е. переменных, которые непосредственно не измеримы). Факторный анализ позволяет не только получить информацию, помогающую нам идентифицировать латентные переменные, но и дает в руки исследователя способ количественно оценить значение латентной переменной у испытуемых. Вот почему факторный анализ является одним из незаменимых инструментов при конструировании психологических тестов.

В основе использованной нами методики экспертной оценки личности лежит представление о пяти основных факторах, которые стоят за восприятием человека человеком. Эта концепция сформировалась в результате попыток построить эмпирическую классификацию терминов естественного языка, используемых для описания индивидуальных различий в поведении. Исследователи исходили из предположения о том, что в лексике естественного языка закреплены те индивидуальные особенности, которые оказались наиболее полезными в практике межличностного общения и взаимодействия. Однако огромное количество слов, которые могут использоваться для целей описания человека в естественном языке, затрудняют задачу вычленения той "наивной" (в отличие от научной) концепции личности, которая усваивается носителем языка. Поэтому возникла необходимость в редукции огромного числа терминов к небольшому набору базовых параметров, стоящих за многообразием личностных дескрипторов. Чаще всего для решения этой задачи применялся именно факторный анализ.

В общем случае моделью описываемой взаимосвязи является набор линейных уравнений. Коэффициентами этих уравнений являются так называемые нагрузки, которые показывают "вес" каждого из факторов для данного признака. В матричном виде эта система уравнений может быть записана как X = S*F + E (1) где X - матрица признаков (или переменных), S - матрица нагрузок, F - матрица новых - "латентных" - переменных, E - матрица остатков. Это уравнение, по сути, описывает переход от первичных переменных (признаков) к новым переменным (факторам).

Факторный анализ часто применяется при решении задач классификации, а также при построении многомерных градировочных моделей. В качестве трудностей, возникающих в процессе реализации этого метода, можно перечислить следующие:

1. Нет однозначного подхода к определению числа значимых переменных. Экспериментальные данные, как правило, содержат случайную ошибку, что вызывает появление дополнительных факторов, которые, по сути, бесполезны. Существует множество способов отделения значимых переменных от незначимых, однако в каждом конкретном случае требуется индивидуальный подход.

2. Сложность интерпретации переменных – преобразование можно провести бесконечным множеством способов, при этом выяснить физическую суть каждой новой переменной довольно сложно, а часто и невозможно.

Наиболее распространенные алгоритмы факторного анализа - метод главных компонент (principal component analysis, PCA) и разложение по сингулярным значениям (singular value decomposition, SVD).

Главными целями факторного анализа являются: сокращение числа переменных (редукция данных) и определение структуры взаимосвязей между переменными, т.е. классификация переменных. Поэтому факторный анализ используется либо как метод сокращения данных, либо как метод классификации.

Валидность, надежность и стандартизация баллов определяется с помощью экспертов с использованием концептуального подхода (методология) и эмпирического подхода (статистика). Внутренняя валидность: концептуальная (теоретическая), содержательная (репрезентативность содержания), конструктная, операциональная, эмпирическая, очевидная, критериальная, текущая. Внешняя валидность: валидность по внешнему критерию, экспертная валидность.

Трудность теста – отношение решенных и нерешенных заданий методики. Трудность каждого задания определяется по значению отношения невыполненных заданий к общему количеству заданий. Надежность – точность измерения (по стандартному отклонению). Часто это значение умножением на 100 переводят в процентный вид. Сложность задания – число умственных операций (иногда подсчет шагов для выполнения задания) для получения правильного ответа, пропорциональна среднему времени выполнения. В инструментальных системах, не поддерживающих механизмы стандартизации баллов, используются равнотрудные задания.

По количественным параметрам рекомендуемое число вариантов выбора ответа – от 4-5 до 10-11. Количество заданий по нарастанию трудности гомогенного теста (один признак, критерий) – от 10 до 200, нарастание трудности (по спирали) гетерогенного теста учебных достижений – от 20 до 200,

Виды измерений. Нормативное (на ранговом и интервальном уровне) определяется сравнением тестового показателя развития свойства испытуемого со среднегрупповым уровнем. Критериальное основано на прямой оценке качества выполнения теста испытуемым без сравнения с другими испытуемыми в соответствии с определенным объективным уровнем (критерием) развития качества (объективная норма: выполнение функции).

Виды тестов по оценке результата. Нормативно-ориентированные тесты: выполнение теста оценивается относительно выполнения всей группы, отбор заданий по различительной способности. Рейтинговая система оценивания. Критериально-ориентированные тесты: задания отбираются по эффективности их оценки научения учащихся навыкам и понятиям. Если задания является хорошим показателем научения, оно включается в тест, даже если все учащиеся справляются с ним.

Виды тестов по виду ответа. Объективные тесты (известен, возможен правильный ответ). Проективные тесты. Субъективный тест (анкета, опросник, самооценка). Закрытые (выборочные) и открытые тесты (развернутые нестандартные ответы).

К основным формам заданий относят задания с выбором ответов (Таблица 1), задания на установления соответствия, координатный рисунок, задания на упорядочивание списков, задания кроссвордного типа, задания свободного (открытого) текстового ответа.

Задания с выборочными ответами часто строятся в виде утверждений. Все варианты выборочного ответа (правильный вариант ответа – атрактор и неправильные ответы – дистракторы) соответствуют содержанию задания. Не рекомендуется использовать в качестве дистракторов ложные, абсурдные варианты, которые обучаемые могут заучить как правильные ответы. В качестве дистракторов рекомендуется использовать: а) перечисление названий предметов или имен понятий, соответствующих одному классу (группе) в классификации по единому основанию; б) варьирующееся проявление признаков понятий, свойств предметов; в) варианты ответов, правильные для других заданий.

Критерий – признак, на основании которого производится оценка, определение или классификация чего-либо. Критериальный континуум вариантов ответов и критериальный континуум заданий по теме (тест учебных достижений) или по фактору (исследовательский тест). Фактор – движущая сила, причина какого-либо процесса, явления, существенное обстоятельство в каком-либо процессе, явлении. Критериальным континуумом заданий (вопросов) называют варьирующуюся по измеряемым свойствам в пределах одной темы группу заданий (Таблица 1, А). Все задания такой группы соответствуют содержанию темы. Обычно набор всех тем охватывает учебную программу и соответствует требованиям Госстандарта. Критериальным континуумом вариантов ответов называют варьирующийся по измеряемым свойствам в пределах одного задания набор вариантов (Таблица 1, Б).

Факторы имеют качественный характер, принимая одно из возможных состояний, называемых уровнями. Зависимость между X (факториальный признак) и Y (результирующий признак): Y = F (X). Независимая переменная – новый учебный метод (X). Зависимая переменная – знания учащихся (Y) [20].

Шкалы измерений. Дискретные и непрерывные шкалы. Количественные: отношений y=a*x (пример, время), интервалов y=a*x+b (пример, температура, весовые коэф.заданий). Качественные: порядка, ранжирования (ординальный уровень) (a1> a2> a3), наименования (пример, 1-история, 2-география, 3-математика) для подсчета процентных частей. Непараметрические шкалы. Нечеткая (размытая) классификация: В подобен А; С подобен А, но В не подобен С. Строгая классификация (номинативная, номинальная шкала).

Таблица 1

Структура комплекта тестовых заданий

Тема 1 Тема 2 - - - - Тема N

Вопрос 1.1

Вариант 1

Вариант 2

…

Вариант 5 Вопрос 1.2

Вариант 1

Вариант 2

…

Вариант 3 - - - - -

Вопрос 1.N

Вариант 1

Вариант 2

…

Вариант 4

- - - - - - - - - - - - - - - - - - - -

Вопрос 2.1

Вариант 1

Вариант 2

…

Вариант 3 Вопрос 2.2

Вариант 1

Вариант 2

…

Вариант 6 - - - - -

Вопрос 2.N

Вариант 1

Вариант 2

…

Вариант 5

- - - - - - - - - - - - - - - - - - - -

Вопрос N.1

Вариант 1

Вариант 2

…

Вариант 5 Вопрос N.2

Вариант 1

Вариант 2

…

Вариант 3 - - - - -

Вопрос N.N

Вариант 1

Вариант 2

…

Вариант 4

Примеры других шкал. Абсолютная (сырая) шкала (тождественна только сама себе). Дихтомическая классификация. Шкала разностей. Шкалы станайнов и стенов (Кэттела) для нормализованных стандартных показателей. Шкала логитов – модели зависимости между вероятностью правильного ответа и значениями параметров (трудность и др.). [4].

Компьютер как инструмент психолого-педагогического тестирования

Начало ХХI века отмечены событиями, существенным образом трансформировавшими современную социокультурную реальность. Речь идет об активном вхождении в жизнь общества новейших информационных технологий, произошедшем в результате бурного развития электроники.

Начиная с середины 60-х годов, западными социологами и социальными философами активно обсуждается вопрос о вступлении наиболее развитых стран в качественно иную стадию социального развития, охарактеризованную ими как постиндустриальное или информационное общество, главным отличающим критерием которого является определяющая роль информационных технологий во всех сферах жизнедеятельности людей. Но если в 60-е годы идеи об информационном обществе имели скорее характер футурологических прогнозов, то в ходе совершенствования электронной техники и цифровых технологий, большинство из предсказанных теоретиками событий обрели свое реальное воплощение. Что выразилось в бурном развитии средств массовой коммуникации, в особенности телевидения, в создании и широком распространении персональных компьютеров, в построении глобальных информационных сетей, в разработке технологий виртуальной реальности и других технологических инновациях. В своей совокупности, эти достижения коренным образом изменили жизнь общества, не только выдвинув на передний план информационную деятельность, т.е. деятельность, связанную с производством, потреблением, трансляцией и хранением информации, но и усложнив и трансформировав мир так, что осмыслить его в рамках традиционных подходов стало довольно затруднительно.

Вообще, информационные технологии нельзя более рассматривать как нечто принадлежащее исключительно миру техники, ибо они настолько глубоко проникли в жизнь людей, вплелись в саму ткань ее повседневности, что вычленить их из общего мировоззренческого и культурологического контекста уже не представляется возможным.

Глубокие преобразования, происходящие в нашем обществе, всё более остро выдвигают на первый план задачи развития среди прочих наук педагогики, как науки, закладывающий моральный и интеллектуальный фундамент будущего. Педагогика возникла и развивается под влиянием объективных потребностей общества в соответствующей подготовке подрастающих поколений к жизни и трудовой деятельности. Её плодотворное развитие может происходить только при условии творческого переосмысления накопленного ею теоретического и практического опыта, т.е. в процессе исследовательской деятельности. Известно, что педагогические исследования опираются, прежде всего, на конкретные факты, которые можно получить только в ходе наблюдений и проведения экспериментов. Современной тенденцией в сфере исследований является повышение качества и количества анализа поступающей в ходе исследования информации.

Деятельность отдельных людей, групп, коллективов и организаций сейчас все в большей степени начинает зависеть от их информированности и способности эффективно использовать имеющуюся информацию. Прежде чем предпринять какие-то действия, необходимо провести большую работу по сбору и переработке информации, ее осмыслению и анализу. Отыскание рациональных решений в любой сфере требует сегодня обработки больших объемов информации, что подчас невозможно без привлечения специальных технических средств.

Стремительно развивающийся процесс информатизации всех сфер жизни общества делает возможным поднять на новый уровень организацию и качество исследовательской работы в педагогике.

Сегодня информационные технологии находят довольно широкое применение в педагогике как науке, а также непосредственно в практике учебно-воспитательного процесса. Наибольшее распространение они получили в таких видах деятельности как:

- дистанционное обучение, учреждение онлайновых учебных заведений (в основном за рубежом);

- помощь в системе управления образованием;

- создание программ и виртуальных учебников по различным предметам;

- поиск в сети информации для учебного процесса;

- компьютерное тестирование знаний учащихся;

- создание электронных библиотек;

- формирование единой научной электронной среды;

- издание виртуальных журналов и газет по педагогической тематике;

- проведение телеконференций;

- расширение международного сотрудничества в сфере Internet -образования.

Применение компьютера в педагогических исследованиях – одна из наиболее слабо освещённых в информационном плане тем и требует дальнейшей разработки.

Проведя анализ имеющейся литературы, мы пришли к выводу, что компьютер является необходимым и очень важным инструментом педагогического исследования, потенциал которого далеко не исчерпан.

Любое педагогическое исследование состоит из определённых этапов или частей. Можно выделить два этапа научного исследования: эмпирический и теоретический.

Эмпирический этап связан с получением и первичной обработкой исходного фактического материала. Теоретический этап исследования связан с глубоким анализом факторов, с проникновением в сущность исследуемых явлений, с познанием и формулировкой в качественной и количественной форме законов, т.е. с объяснением явлений.

Далее на этом этапе осуществляется прогнозирование возможных событий или изменений в изучаемых явлениях или процессах, вырабатываются принципы, рекомендации о практическом воздействии на эти явления.

Мы можем отметить, что научное исследование в каждом цикле совершает, движение от эмпирии к теории и от теории к, проверяющей её практике.

Можно условно выделить пять этапов конструирования логики педагогического исследования. Подчеркнем, что логика каждого из этих этапов вариативна и своеобразна.

Первый этап — стадия накопления знаний и фактов:

• выбор проблемы и темы исследования, обоснование актуальности, уровня разработанности;

• ознакомление с теорией и историей вопроса, изучение научных достижений в данной и смежных областях;

• изучение практического опыта учебных заведений и лучших педагогов;

• определение объекта, предмета, цели и задач исследования.

Второй этап — стадия теоретического осмысливания фактов;

• выбор методологии — исходной концепции, опорных теоретических идей, положений;

• построение гипотезы исследования;

• выбор методов исследования и разработка методики исследования.

Третий этап — опытно-экспериментальная работа:

• построение гипотезы исследования – теоретической конструкции, истинность которой предстоит доказать;

• организация и проведение констатирующего эксперимента;

• организация и проведение уточняющего эксперимента;

• проверка гипотезы исследования;

• организация и проведение преобразующего эксперимента;

• окончательная проверка гипотезы исследования;

• формулировка выводов исследования.

Четвертый этап — анализ и оформление результатов педагогического исследования:

• обоснование заключительных выводов и практических рекомендаций;

• научный доклад, статьи, учебно-методические пособия, монографии, книги;

• плакаты, диафильмы, кинофильмы по теме исследования.

Пятый этап — пропаганда и внедрение результатов исследования:

• выступления на кафедрах, советах, семинарах, научно-практических конференциях, симпозиумах и т.д.;

• публикации в средствах массовой педагогической информации.

Мы считаем, что компьютер может быть эффективно использован на следующих подэтапах исследований:

1. ознакомление с теорией и историей вопроса, изучение научных достижений в данной и смежных областях;

2. подготовка, организация и проведение экспериментов, а также формулировка выводов данного этапа исследования;

3. подготовка научных докладов, статей, учебно-методических пособий, монографий, книг, плакатов по теме исследования; публикации в средствах массовой педагогической информации;

4. выступления на кафедрах, советах, семинарах, научно-практических конференциях, симпозиумах и т.д.

На этапе опытно-экспериментальной работы компьютер также играет важную роль как средство подготовки и проведения эксперимента, а также обработки промежуточных и конечных результатов тестирования.

В ходе опытно-экспериментальной работы исследователь периодически прибегает к сбору и обработке информации о состоянии предмета исследования и происходящих в нём изменениях. Только при наличии такой информации возможно построение гипотезы исследования и проверка её в ходе эксперимента.