Надежность теста один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Надежность теста, тем относительно свободнее он от погрешностей измерения. Надежность теста рассматривается при одном подходе: как устойчивость (стабильность) результатов при повторном тестировании; при другом, как проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов.

Надежность теста

Надежность теста - фундаментальная характеристика теста, которая показывает в какой степени стабильны результаты тестирования при неоднократном обследовании. Надежность теста может определяться путем повторного тестирования (через строго определенный отрезок времени) и вычисления коэффициента корреляции между результатами первого и повторного тестирования. Надежность теста может определяться и путем тестирования с помощью нескольких вариантов одного и того же теста, деления теста на две половины и т.д. Надежность результатов тестирования зависит не только от качества самого теста, но и от процедуры проведения тестирования (она должна быть абсолютно идентичной в первом и во втором случае), социально-психологической однородности выборки (н. т. будет различной для детей, мужчин, женщин, солдат первого года – службы, старослужащих солдат и т.д.). И может получиться, что будучи надежным для одной группы людей, тест окажется ненадежным для другой, результаты тестирования в последнем случае будут неверны. Таким образом, н.т., выражая степень неточности, возможность ошибки, возникающей неизбежно при любом тестировании, заставляет искать пути уменьшения этой ошибки, более конкретного, целеустремленного применения теста. Надежность лучших тестов составляет 0,8 - 0,9.

Надежность эксперимента

устойчивость результатов эксперимента при его проведении второй, третий, четвертый и т.д. раз.

Добиться объективности психологического теста можно при выполнении следующих условий:

1) единообразие процедуры проведения теста для полу­чения сравнимых с нормой (см. ниже) результатов;

2) единообразие оценки выполнения теста;

3) определение нормы выполнения теста для сопоставления с ними показателей, полученных в результате обработки данных тес­тирования (см. здесь "тре­тий этап стандартизации").

Эти три условия называют этапами стандартизации психологического теста.

Этапы стандартизации

На этапе разработки теста, а также любого другого метода проводится процедура стандартизации, которая включает три этапа.

Первый этап стандартизации психологического теста состоит в создании единообразной процедуры тестирования. Она включает определение следующих моментов диагностической ситуации:

1) условия тестирования (помещение, освещение и др. внешние факто­ры). Очевидно, что объем кратковременной памяти лучше измерять (например, с помощью субтеста повторения цифровых рядов в тесте Векслера), когда нет внешних раз­дра­жителей, таких как посторонние звуки, голоса и т.д.

3) Наличие стандартного стимульного материала. Например, дос­то­верность полученных результатов существенно зависит от того, предлагаются ли респонденту изготовленные самодельные карты Г.Роршаха или стандартные - с определенной цветовой гаммой и цветовыми оттенками.

4) Временные ограничения выполнения данного теста. Например, для выполнения теста Равена взрослому респонденту дается 20 минут.

5) Стандартный бланк для выполнения данного теста. Использование стандартного блан­ка облегчает процедуру обработки.

6) Учет влияния ситуационных переменных на процесс и результат тестирования. Под переменными подразумевается состояние испы­ту­емого (усталость, пере­напряжение и т.д.), нестандартные условия тестирования (плохое освещение, отсутствие вентиляции и др.), прерывание тестирования.

7) Учет влияния поведения диагноста на процесс и результат тестирования. Например, одобрительно-поощряющее поведение экспериментатора во время тестирования может восприниматься респондентом как подсказка "правильного ответа" и др.

8) Учет влияния опыта респондента в тестировании. Естественно, что респондент, который уже не в первый раз проходит процедуру тес­тирования, преодолел чувство неизвестности и выработал опре­деленное отношение к тестовой ситуации. Например, если респон­дент уже выполнял тест Равена, то, скорее всего, не стоит предла­гать ему его во второй раз.

Второй этап стандартизации психологического теста состоит в соз­дании единообразной оценки выполнения теста: стандартной интер­претации полученных результатов и предварительной стандартной обра­бот­ки. Этот этап предполагает также сравнение полученных пока­зателей с нормой выполнения этого теста для данного возраста (например, в тестах интеллекта), пола и т.д. (см. ниже).

Третий этап стандартизации психологического теста состоит в определении норм выполнения теста.

Нормы разрабатываются для различных возрастов, профессий, полов и др. Вот некоторые из существующих видов норм:

Школьные нормы - разрабатываются на основе тестов школьных достижений или тестов школьных способностей. Они устанавливаются для каждой школьной ступени и действуют на всей территории страны.

Профессиональные нормы устанавливаются на основе тестов для разных про­фес­сиональных групп (например, механиков разного про­филя, машинисток и др.).

Локальные нормы устанавливаются и применяются для узких кате­го­рий людей, отличающихся наличием общего- признака - возраста, пола, географического рай­о­на, социо-экономического статуса и др. Например, для теста Векслера на интеллект нормы ограничены возрастными рамками.

Национальные нормы разрабатываются для представителей данной народности, нации, страны в целом. Необходи­мость таких норм определяется конкретной куль­турой, моральными требованиями и традициями каждой нации.

Наличие нормативных данных (норм) в стандартизованных методах психодиагностики является их существенной характеристикой.

Надежность теста это такой критерий, который говорит о степени точности, с которой тест измеряет определённоё свойство или способ поведения личности. Надёжность характеризует тест с точки зрения его устойчивости к действию помех (внешних и внутренних).

О высокой степени надёжности теста говорят в том случае, когда тест точно измеряет то свойство, для измерения которого он предназначен. В качестве критериев точности можно отметить следующие:

1) При повторно применении теста к тем же самым испытуемым, в одних и тех же условиях, через определённый интервал времени, результаты обоих тестирований существенно не различаются между собой.

2) Действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования.

В качестве посторонних факторов можно назвать следующие: эмоциональное состояние и утомление, если они не входят в круг исследуемых характеристик, температура, освещённость помещения и другие. Такие посторонние случайные факторы ещё называют факторами нестабильности измерительной процедуры.

3) При повторном применении теста к тем же самым испытуемым, через определённый интервал времени, в изменённых условиях результаты обоих тестирований существенно не различаются между собой. Под изменёнными имеется в виду следующие условия: другой экспериментатор, состояние респондента и другие.

Наиболее часто надёжность толкуют в следующих смыслах:

1) Надёжность самого измерительного инструмента – характеризуется коэффициентом надёжности. Эмпирическое определение этого коэффициента является обязательным условием допуска теста для его использования в практической деятельности психолога. Уровень надёжности теста зависит от:

а) Правильности подбора заданий, с точки зрения их взаимосогласованности;

б) Внутренней однородности – актуализации в заданиях одного и того же свойства;

в) Общей гомогенности и взаимосогласованности отдельных пунктов заданий.

Для проверки надёжности измерительного инструмента, позволяющего судить о степени его однородности (гомогенности) используют метод деления, или расщепления теста на части, при котором задания теста делятся на чётные и нечётные (иногда первую половину и вторую половину), отдельно обрабатываются, а затем результаты двух полученных на репрезентативной выборке рядов коррелируются между собой, и мерой надёжности выступает коэффициент корреляции, рассчитанный по формуле Спирмена (см. 3.1.1). Методика признаётся надёжной, если полученный коэффициент корреляции Спирмена (r s) не ниже +0,75 - +0,85. Но на начальном этапе разработки теста можно получить невысокий коэффициент корреляции - +0,46 - +0,50, что говорит о том, что ряд заданий теста имеет специфичность и их надо изъять из теста и повторить процедуру снова. Снижение коэффициента надёжности может происходить также в результате социально-психологической неоднородности той выборки, на которой проверялась надёжность теста.

2) Стабильность изучаемого признака – характеризуется коэффициентом стабильности. Он позволяет судить о том, насколько устойчив, стабилен признак, который измеряется данной методикой.

Для измерения стабильности теста используется приём, известный под названием тест – ретест, заключающийся в повторном тестировании выборки испытуемых одним и тем же тестом через определённый интервал времени при одних и тех же условиях. Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), событий, происходящих с испытуемым в жизни, содержанием и характером задач теста. С увеличением временного интервала в последовательности: , стабильность признака имеет тенденцию снижаться, и поэтому наибольшую проблему вызывает попытка ответить на вопрос об оптимальных сроках повторного тестирования. Наиболее часто многие авторы называют срок между первым и повторным тестированием для взрослых в несколько месяцев, но не более 6. Для детей младшего возраста – несколько недель.

Мерой стабильности теста выступает коэффициент корреляции между результатами первого и повторного тестирования у одной и той же выборки испытуемых. Коэффициент стабильности, рассчитанный по формуле Спирмена (см. 3.1.1 (r s)), должен быть не ниже r s = +0,8.

Превращение психодиагностических процедур и техник в надежный инструмент науки и практики зависит от усилий многих специалистов по психометрической отладке, конструированию тестов, удовлетворяющих основным психометрическим требовованиям: надежности, валидности, стандартизации. Основные принципы проверки и определения надежности, конструирования и валидизации психодиагностических методик освещены в ряде специальных работ по психодиагностике (А. Анастази, А. Бодалси, В. Столин, А. Шмелев, К. Гуревич, В. Мельников и др.). В данном учебном пособии мы опишем базовые понятия и принципы проведения психодиагностического обследования, знание которые является непременным условием профессиональной квалификации практического психолога.

Психодиагностика как научная дисциплина включает три области психологического знания:

предметную область психологии, изучающую данные психические явления;

психометрику – науку об измерении индивидуальных различий и диагностируемых переменных;

практическое использование психологического знания в целях адекватного психологического воздействия и оказания помощи людям в решении их проблем.

Методологической основой психодиагностики выступает психометрика. Именно эта наука разрабатывает технологию создании конкретных психодиагностических методик и определяет методологию обеспечения научных требований к ним:

надежности – внутренней согласованности частей теста и воспроизводимости результатов при повторном тестировании;

валидности – отражения в результатах теста именно того свойства, для диагностики которого он предназначен;

достоверности – защищенности теста от влияния на результаты стремления испытуемого изменить их в желательную сторону;

репрезентативности – наличия норм результатов массового обследования в популяции, на которую рассчитан тест, позволяющих оценить степень отклонения от средних значений любого индивидуального показателя.

Эти психометрические требования относятся к разным группам тестов, при этом в наибольшей степени – к объективным тестам и личностным опросникам, в наименьшей – к проективным техникам.

Оъективная оценка психологических методик и тестов означает определение их надежности. В психометрии термин «надежность» всегда означает согласованность показателей, полученных у тех же самых испытуемых.

Насколько пригоден данный тест? Действительно ли он выполняет свои функции? Эти вопросы могут вызывать и иногда вызывают длительные бесплодные дискуссии. Предубеждения, субъективные выводы, личные пристрастия приводят, как считает А. Анастази, с одной стороны, к переоценке возможностей конкретного теста, а с другой – к упорному его неприятию. Единственный способ ответить на подобные вопросы – эмпирическая проверка. Объективная оценка психологических тестов прежде всего означает определение их надежности и валидности в конкретных ситуациях.

Надежность теста есть согласованность показателей, полученных у тех же самых испытуемых при повторном тестировании тем же самым тестом или эквивалентной его формой.

Если у ребенка IQ в понедельник равен 110, а в пятницу – 80, то очевидно, что к такому показателю вряд ли можно отнестись с доверием. Аналогично, если индивид в ряду из 50 слов правильно определил 40, а в другом считающемся эквивалентным ряду – 20, то ни один из этих показателей не может рассматривается в качестве меры его вербального понимания. Разумеется, в обоих примерах возможно, что ошибочным является только один из двух показателей, но это может подтвердить лишь последующее тестирование; из приведенных данных следует только то, что вместе показатели не могут быть правильными.

Прежде чем психологический тест станет общим достоянием, необходимо провести тщательную объективную проверку его надежности. Надежность может проверяться относительно временных изменений, выбора конкретных заданий или тестовой выборки индивидуальности экспериментатора или специалиста по обработке тестовых показателей и других аспектов тестирования. Очень важно точно указать тип надежности и способ ее определения, поскольку один и тот же тест может изменяться в различных аспектах. Желательно также иметь сведения о численности и особенностями индивидов, на которых проверялась надежность теста.

Такая информация позволит пользующемуся тестом решить, насколько надежен этот тест для той группы, к которой он собирается его применить.

Наиболее полное объяснение надежности тестовых методик дает А. Анастази. Под надежностью понимается согласованность результатов теста, получаемых при повторном его применении к тем же испытуемым в различные моменты времени, с использованием разных наборов эквивалентных заданий или при изменении других условий обследования. На надежности основывается вычисление ошибки измерения, которая служит для указания вероятных пределов колебаний измеряемой величины, возникающих под действием посторонних случайных факторов. В самом широком смысле надежность показывает, в какой степени индивидуальные различия в тестовых результатах оказываются «истинными», а в какой могут быть приписаны случайным ошибкам. Если перевести это на язык специальных терминов, то измерение надежности теста позволяет оценить величину общей дисперсии тестовых показателей, являющуюся дисперсией ошибки. Вопрос, однако, состоит в том, что считать дисперсией ошибки. Одни и те же факторы, которые применительно к одним задачам являются посторонними, при решении других проблем уже считаются источниками «истинных» различий. Например, если нас интересуют колебания настроения, то происходящие день ото дня изменения в результатах теста эмоционального состояния могли относиться к цели тестирования и, следовательно, к истинной дисперсии результатов. Но если тест предназначен для измерения более стабильных характеристик личности, то те же ежедневные колебания можно отнести к дисперсии ошибки.

Существенно то, что любые изменения условий, в которых проводится тест, если они не имеют отношения к его цели, увеличивают дисперсию ошибки. Поэтому, придерживаясь единых условий тестирования (контролируя общую обстановку, временные ограничения, инструктирование испытуемого, контакт с ним и другие аналогичные факторы), экспериментатор уменьшает дисперсию ошибки и повышает надежность теста. Но и в оптимальных условия ни один тест не является абсолютно надежным инструментом. По этому стандартный набор данных о тесте должен включать в себя и меру надежности. Такая мера характеризует тест, когда он применяется в стандартных условиях и проводится с испытуемыми, похожими на тех, кто участвовал в нормативной выборке. Следовательно, необходимо также приводить сведения об этой выборке.

К. М. Гуревич определяет надежность как «крайне сложное и многоплановое понятие, одна из основных функций которого – оценить постоянство показателей тестовых испытаний» [Гуревич, 1981].

В принципе можно сказать, что надежность должна обосновывать ошибку измерения – она должна показывать, какая часть изменчивости показателей ошибочна. Известно несколько основных факторов, определяющих уровень надежности. Так, надежность всегда будет иметь тенденцию к увеличению, если соблюдается постоянство условий проведения процедуры тестирования, так как это снижает ошибку вариабельности измеряемого параметра. В то время многочисленность целей, сложность проблемы, изменчивость ситуаций, как правило, увеличивают ошибку измерения, уменьшая тем самым надежность.

Разновидностей надежности теста так же много, как и условий, влияющих на результаты теста, поэтому любые такие условия могут оказаться посторонними по отношению к цели, и тогда

обусловленная ими дисперсия должна войти в дисперсию ошибки. Однако практическое применение находит лишь несколько типов надежности. Поскольку все типы надежности отражают степень последовательности или согласованности двух независимо полученных серий показателей, то в качестве их меры может выступать коффециент корреляции. Более специальное обсуждение корреляции с подробным описанием вычислительных процедур приводится в учебниках по статистике для педагогов и психологов (В. Аванесов, А. Гусев, Ч. Измайлов, М. Михалевская и др.).

Hа практике используются три основных метода оценкинадежности тестов:

1) повторное тестирование;

2) параллельное тестирование;

3) метод расщепления.

Рассмотрим каждый из них в отдельности.

Повторное тестирование Является одним из основных методов измерения надежности. Повторное

тестирование выборки испытуемых проводится одним и тем же тестом через определенный интервал времени при одинаковых условиях. Повторное тестирование обычно называют ретестом, а надежность, измеренную таким способом, – ретестовой надежности. Схема оценки ретестовой надежности имеет вид:

В этом случае за индекс надежности принимается коэффициент корреляции между результатами двух тестирований.

Метод повторного тестирования обладает как достоинствами, так и недостатками. К числу достоинств относятся естественность и простота определения коэффициента надежности. К недостаткам следует отнести неопределенность в выборе интервала между двумя измерениями. Возникновение временной неопределенности связано с тем, что повторное тестирование отличается от первичного. Испытуемые уже знакомы с содержанием теста, помнят свои первоначальные ответы и ориентируются на них при повторном выполнении теста. Поэтому при повторном тестировании нередко наблюдается или «подгонка» под первоначальные результаты, или как следствие негативизма демонстрация «новых» результатов. Во избежание этого, приводя в руководстве к тесту его ретестовую надежность, следует указывать, какому интервалу времени она соответствует. В связи с тем что ретестовая надежность уменьшается с ростом временного интервала, наиболее доверительными являются высокие коэффициенты надежности, полученные при явно больших интервалах между тестированиями. Недостаточно высокие коэффициенты надежности могут быть следствием неоптимального определения временных интервалов.

Параллельное тестирование В этом случае многократность измерения организуется с помощью параллельных, или эквивалентных, тестов. Параллельными называются тесты, которые с одинаковой ошибкой измеряют одно и то же свойство психики. В этом случае одни и те же лица выполняют несколько вариантов одного и того же теста или эквивалентные тесты. Как правило, практическое использование данного типа надежности связано со значительными затруднениями, поскольку крайне сложно построить несколько вариантов одного теста таким образом, чтобы испытуемый не мог обнаружить их психологическую однородность. Да и искажающее влияние тренировки в этом случае не полностью снято. Кроме того, возникает вопрос: являются ли альтернативные типы надежности характеристиками именно надежности теста, а не параметрами эквивалентности испытаний? Ведь если две формы испытания проводятся при однотипных константных условиях, то, вероятнее всего, исследуются показатели эквивалентности двух форм тестирования, а не показатели надежности самих тестов. Ошибка измерения в этом случае определяется флюктуациями выполнения теста, а не флюктуациями структуры теста.

Схема использования параллельных тестов для измерения на дежности имеет вид:

Рассчитанный между двумя тестами коэффициент корреляции называется эквивалентной надежностью.

Метод расщепления Он является развитием метода параллельного тестирования и базируется на допущении о параллельности не только отдельных форм теста, но и отдельных заданий внутри одного теста. Это одна из наиболее простых проверок теста, когда вычисляется коэффициент корреляции между его половинами. Каким же образом поделить тест на две половины, чтобы иметь возможность выровнять обе половины по тому или иному конкретному основанию? Чаще всего задачи теста делят на чет-нечет, что позволяет в какой-то мере устранить возможные недостатки. Главное достоинство этого типа надежности состоит в независимости результатов тестирования от таких элементов деятельности, как врабатывание, тренировка, практика, утомление и т.д. При разделении теста на две части индекс надежности вычисляется по формуле Спирмена-Брауна, предложивших ее независимо друг от друга. Их статьи были опубликованы в одном и том же номере психологического журнала с выводами и формулами [Аванесов, 1982]. В их формуле

R (х, 0=2 RJ\ + R, у

где R – коэффициент корреляции двух половин теста. В качестве коэффициента индекса надежности рассматривается средний модуль коэффициента корреляции всех заданий теста или средний коэфициент детерминации.

Итак, мы рассмотрели три эмпирических метода оценки надежности тестов: повторное тестирование одним и тем же тестом, повторное тестирование параллельной формой теста и расщепление теста.

Какой из этих методов дает истинную оценку надежности теста? Каким из методов следует пользоваться? Ответ на этот вопрос зависит от личной симпатии и целей исследования.

При использовании метода повторного тестирования получаем оценку степени устойчивости результатов во времени и в зависимости от условий тестирования. Поэтому ретестовый коэффициент надежности называют также коэффициентом устойчивости или стабильности теста. При использовании метода параллельных форм и метода расщепления оценивается степень взаимной согласованности частей теста. Поэтому коэффициенты надежности, полученные этими двумя методами, интерпретируются как покачен и гомогенности, однородности тестов.

Помимо показателей устойчивости и гомогенности, Р. Б. Кэттелл считает необходимым рассматривать показатель переносимосmu (transferability). Он представляет собой оценку способности тес та сохранять точность измерения в разных выборках, субкультурах и популяциях. Совместно устойчивость, гомогенность и переносимость образуют комплексную характеристику надежности, которую Р. Б. Кэттелл называет постоянством (consistency) и определяет как «степень, в которой тест продолжает предсказывать то, что он однажды предсказал, несмотря на изменения (в определенных пределах): а) объема, в котором тест применялся; б) условий, в которых он применялся; в) состава выборки, в которой он применяется».

Наконец, существует тип надежности, непосредственно имеющий отношение к надежности лица, проводящего тестовое испытание. Оценка надежности лица, проводящего тест, получается с помощью независимого моделирования испытания двумя различными экспериментаторами.

Надежность результатов тестирования зависит не только от надежности самого теста и процедуры его проведения. Важным фактором, влияющим на результаты интерпретации данных, является специфика конкретной выборки. Наиболее существенными характеристиками выборки, с этой точки зрения, следует признать социально-психологическую однородность по разным параметрам; учитываются также возраст и пол.

Последовательность действий при проверке надежности А. Г. Шмелев предлагает провести следующим образом [Общая психодиагностика, 1987]:

1. Узнать, существуют ли данные о надежности теста, предлагаемого к использованию, на какой популяции и в какой диагностической ситуации проводилась проверка. Если проверки не было или признаки новой популяции и ситуаций явно специфичны, провести заново проверку надежности с учетом указанных ниже возможностей.

2. Если позволяют возможности, то произвести повторное тестирование на всей выборке стандартизации и подсчитать все коэффициенты, приведенные как для целого теста, так и для отдельных пунктов. Анализ полученных коэффициентов поможет понять, насколько пренебрежима ошибка измерения.

3. Если возможности ограничены, произвести повторное тестирование только на части выборки (не менее 30 испытуемых), подсчитать вручную ранговую корреляцию для оценки внутренней

согласованности (методом расщепления) и стабильности целого теста.

Безусловно, рассмотренные понятия психодиагностики – ее важнейшие атрибуты. Однако высокие показатели надежности сами по себе не определяют практическую ценность теста. Ведущий фактор, который позволяет измерить целевые результаты психологического тестирования, – валидность.

англ. reliability of test) - в статистическом смысле - постоянство, устойчивость результатов, получаемых с его помощью. Н. т. определяется путем установления корреляций между результатами первого и повторного применения теста (коэффициент Н. т.) или - сопоставления данных, полученных при проведении теста, с результатами применения эквивалентного теста. См. Надежность измерения, Психодиагностика. (В. И. Лубовский.)

НАДЕЖНОСТЬ ТЕСТА

показатель точности и устойчивости результатов измерения с помощью теста при его многократном применении. Характеризует степень адекватности отражения тестом соответствующей генеральной совокупности заданий.

надежность теста

фундаментальная характеристика теста, которая показывает в какой степени стабильны результаты тестирования при неоднократном обследовании. Н.т. может определяться путем повторного тестирования (через строго определенный отрезок времени) и вычисления коэффициента корреляции между результатами первого и повторного тестирования. Н.т. может определяться и путем тестирования с помощью нескольких вариантов одного и того же теста, деления теста на две половины и т.д. Надежность результатов тестирования зависит не только от качества самого теста, но и от процедуры проведения тестирования (она должна быть абсолютно идентичной в первом и во втором случае), социально-психологической однородности выборки (н. т. будет различной для детей, мужчин, женщин, солдат первого года – службы, старослужащих солдат и т.д.). И может получиться, что будучи надежным для одной группы людей, тест окажется ненадежным для другой, результаты тестирования в последнем случае будут неверны. Таким образом, н.т., выражая степень неточности, возможность ошибки, возникающей неизбежно при любом тестировании, заставляет искать пути уменьшения этой ошибки, более конкретного, целеустремленного применения теста. Надежность лучших тестов составляет о,8,о,9.

НАДЕЖНОСТЬ ТЕСТА

один из критериев качества теста, относящийся к точности психологических измерений. Чем больше Н. т., тем относительно свободнее он от погрешностей измерения. При одном из подходов Н. т. рассматривается как устойчивость (стабильность) результатов при повторном тестировании. При другом подходе Н. т. – проявление степени эквивалентности двух одинаковых по форме и цели (параллельных) тестов. Определение Н. т. также связано с понятием внутренней состоятельности теста. Это выражается в расчленении теста на части с последующим сопоставлением результатов частей. Н. т. определяется также методами дисперсионного и факторного анализа. В конфликтологии в основном используются психологические тесты (тест К. Томаса, Т. Лири, модульный социотест и др.). Проблема Н. т. является частью более широкой проблемы – надежности методики. Надежность – это устойчивость методики к погрешностям измерения: конкретной ситуации тестирования, особенностям тестируемых, уровню подготовленности исследователя и т. п.

НАДЕЖНОСТЬ ТЕСТА

один из критериев качества теста, характеризующий постоянство, устойчивость результатов, полученных с его помощью. Чем больше Н. т., тем относительно свободнее он от погрешностей измерений. Поэтому Н. т. определяет степень точности, с которой он измеряет определенное свойство личности; это характеристика точности его как измерительного инструмента, его устойчивости к действию помех (как внешних, так и внутренних). Эмпирическое определение Н. т. является обязательным условием допуска для использования его в практической деятельности, напр, в целях профессионального отбора. Для определения Н. т. используют следующие методы. 1. Метод повторного тестирования (метод тест - ретест). Для оценки надежности тест предъявляется дважды одной и той же группе испытуемых через какое-то время. Длительность временного промежутка определяется содержанием характера или задач теста. Мерой Н. т. служит коэффициент корреляции результатов, полученных при первичном и вторичном применении теста. 2. Метод тестирования параллельной, или эквивалентной, формой теста. При применении метода испытуемых разбирают на две равночисленные группы. Затем первой группе предъявляют основную форму, второй группе - эквивалентную форму. Через некоторое время формы меняют между группами испытуемых и снова проводят испытания. После этого для всей выборки испытуемых вычисляются результаты для каждой из форм, для которых затем определяется коэффициент корреляции, по величине которого и судят о Н. т. 3. Метод расчленения теста на части (напр., четные и нечетные) с последующим сопоставлением результатов частей. Достоинством этого метода по сравнению с предыдущими является большая точность, поскольку он предполагает проведение лишь однократного тестирования.

Надёжность как устойчивость

Устойчивость результатов теста или ретестовая надежность (англ - test-retest reliability) – возможность получения одинаковых результатов у испытуемых в различных случаях.

Устойчивость определяется с помощью повторного тестирования (ретеста) :

В данном методе предлагается провести несколько замеров с некоторым промежутком времени (от недели до года) одним и тем же тестом. Если корреляция между результатами различных замеров будет высокой, следовательно, тест достаточно надежный. Наименьшим удовлетворительным значением для ретестовой надежности является 0,5. Однако надежность не всех тестов можно проверять этим методом, так как оцениваемое качество, явление или эффект могут быть сами по себе нестабильны (например, наше настроение, которое может меняться от одного замера к следующему). Еще один недостаток повторного тестирования – это эффект привыкания. Испытуемые уже знакомы с этим тестом, а может быть, даже помнят большую часть своих ответов после предыдущего заполнения.

В связи с выше сказанным применяется исследование надежности психодиагностических методик с использованием параллельных форм, при которых конструируются эквивалентные или параллельные наборы заданий. При этом испытуемые выполняют совершенно другой тест при аналогичных условиях. Однако имеются трудности в доказательстве того, что обе формы являются действительно эквивалентными. Несмотря на это, на практике параллельные формы тестов оказываются полезными в установлении надежности тестов.

Надёжность как внутренняя согласованность

Внутренняя согласованность (англ. - internal consistency) определяется связью каждого конкретного элемента теста с общим результатом, тем, насколько каждый элемент входит в противоречие с остальными, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Чаще всего тесты, разрабатываются таким образом, чтобы у них была высокая степень внутренней согласованности, а связи с тем, что если одна переменная измеряется частью теста, то тогда в других частях, если они не согласованы с первой, эта же переменная измеряться не может. Таким образом, чтобы тест был валидным, необходимо, чтобы он был согласован.

Однако существует и противоположная точка зрения. Кэттелл говорит о том, что высокая внутренняя согласованность на самом деле является противоположностью валидности: каждый вопрос должен затрагивать меньшую область или иметь более узкое значение, чем критерий, подвергающийся измерению. Если все вопросы являются согласованными в высокой степени, они сильно коррелируют, и, следовательно, надежный тест будет измерять только лишь сравнительно "узкую" переменную с малыми отклонениями. По рассуждениям Кэттелла, максимум валидности существует, когда все задания теста не коррелируют друг с другом, а каждое из них имеет положительную корреляцию с критерием. Однако, такой тест будет характеризоваться низкой надежностью по внутренней согласованности.

Для проверки внутренней согласованности применяются:

1. Метод расщепления или метод автономных частей
2. Метод эквивалентных бланков

Метод расщепления (Split-half reliability)

Этот метод заключается в расщеплении/разделении теста на две равные части (например, четные и нечетные вопросы, первая и вторая половина), а затем находится корреляция между ними. Если корреляция высокая, тест можно считать надежным.

Метод эквивалентных бланков

МЭБ состоит в применении двух сопоставимых друг с другом форм теста для большой выборки (например, формы L и M для измерения в шкале интеллекта Стэнфорда-Бине) Результаты, полученные при выполнении двух форм, сравнивают и высчитывают корреляцию. Если коэффициент корреляции высокий, следовательно, тест надежен. Недостаток этого метода в том, что он подразумевает такой длительный и трудоемкий процесс, как создание двух эквивалентных форм.

Альфа Кронбаха

В этом методе, предложенном Ли Кронбахом , сравнивается разброс каждого элемента с общим разбросом всей шкалы. Если разброс результатов теста меньше, чем разброс результатов для каждого отдельного вопроса, следовательно, каждый отдельный вопрос направлен на исследование одного и того же общего основания. Они вырабатывают значение, которое можно считать истинным. Если такое значение выработать нельзя, то есть получается случайный разброс при ответе на вопросы, тест не надежен и коэффициент альфа Кронбаха будет равен 0. Если же все вопросы измеряют один и тот же признак, то тест надежен и коэффициент альфа Кронбаха в этом случае будет равен 1.

Вычисление Кронбаха

Кронбаха определяется как

где - число элементов в шкале, - дисперсия общего тестового балла, и - дисперсия элемента .

Альтернативный способ вычисления выглядит следующим способом:

где N - число элементов в шкале, - средняя дисперсия для выборки, - среднее значение для всех ковариаций между компонентами выборки.

В настоящее время Кронбаха считают при помощи SPSS , STATISTICA и других современных статистических пакетов, возможно и при помощи Microsoft Excel

Значение Кронбаха

Альфа Кронбаха в целом будет возрастать по мере увеличения взаимных корреляций переменных, и, поэтому, считается маркёром внутренней согласованности оценки достоверности результатов тестов. Так как максимальное взаимные корреляции между переменными по всем пунктам присутствуют, если измеряется одно и то же, альфа Кронбаха косвенно указывает на степень того, насколько все пункты измеряют одно и то же. Таким образом, альфа наиболее целесообразно использовать, когда все пункты направлены на измерение одного и того же явления, свойства, феномена. Однако, следует заметить, что высокое значение коэффициента указывает на наличие общего основания у набора вопросов, но не говорит о том, что за ними стоит один единственный фактор - одномерность шкалы следует подтверждать дополнительными методами Когда измеряют гетерогенную структуру, альфа Кронбаха часто будет низким. Таким образом, альфа не подходит для оценки надежности умышленно гетерогенной инструментов (например, для оригинала MMPI , в данном случае имеет смысл проводить отдельные измерения для каждой шкалы).

Считается, что профессионально разработанные тесты должны иметь внутреннюю согласованность на уровне не менее 0.90.

Коэффициент альфа может применяться и для решения другого типа задач. Так, с его помощью можно измерять степень согласованности экспертов, оценивающих тот или иной объект, стабильность данных при многократных измерениях и т.д

Теоретическое основание Кронбаха

Альфа Кронбаха может быть рассмотрено как расширение Кьюдера-Ричардсона-20 , которая является эквивалентом для работы с дихотомиями или переменными, принимающих только два значения (например, ответы истинно/ложно).

Α Кронбаха теоретически связана с формулой прогнозирования Спирмана-Брауна . И обе эти формулы вытекают из классической теорией теста , заключающийся в том, что достоверность результатов тестирования может быть выражена как отношение дисперсий истинной и общей оценок (ошибки и истинной оценки).

См. также

Помимо надежности тестов, есть так же надежность наблюдения – межнаблюдательская надежность. МН – это процент совпадения результатов наблюдения экспертов друг с другом.

Надежность и валидность

Надежность показывает, что результаты проводимого исследования близки к истине, а валидность показывает, что результаты действительно относятся к тому явлению, которое изучается исследователем. Валидное исследование автоматически является надежным, однако обратное следствие не обязательно. Надежное исследование может и не быть валидным.

Литература

Пол Клайн. "Справочное руководство по конструированию тестов", Киев, 1994.

Ссылки

• Надёжность тестов в книге В.С.Кима "Тестирование учебных достижений"

Wikimedia Foundation . 2010 .