Исследование опубликованных тестов слепого прослушивания показывает, что слушатели склонны сообщать о различиях в качестве звука, когда им предоставлены две идентичные альтернативы (прим. идентичные сравниваемые объекты). Эта тенденция была обнаружена в каждом опубликованном тесте за последние 15 лет, где анализ был возможен, а незнание эффекта привело к неправильной разработке или анализу некоторых тестов. Автор провел обширный анализ слепых прослушиваний, который исследовал силу предвзятости реакции слушателя и ее связь с порядком представления, ожиданиями слушателя и наличием различий в громкости. Полученные результаты напрямую приводят к предложениям по покупательскому поведению потребителей, а также к разработке и анализу научных тестов на прослушивание.
Существуют предложения по разработке тестов на прослушивание и оценки, которые можно сделать на основе этих данных. Аналогичным образом можно увидеть несколько важных соображений по защите потребителей в сфере покупок.
Схема оценки прослушивания:
1. Методы слепого или двойного слепого прослушивания абсолютно необходимы для окончательного подтверждения оценки.
Слушатели склонны сообщать о несуществующих различиях, когда они ожидают их услышать. Эта предвзятость последовательно демонстрировалась в ходе анализа опубликованных в течении последних 15 лет (прим. с 1976 по 1991 г.) слепых испытаний, и данные наших испытаний показывают, что этот эффект реален и, вероятно, устойчив среди населения в целом.
2. Соответствие уровней громкости является обязательным условием при субъективных оценках. Склонность слышать различия поровну распределяется между первым и вторым вариантами до тех пор, пока не будут введены различия в уровне громкости. В этот момент предпочтения резко колеблются в сторону более громкой альтернативы, особенно когда этот выбор представляет собой вторую альтернативу из двух.
3. Анализ результатов тестов с использованием общих форматов оценок («А совпадает или отличается от Б?» и «Предпочитаете ли вы А, В или не имеете предпочтений?») должен включать равное количество испытаний, в которых А и В одинаковы и различаются, если тест значимости ипользует критеорий ">50%", иначе возможна неверная интерпретация результатов тестирования.
Например, в исследовании Мартина Колломса "HFNNR Amplifier Comparison 1986"[3] экспериментатор пришел к выводу, что, когда испытуемые правильно отвечали в 63% случаев в 150 испытаниях, это статистически показывало, что они были надежно способны идентифицировать усилители в слепых условиях. Однако тщательное изучение показало, что Колломс основывал этот вывод, используя только те испытания, в которых усилители действительно отличались.
Мы также обнаружили, что в ходе тех испытаний, где усилителями были одни и те же испытуемые, только в 65% случаев они были правильно идентифицированы как одинаковые. Таким образом, Колломсу следовало скорректировать свой критерий оценки, включив в него те испытания, где A и В были одинаковыми, как если бы количество испытаний было идентичным, когда испытумые усилители были разными. Когда это будет сделано, результаты изменится на противоположный при соблюдении критерия 50% правильности при доверительном интервале в 95%. С другой стороны, сравнение двух показателей правильной идентификации (63%, когда УМЗЧ были разными, против 65%, когда УМЗЧ были одинаковыми) приводит к одному и тому же выводу: не значительно.
Эта же критика применима к отчету 1990 года "1990 Stereophile CD Tweaks" [4], в котором экспериментаторы использовали неравное количество испытаний, где A и В были одинаковыми, а не разными, и ложно заключили, что они дали статистически значимые результаты.
Интересно, что данные, представленные в этом отчете, содержат несколько поданализов, которые показывают сильную склонность респондентов сообщать о различиях при идентичных вариантах выбора (прим. испытуемых образцах).
4. Метод ABX Double Blind [5] автоматически защищает от даже непреднамеренно предвзятых экспериментов, вызвавших проблемы, описанные в пункте 3.
Советы потребителю по покупке:
Решения о покупке обычно принимаются с участием продавца, рецензента продукта или даже друга с благими намерениями, выступающего в роли “тренера”. Полученные данные (
люди склонны слышать различия, даже если их нет, небольшие различия в громкости будут интерпретированы как различия в качестве, а порядок прослушивания увеличивает громкость) дают несколько советов по покупкам:
* Во время сравнения A-B попробуйте взять на себя управление регулятором громкости.
* Осознайте, что даже если вы контролируете уровень, вы, возможно, не сможете обеспечить равную громкость
* Расширьте тесты A / B до A / B / A и с подозрением относитесь к тестам, в которых A не может быть повторен (например, повреждение диска).
* Помните, что обширное тестирование вслепую убедительно свидетельствует о том, что многие компоненты (усилители, провода[6] и CD Tweaks[7]), например, не могут быть надежно идентифицированы в слепых условиях.
* Если вы когда-нибудь “засомневаетесь” во время оценки прослушивания, даже на мгновение, подождите до завтра, чтобы принять свое решение.
[1] T. Nousaine, "The Great Debate : Is Anyone Winning?", Proceedings AES 8th International Confer*ence, Washington DC, May 1990.
[2] W. Mendenhall, "Introduction to Probability and Statistics", Wadsworth Publishing Company Inc, Belmont CA, 1967, Ch. 11.
[3] M. Colloms, "Amplifiers Do Sound Different", HiFi News and Record Review, May 1986, pp 67-69.
[4] J. Atkinson and W. Hammond, "As We See It", Stereophile Magazine, Vol. 13 No. 11, November 1990.
[5] D. Clark, "High-Resolution Subjective Testing Using a Double-Blind Comparator" J. Aud. Eng. Soc. (Engineering Report), Vol. 30 (May 1982), pp 330-338.
[6] Workshop Test Results, "Esoteric Audio - Can You Hear It?" AES 85th Convention, Los Angeles, October 4,1988.
[7] ibid 4.
Социальные закладки