Двойной слепой тест - возражения?

[alexf52]

Alex Nikitin написал:
Пожалуйста, не надо про двойные слепые тесты - они ничего не доказывают и доказать в области действительно качественного звука не могут в принципе.

Мне очень хочется понять почему именно "не доказывают".

Мы не говорим сейчас об оценке "что лучше, А или Б" хотя и это следовало бы проверять вслепую, но результат только что нравится больше а не объективно лучше.

Я говорю о ситуации когда тест состоит в том вносит ли элемент Х заметные на слух искажения или нет. Например провод - тема многих флеймов.

В данном случае интересует вопрос: при "правильной" оцифровке истойника, скажем винила, например 24/96 или 24/192 заметна ли разница между источником и результатом.

По моему глубокому убеждению тут двойной слепой тест работает идеально. Собираем группу экспертов. Или одного эксперта который считает что разница есть. Даем послушать скажем 20 фрагментов в перемешку с винила прямо и через цифровой тракт, причем так что неизвестно что есть что. Если действительно разница слышна, то эксперт(ы) с вероятностью не хуже 70% укажут верно где прямо, а где - через цифру.

Если вы не согласны, пожалуйста напишите почему.

[Alex Nikitin]

Хорошо, я постараюсь коротко изложить мои основные возражения по поводу применимости двойного слепого теста (ДСТ для краткости) к оценке звуковоспроизводящей аппаратуры высокого качества.

1) Некорректный предмет тестирования. Целью ДСТ является определение наличия/отсутствия осознанной разницы в звучании, что не совпадает с целью создания высококачественной звуковоспроизводящей аппаратуры, а именно - возможно более полной передачи эмоционального содержания музыки. Значительная часть этого содержания воспринимается через подсознание. Необходимость осознания разницы в звучании приводит к подмене предмета теста. Осознание же разницы в эмоциональном воздействии, особенно в условиях повторных прослушиваний - очень непростая задача даже для опытного и специально тренированного слушателя.

2) Низкая чувствительность. Даже для хорошо тренированного слушателя гарантированная базовая линия часто проходит на уровне весьма грубых различий в звучании.

3) Сложность корректной организации (особенно в любительских условиях), с учётом усталости и привыкания слуха, необходимости многократных тестов в идентичных условиях, контрольных тестов для определения базовой линии (нет смысла проводить тест, если невозможно в данных конкретных условиях надёжно отличить, скажем, 128 кб/c MP3 файл от исходного CD) и т.д. и т.п. .

Моя практика участия в ДСТ, а также опубликованные результаты подобных тестов показывают, что даже при профессиональном подходе к делу и значительных затратах на организацию ДСТ, результаты в большинстве случаев неоднозначны и не оправдывают вложенных усилий. В любительских же условиях ДСТ - это просто издевательство над самой идеей научного подхода, хотя именно под этим соусом его чаще всего предлагают провести.

Алексей

[Nick]

...В любительских же условиях ДСТ - это просто издевательство над самой идеей научного подхода, хотя именно под этим соусом его чаще всего предлагают провести.

Алексей

Проблема всё же не в ДСТ, на мой взгляд, а в его организации (чаще всего как блиц тест).

[Audiomaniac]

Да, это известная проблема - сознательно отдать себе отчет в разнице звучания при быстром перетыкании между двумя аппаратами. А вот если недельку один аппарат послушать, а потом сразу другой - то все и сразу ясно.

[alexf52]

1) Некорректный предмет тестирования. Целью ДСТ является определение наличия/отсутствия осознанной разницы в звучании, что не совпадает с целью создания высококачественной звуковоспроизводящей аппаратуры, а именно - возможно более полной передачи эмоционального содержания музыки.

Допустим я добавлю лампочку мигающую в такт музыке и кто-то скажет что это помогает полнее передать эмоциональное содержание. Может и помогает, но не за счет чисто звуковых достоинств аппарата. На меня например скорее всего так действуют вращающиеся катушки и стрелочные индикаторы. Но IMHO это не отменяет факта что если окажется например что лично я не смогу уверенно отличить звучания своего Revox через свой Carver и свои колонки Martin Logan от МР3 плеера, то значит для меня важно не качество звука а самовнушение.

нет смысла проводить тест, если невозможно в данных конкретных условиях надёжно отличить, скажем, 128 кб/c MP3 файл от исходного CD

На мой взгляд так наоборот: если в данных условиях нельзя надёжно отличить, значит не тест плохой, а в данных условиях разницы нет. Например если в машине на скорости 100 км/ч нельзя отличить МР3 от DVD-A, то все равно что слушать на этой скорости.
Я почитал разные статьи про ДСТ и заметил что главный аргумент против сводится к тому что такие-то люди тестировали то-то и то-то и не смогли заметить разницу. А ее не может не быть. Значит тест не годится. Т.е. "этого не может быть потому что этого не может быть никогда (с)".

Про сложность корректной организации (особенно в любительских условиях) я полностью согласен. Но только при не корректном тесте легче получить ложный положительный результат - скажем слегка разные уровни сигнала позволяют отличить А от Б. А если отличить невозможно то либо какой то элемент системы сличком сильно все портит или разница не в звуке...

ОК, не хочу спорить. Мне просто очень интересно знать какие у профессионалов аудио возражения против "золотого стандарта" тестов в многих областях от дегустации вин до проверки эффективности лекарств.

---------- Добавлено в 22:28 ---------- Предыдущее сообщение в 22:25 ----------

А вот если недельку один аппарат послушать, а потом сразу другой - то все и сразу ясно.

Можно и неделю и месяц. Лишь бы не зная заранее что слушаешь...

[gross]

Целью ДСТ является определение наличия/отсутствия осознанной разницы в звучании, что не совпадает с целью создания высококачественной звуковоспроизводящей аппаратуры, а именно - возможно более полной передачи эмоционального содержания музыки. Значительная часть этого содержания воспринимается через подсознание.

Дело в том, что доступ к подсознанию возможен только через сознание, и только к тем его частям, которые могут быть осознаны. Про остальные мы просто ничего не знаем, и сведений, под действием чего и как они влияют на человека у нас нет и быть не может, поэтому говорить про них нет смысла. Эмоции же, которые хоть как-то проявляются, хотя и возникают при прослушивании музыки неосознанно, но затем обязательно поступают в сознание. Только так они могут на нас воздействовать и только так мы можем понять, что они вообще существуют. Мы можем не давать себе труд их идентифицировать в словах, но отпечаток в сознании они обязательно откладывают, и значит могут быть нами замечены. А если они останутся только в подсознании, то мы о них ничего никогда не узнаем. Такое может происходить в случаях, если данные эмоции слишком слабы или не актуальны для слушателя, но от них таких нет и проку.
Поэтому все эмоциональное содержание музыки, воспринятое через подсознание, актуальное для слушателя, обязательно имеет то или иное представление в сознании и может быть проговорено в словах. И не обязательно высоко-художественных словах. Хоть самыми простыми и односложными словами. Хоть жестами. То есть любым способом. Но выразить можно. Было бы желание.

[ИГВИН]

Вот один из аргументов по слепому/зрячему.
В целом моё отношение изложено и аргументировано здесь.

[alexf52]

мы вылавливаем отклонения АЧХ, фальш каких то звуков и тому подобное.

Так именно это мы и ищем: есть "искажения" - те или иные, или их так мало что нельзя заметить. Речь не про эмоции отчего бы они не возникали: живого концерта, ламп, винила, и т.д. а только о том как оценить вносит тракт изкажения в звук или нет. Именно в звук а не в его "эмоциональный уровень", что бы это не означало.

[ИГВИН]

Так именно это мы и ищем: есть "искажения" - те или иные, или их так мало что нельзя заметить.

Тогда отчего вам требуется слепой тест? Ищите приборами.
Искажения, которые вы хотите идентифицировать - первый уровень восприятия. Пожалуй, для них слепой тест подходит не меньше приборных измерений. Просто последние проще.

[gross]

Вот один из аргументов по слепому/зрячему.

Вы там пишите про тесты на передачу музыкального содержания vs тесты на передачу звукового содержания. А тут говорите про слепой vs зрячий. Связи не видно.
Любой из музыка/звуки может быть как слепым так и зрячим.

[ИГВИН]

Связи не видно.

Чтобы увидеть, надо прочесть тему сначала. Ловля искажений звука в узких заданных рамках не нуждается в слепом тесте. А для ловли искажений музыкального содержания слепой тест бесполезен.
Тогда зачем он вообще? Наверное, кому-то нужен... Только не меломанам.

Видимо, так и надо ставить вопрос - кому и зачем нужен (необходим) слепой тест? Когда он незаменимым?
Можете ответить на него?

[gross]

Видимо, так и надо ставить вопрос - кому и зачем нужен (необходим) слепой тест? Когда он незаменимым? Можете ответить на него?

Для того, чтобы отделить чистые слуховые впечатления от следующей суммы:
- знания;
- зрительные впечатления;
- слуховые впечатления.
В последнем списке слуховые впечатления могут отнюдь не доминировать. Почему - я много раз говорил.

[killhumax]

ИГВИН,Я считаю как и Audiomaniac что надо тестить в своей проверенной системе продолжительное время ,на сколько продолжительное будет видно на начальном этапе. Если девайс воспроизводит достаточно прилично (субьективно для меня) то он задерживается на достаточно долгий срок -примерно неделю. Но бывает как например приносили усь Пионер 503 то хватило и получаса . Дальше моего терпения не хватило. Вот недавно приносил интересный корректор Audio Research PH-5 https://forum.vegalab.ru/album.php?a...hmentid=108120 слушал несколько дней сравнивал со своим и Алексея . В общем понравился ,не без недостатков конечно . Если у фирмы есть интересная хоризма в звуке не совсем" стерильная " с почерком то это даже хорошо и понятия лучше хуже отступают на второй план.

Offтопик:
А тут выходит как в детстве в песочнице - кто сильнее самолет или слон ?

[ИГВИН]

gross, в принципе слепой тест может быть иногда полезен.
Только я против "двойного слепого", когда тестируют не технику, а способности слушателя. С этим для меня вопрос закрыт.
Что касается ограниченности применения слепого теста, выше тоже уже сказано.

Для слепого теста считаю верной следующую методику.
1. Не более двух аппаратов для сравнения. Допустим это усилители. Присваиваем им номера - "первый" и "второй".
2. Не показывая аппараты, ставим заранее подобранную совместно запись, на первый. Объявляем об этом.
3. Точно так же для второго, с объявлением.
4. Пункты 2 и 3 повторяем до полного осознания различий звучания слушателем.
5. Слушатель записывает свои впечатления от звука.
6. Для контроля ставим запись на аппарат без объявления. Потом для сравнения - на второй. Слушатель должен идентифицировать их.
7. Смотрим - какой аппарат явился победителем "звукового теста".
gross, так пойдет?

Такая экспертиза - первый этап.
Второй этап - то, о чём выше сказал А.Никитин и другие. То есть, тест на восприятие самой музыки. Делая его вслепую, мы получаем слишком много стрессовых факторов, чтобы считать его достоверным.

ИГВИН, Я считаю как и Audiomaniac что надо тестить в своей проверенной системе продолжительное время

Разумеется, я тоже так считаю.
Со временем большинство меломанов приходят к этому выводу.

[killhumax]

ИГВИН,

4. Пункты 2 и 3 повторяем до полного осознания различий звучания слушателем.

Это с в первую очередь связано с

Второй этап - то, о чём выше сказал А.Никитин и другие. То есть, тест на восприятие самой музыки.

Что будем записывать в блокнотик ? Полоску частот ? Если только на уровне бум тыц по разным аппаратам, это конечно грубое сравнение. Чисто технические возможности без музыкального кайфа.

[Turbo_man]

А, по-моему, этот тест позволяет определить кто "пальцезагибатель", а кто нет. То есть тест больше для тестера, а не аппаратуры.

[ИГВИН]

ИГВИН,
Это с в первую очередь связано с

Что будем записывать в блокнотик ? Полоску частот ? Если только на уровне бум тыц по разным аппаратам, это конечно грубое сравнение. Чисто технические возможности без музыкального кайфа.

Примерно может быть записано:
Первый аппарат лучше второго рисует звуки в глубине сцены. У второго они невнятные.
Второй аппарат дает более певучий звук, по сравнению с первым...
Первый аппарат дает больше сибилянтов... У второго басовые инструменты лучше звучат, более подробно...
И т.д., то есть "звуковые", а не музыкальные характеристики аппаратов.
Всё это споры о том, где лучше вертолет или колокольчик

по-моему, этот тест позволяет определить кто "пальцезагибатель", а кто нет. То есть тест больше для тестера, а не аппаратуры.

Само по себе стремление выявить "пальцезагибателей" есть пальцезагибательство Мальчишество это - уличать кого-то в чём-то.
Неужели целью такого достаточно серьезного дела, как тестирование, может стать такая чепуха?

[killhumax]

Примерно может быть записано:
Первый аппарат лучше второго рисует звуки в глубине сцены. У второго они невнятные.
Второй аппарат дает более певучий звук, по сравнению с первым...
Первый аппарат дает больше сибилянтов... У второго басовые инструменты лучше звучат, более подробно...

Вот так правильно ! Так и писать надо было понятнее. Будь ближе к народу .

[ИГВИН]

Offтопик:

Вот так правильно ! Так и писать надо было понятнее. Будь ближе к народу .

Если я где и оторвался, народ незамедлительно поправит!

[Alex]

Когда ЮМ утверджал что прекрасно слышит разхницу между ЦД и его копией на болванке, я его спросил: "а Вы видели какой именно диск ставят на проигрыватель?"
Он ответил: "ну конечно, я же ДОЛЖЕН ЗНАТЬ что сейчас играет".

Т.е. неважно КАК оно играет, важно ЧТО играет.
---

На самом же деле, проблема не в ДСТ в самом. Проблема - в отсутсвии обьективных критериев получения результата.
Если бы можно человеку в голову вставить к примеру напряжометр, который бы показывал "величину качества звука" - было бы все в порядке, и ДСТ разумеется, показывал бы совершенно точные результаты.
Поскольку в реальности такой возможности нет, а сравниваются как правило изначально высококачественные компоненты (клинические случаи сравнения Ссы90 с Мартин Логаном или Монтатной ВАС мы ведь не рассматриваем? ) - все чисто субьективно. А раз оно субьективно, то ДСТ дает большие погрешности - даже на одно и то-же, эксперт может дать совершенно различные оценки.
Типа - "ну 5 минут назад я сидел положив левую ногу на правую, а сейчас правую на левую"", и что сказал что от этого его субьективное восприятие не может измениться? Или может ему просто надоела эта мелодия, поэтому ему кажется что она стала звучать хуже?