Двойной слепой тест - возражения?

[ИГВИН]

Ладно, насчет вин я придираться не буду - это не по теме.
Проверьте свои знания самостоятельно.
Давайте уточним, что вы называете просто слепым, и что двойным слепым тестами.

В случае просто слепого теста один из проводящих тест назначает Sony номером 1, а JVC - номером 2.

И что - он сообщает эксперту, что есть что?
Или - НЕ сообщает?

При проведении ДСТ человек, которому известно, что Sony номер 1, а JVC - номер 2 в переключении не участвует, а переключает или другой человек, не знающий какой аппарат он включает

А в ДСТ не сообщает?

Если в обоих случаях эксперту наименования не сообщаются - в чём конкретная разница?
В чём суть этой разницы?

[Iliya20]

Игорь, разница в том, что если кто-то из участвующих в проведении теста знает что есть что, то он может как-то невольно выдать секрет. Взглядом, улыбкой, нахмурившись, закусив губу, интонацией голоса, жестом итп. А когда вообще никто не знает, ни эксперт, ни те кто проводит тест, то тогда и получается т.н. двойной слепой или, иными словами, "чистый" тест.

К слову, как я уже описывал ранее, в "Лаборатории субъективных оценок" компании Харман процедуру ДСТ повторяют с каждым экспертом по три раза подряд. И каждый раз, компьютер случайным образом переназначает номера испытываемых образцов. Так, никто, до полного окончания теста, не знает что есть что. Естественно, ответы эксперта суммируются правильным образом и потом, по окончанию теста, проверяются статистически на достоверность. Если вдруг у эксперта нет повторения результатов от теста к тесту, то его оценки в учёт не берутся. Кстати, так же отбирают и самих экспертов. Результаты прослушивания у экспертов должны повторяться раз от раза и превышать определённый статистический порог, скажем 70%. А иначе, какие же они эксперты?

[anatol0]

И что - он сообщает эксперту, что есть что?
Или - НЕ сообщает?

Не сообщает прямо - словами, текстом и т.п., но может, зная, какой аппарат включает, непроизвольно передать информацию - жестами, временными задержками и др.
Я уже приводил пример - игра "колечко", когда водящий пытается определить по реакции играющих, у кого находится колечко. Или ещё пример - полиграф. Так вот, двойной слепой тест исключает непроизвольную передачу информации.
На хоботе можно почитать.

[ZugDuk]

Я вообще не понимаю, почему такие очевидные вещи вызывают у кого то сомнения - что слепой тест должен быть двойным, что он, в отличии от посиделок, объективен и т.д.

[Nick]

Ладно, насчет вин я придираться не буду - это не по теме.
Проверьте свои знания самостоятельно.
Давайте уточним, что вы называете просто слепым, и что двойным слепым тестами.

"Слепо́й ме́тод — процедура проведения исследования реакции людей на какое-либо воздействие, заключающаяся в том, что испытуемые не посвящаются в важные детали проводимого исследования. Метод применяется для исключения субъективных факторов, которые могут повлиять на результат эксперимента.
Двойной слепой метод заключается в том, что не только испытуемые, но и экспериментаторы остаются в неведении о важных деталях эксперимента до его окончания. Двойной слепой метод исключает неосознанное влияние экспериментатора на испытуемого, а также субъективизм при оценке экспериментатором результатов эксперимента."
В доказательной медицине двойной слепой - это фактически стантдарт...

---------- Добавлено в 15:49 ---------- Предыдущее сообщение в 15:46 ----------

Я вообще не понимаю, почему такие очевидные вещи вызывают у кого то сомнения - что слепой тест должен быть двойным, что он, в отличии от посиделок, объективен и т.д.

Потому что много кто вообще не знает, что такое двойной слепой тест. И часто думают, что это просто значит слепой AB тест...

[ИГВИН]

Ну вот проводится тест. Один человек сидит-слушает, второй за ширмой переключает акустику, которая выставлена перед ширмой.
Что он может сообщить, и на хрена это сообщение, если и так разница слышна с завязанными ушами?

двойной слепой тест исключает непроизвольную передачу информации

Ну вот так понятно. Исключает, да.
В общем, я понял: ДСТ - это паранойя Шучу-шучу, а то щас накинутся!

[Nick]

Ну вот проводится тест. Один человек сидит-слушает, второй за ширмой переключает акустику, которая выставлена перед ширмой.
Что он может сообщить, и на хрена это сообщение, если и так разница слышна с завязанными ушами?

Ну например может быть достаточно того, что они могут переговариваться, в паузах...

[alexf52]

Я вообще не понимаю, почему такие очевидные вещи вызывают у кого то сомнения

Вот и я не понимаю - потому и открыл тему. Особенно узнав что по крайней мере один человек здесь на форуме, мнению которого по вопросам аудио я доверяю в силу его опыта, не считает ДСТ пригодным для аудио. Но боюсь что мы зашли в тупик и все остались при своих мнениях.

Offтопик:
Забавно что один из главных противников ДСТ к 9-й странице обсуждения как оказалось не знал что это в точности такое

[ИГВИН]

Ну например может быть достаточно того, что они могут переговариваться, в паузах...

Чтобы самих себя ввести в заблуждение? Это можно сделать только специально.

Offтопик:
Ну вот ты с братом тестируешь усилители. Тебе ведь нужен объективный результат - и ты попросишь его ничего не говорить, и вообще не намекать.
И я скажу по опыту - когда сосредоточен на музыке, "невольные подсказки" и намёки только раздражают и мешают. Они не нужны, когда разница действительно заметна, и ни к чему, когда её практически нет.
Никому из проводящих тест не нужен недостоверный результат. Поэтому прямых намеков никто не делает, а "невольные" отлетают как шелуха.
Чтобы это понять, достаточно сделать несколько добросовестных тестов лично.

---------- Добавлено в 09:28 ---------- Предыдущее сообщение в 09:12 ----------

Offтопик:

Забавно что один из главных противников ДСТ к 9-й странице обсуждения как оказалось не знал что это в точности такое

Вы глупости не пишите! Если меня имеете в виду, я хотел чтобы сторонники ДСТ с моей подсказки осознали двусмысленность и искусственность разделения на двойной и одинарный тесты. Чтобы задумались о сути.
Если не понимаете ход мысли - спросите, вам разъжуют.

Особенно узнав что по крайней мере один человек здесь на форуме, мнению которого по вопросам аудио я доверяю в силу его опыта, не считает ДСТ пригодным для аудио.

Это общее правило. Чем более опытен в аудио человек, тем более скептически он относится к ДСТ.
ДСТ необходим при тотальном недоверии, причём как к себе (если участник), так и ко всем остальным.
В то же время любой участник, давая оценку, опирается именно на свои ощущения. Разве это не парадокс?
(вопрос понятен, или требует дополнительной расшифровки? )

По сути дела, существование ДСТ может быть оправдано только в одном случае -
если тот, который мы называем слепым, на самом деле зрячий
(если и эта мысль непонятна - я умываю руки Тестируйте как вздумается (хоть раз пробовали?), ДСТ еще больший самообман)

[anli]

Вы глупости не пишите! Если меня имеете в виду, я хотел чтобы сторонники ДСТ с моей подсказки осознали двусмысленность и искусственность разделения на двойной и одинарный тесты. Чтобы задумались о сути.
Если не понимаете ход мысли - спросите, вам разъжуют.

Абсолютно никакой двусмысленности. Понимает смысл Д не только Женя, но и все, кроме тебя. И слово "Двойной" относится не к слову "тест", а к слову "слепой". Первый "слепой" - реципиент. Второй "слепой" - проводящий. И тебе уже разжевали. А ты всё путаешься. Опять пытаешься хлопать по плечу тех, кто понимает больше тебя. И ты, Игорь, опять в луже. Я тебе уже говорил - если не сечёшь фишку, не лезь. Похлопывая по плечу других, ты выставляешь клоуном себя. У тебя опять словесный понос.

Чтобы самих себя ввести в заблуждение? Это можно сделать только специально.

Вся история взаимоотношений людей состоит из этого, и это делается не специально.

И я скажу по опыту

О каком опыте речь, если, судя по тобой тут написанному, у тебя нет понимания не то что сути, а даже грубого смысла контекста разговора?

И я скажу по опыту - когда сосредоточен на музыке, "невольные подсказки" и намёки только раздражают и мешают.

Например, ты не понимаешь, что такие подсказки в большинстве своём не осознаются и, как результат, не могут раздражать. Самое главное - они не осознаются не только реципиентом, но и проводящим тест!

а "невольные" отлетают как шелуха

Похоже, даже прямые ненамёки от тебя отлетают, как шелуха. Ну ты тут единственный человек на земле такой. Глухой, слепой и запахов не чуешь.

Чтобы это понять, достаточно сделать несколько добросовестных тестов лично.

Другая элементарная штука, которую ты опять не понимаешь: "добросовестность" тут не зависит от воли.

Чем более опытен в аудио человек, тем более скептически он относится к ДСТ.

Дело тут не в скептицизме к принципу, а в очень больших сложностях в корректной организации (и степень сложности тут сильно зависит от того, что тестируется.). И, очевидно, необходимо осознавать область применения. А именно, это фиксация "коротких" различий. Речь не идёт о фиксации предпочтения на долговременной основе (читай - о выборе тракта).

ДСТ необходим при тотальном недоверии, причём как к себе (если участник), так и ко всем остальным.

Эта фраза - просто бред. Без натяжек. И замечательный пример того, когда сказать нечего, а хочется.

В то же время любой участник, давая оценку, опирается именно на свои ощущения. Разве это не парадокс?
(вопрос понятен, или требует дополнительной расшифровки? )

Если ты хочешь расшифровать глупость собственных слов - нет, лучше, избавь. И от слов и, тем более, от расшифровки.

По сути дела, существование ДСТ может быть оправдано только в одном случае -
если тот, который мы называем слепым, на самом деле зрячий

Бред на 100%.

если и эта мысль непонятна - я умываю руки

Пока ты писал только бред, а не мысли. Но руки тебе умыть - давно пора.

Offтопик:
Я просто в шоке. Да, бывают моменты, когда собеседника подкалывают друг друга. Но это всё же моменты, когда оба собеседника хотя бы примерно понимают, о чём речь. Но когда некто пытается унизить собеседников (сразу всех оппонентов скопом), сам при это будучи в обсуждаемом вопросе полным нулём - и это происходит регулярно, и его регулярно тыкают носом в лужу - этого понять не могу.

[Audiomaniac]

Таак, товарищи туристы, не разбредаемся!

1) Некорректный предмет тестирования. Целью ДСТ является определение наличия/отсутствия осознанной разницы в звучании, что не совпадает с целью создания высококачественной звуковоспроизводящей аппаратуры, а именно - возможно более полной передачи эмоционального содержания музыки. Значительная часть этого содержания воспринимается через подсознание. Необходимость осознания разницы в звучании приводит к подмене предмета теста. Осознание же разницы в эмоциональном воздействии, особенно в условиях повторных прослушиваний - очень непростая задача даже для опытного и специально тренированного слушателя.

2) Низкая чувствительность. Даже для хорошо тренированного слушателя гарантированная базовая линия часто проходит на уровне весьма грубых различий в звучании.

3) Сложность корректной организации (особенно в любительских условиях), с учётом усталости и привыкания слуха, необходимости многократных тестов в идентичных условиях, контрольных тестов для определения базовой линии (нет смысла проводить тест, если невозможно в данных конкретных условиях надёжно отличить, скажем, 128 кб/c MP3 файл от исходного CD) и т.д. и т.п. .

Вот эти три тезиса кто-нибудь из верующих в ДСТ предметно по пунктам опровергнуть может?

[anli]

Вот эти три тезиса кто-нибудь из верующих в ДСТ предметно по пунктам опровергнуть может?

Эти тезисы выражают личное отношение Алексея (в частности, его малый или вообще никакой интерес к ДСТ). Зачем их опровергать? На базе каких общих правил, чтобы это опровержение тебе было интересно? Если по пунктам:

1. Целью ДСТ может быть что-то отличное от "создания высококачественной звуковоспроизводящей аппаратуры". Создание MP3-индустрии - пример (на мой вкус, несомненно, социально ущербный). Другой пример - психоакустические опыты, которые, в идеале, помогли бы точнее определиться с приоритетами идей, с выбором компромиссов при "создании высококачественной звуковоспроизводящей аппаратуры".

2. "Низкая чувствительность" - понятие относительное. И недоказуемое

3. Да, несомненно, многие интересные опыты сложно организовать. Но я выше приводил пример опытов, которые организовать "в местном масштабе" очень просто. А именно, это ABX-программки в контексте тестирования себя самого на, ха-ха, например, различие 0.1db на 20KHz, чем тут мифотворцы хвастаются. Тут нет никаких сложностей, если есть в качестве источника компьютер (желательно с хорошим внешним ЦАПом в master mode). Другой пример - ресэмплирование 96/24 (normalized) - 44.1/16 - 96/24. Имеется в виду осознанное использование лучших ресэмплеров в режиме максимального качества для собственного осознания необходимости формата 96/24.

Это, как видишь, не опровержение, а просто ортогональное дополнение. Тут нет противоречий. Алексей не пишет бред

Ну и как писал выше, надо не забывать, что это "короткие" тесты. И другой (и, может, самый важный) их смысл - чисто методологический. На примере двух вышеприведённых примеров (0.1db на 20KHz и ресэмплирование) можно оценить собственную трезвость, когда в "зрячем" (и тоже "коротком"!!) тесте "слышишь" отличия на фрагментах - слышишь потому, что "должен", или потому, что они действительно фиксируются.

[alexf52]

Целью ДСТ является определение наличия/отсутствия осознанной разницы в звучании,

Этого не надо опровергать поскольку это правда. И мой начальный вопрос был только в том что если задача именно "определить осознанную разницу в звучании", то какие возражения против ДСТ.

[ИГВИН]

Offтопик:
anli не способен спорить без личных наездов. Это видно даже в слепом тесте за километр. Полная неспособность понять аргументы собеседника.
Полный отрыв от практики звука.
Когда нечем возразить - начинаются дешевые, гнилые и пустые наезды, оскорбления оппонента. И бабская истерика.
"По стилю изложения - это демагог и бредоносец.
Я не читаю людей, намеренно и осознанно смешивающих здоровые тезисы со специально подобранными смехотворными для дискредитации первых последними.
Мне не интересно, что пишут такие люди, вообще в принципе."
Cyberflipper
Поэтому - игнор.

мой начальный вопрос был только в том что если задача именно "определить осознанную разницу в звучании", то какие возражения против ДСТ.

Да в общем никаких.
Но если понимать музыку как искусство, а не как проверочные тесты (по сути совершенно бессмысленные), то осознанная разница есть лишь малая часть общей разницы.
Всё дело в том. что с помощью технических средств мы воспринимаем искусство, т.е. принципиально нетехническую субстанцию Как же её замерить? А не замеряется она!
Вот у некоторых технарей башню-то и сносит...
alexf52, если помните, вам в начале задавали вопрос - зачем, т.е. с какой целью делается ДСТ?
Вообще-то эту ветку (в принципе полезную) можно спокойненько перечитать с самого начала, и не ходить по кругу.

[Alex Nikitin]

если задача именно "определить осознанную разницу в звучании", то какие возражения против ДСТ.

Остаются два другие пункта . В целом этот спор бесполезен, пока спорящие на своём опыте не получат представление о том, что такое ДСТ в аудио с положительным результатом, и какую именно разницу такой тест может уверенно определить. После этого, я уверен, энтузиазм по поводу ДСТ в применении к качественному аудио быстро пропадёт, а качество уровня MP3 меня, например, в принципе не интересует. Без получения же положительного результата, как базовой линии, ДСТ - это просто бессмысленная трата времени и сил.

Алексей

[Iliya20]

Но если понимать музыку как искусство, а не как проверочные тесты (по сути совершенно бессмысленные), то осознанная разница есть лишь малая часть общей разницы.
Всё дело в том. что с помощью технических средств мы воспринимаем искусство, т.е. принципиально нетехническую субстанцию Как же её замерить? А не замеряется она!

Игорь, а при чём здесь музыка как искусство? В Хармане специально отбирают для ДСТ неинтересную и невовлекающую музыку, чтобы слушатели не отвлекались, не притопывали ногами и не прихлопывали в ладоши. Иногда вообще вместо музыки используют записи голосов коллег по работе, чтобы определить насколько точно они воспроизводятся. Целью теста обычно бывают весьма тривиальные задачи, например, установить у каких из колонок бас приятнее на слух, у каких из колонок глубже(шире) сцена, при какой частоте раздела между НЧ и СЧ, 350Гц или 380Гц какие-то новые проектируемые колонки звучат лучше. Никакой мистики и волшебства.

[alexf52]

что с помощью технических средств мы воспринимаем искусство

Мы действительно зашли в тупик и пора прекратить споры так как предмет постоянно подменяется.

зачем, т.е. с какой целью делается ДСТ

Чтобы понять есть ли между А и Б разница заметная на слух или разница только в голове когда известно априори что ее "надо" слышать.

Я не предлагаю использование ДСТ для "измерения искусства" или поиска смысла жизни. А вот чтобы понять влияет ли фактор Х на звук так что это заметно именно по звуку а не результат самовнушения - IMHO ДСТ незаменим. Но действительно пошли по кругу.

[ИГВИН]

Iliya20, alexf52, уверен, что вы понимаете, что бас (и проч. внешние хар-ки звука) не есть музыка.
На эту точку зрения я уже отвечал - в определенных случаях ДСТ может быть быть полезным.

Ловля искажений звука в узких заданных рамках не нуждается в слепом тесте. А для ловли искажений музыкального содержания слепой тест бесполезен.
Тогда зачем он вообще? Наверное, кому-то нужен... Только не меломанам.

Видимо, так и надо ставить вопрос - кому и зачем нужен (необходим) слепой тест? Когда он незаменимым?
Можете ответить на него?

Если определены цели и задачи, а также рамки применения - отчего бы нет?
Он существует вне зависимости от наших споров - пусть будет себе.

например: какая частота раздела между НЧ и СЧ в каких-то новых проектируемых колонках (при прочих равных условиях) звучит лучше, 350Гц или 380Гц или определяют важность обеспечения равномерной диаграммы направленности в диапазонах стыковки динамиков итп.

Все эти показатели, хотя могут быть и важными, по сути своей - частности.
Слух к музыке настроен на суть - на её передачу, чтобы она воспринималась как искусство.
То, что для подобных целей ДСТ узок и не годится, рассмотрено выше.

Харман делает правильно, с.з. бизнеса - берет неподготовленных слушателей, которым фактически всё равно. То есть фирма Харман мониторит потенциальных покупателей.
Любителей-меломанов мониторить бесполезно - у них запросы слишком высокие, а круг весьма ограничен.
Но вопрос - для тестирования высших серий (Ревел и проч.) тоже привлекают равнодушных посторонних?

[Audiomaniac]

А вот чтобы понять влияет ли фактор Х на звук так что это заметно именно по звуку а не результат самовнушения - IMHO ДСТ незаменим.

А можно привести примеры ПОЛОЖИТЕЛЬНЫХ (т.е. выявлена разница между А и Б) результатов ДСТ? Я вот чета могу сходу припомнить только вопли "разницы между проводами, конденсаторами, колонками, усилителями (нужное подчеркнуть) - нет. Доказано ДСТ!"

Поэтому - игнор.

Игорь, давно пора было, я даж удивляюсь, как ты столько времени терпел этого провинциального сверхчеловека с его стадами и баранами.

Харман делает правильно, с.з. бизнеса - берет неподготовленных слушателей, которым фактически всё равно

Потому и имеем современные АС, бурдящие что-то себе под нос - потому что таким "слушателям" главное чтобы музыка не отвлекала от телевизора, бухтело бы себе там гденить в углу ненавязчиво, и ладно. Ну и диван трясся при просмотре кина.

[anli]

Offтопик:

anli не способен спорить без личных наездов.

Я разве спорю с тобой? Мне всё равно, кто написал бред.

Полная неспособность понять аргументы собеседника.

У тебя их не было никогда. Были цитаты чужих "умных мыслей". А от себя ты можешь только поокать. А когда набираешься храбрости говорить по существу сам, то тут же получается клоунада и технические ляпы.

Поэтому - игнор.

Страус

---------- Добавлено в 16:32 ---------- Предыдущее сообщение в 16:28 ----------

Offтопик:

с его стадами и баранами.

Удивительно, что человек с гуманитарным образованием (а юридическая деятельность такое подразумевает) не видит социальной основы большинства человеческих действий. Бараны этого тоже не видят.