Двойной слепой тест - возражения?

[alexf52]

Если определены цели и задачи, а также рамки применения - отчего бы нет?

Ну слава богу! Я же сразу оговорился о применении для вполне конкретных целей.

только вопли "разницы между проводами, конденсаторами, колонками, усилителями (нужное подчеркнуть) - нет.

Тут уже религия: ясно что разница "между проводами, конденсаторами, колонками, усилителями (нужное подчеркнуть) " есть. Раз тест не показывает - тест выкинуть.
Если использование особо дорогих проводов позволяет Вам лучше воспринимать искусство (если конечно вы знаете что провода дорогие), никто этого у Вас не отнимет.

Иногда требуется очень серьезная экспертиза чтобы определить подлинность картины ценой в миллион. А подделка стоит скажем 100 тех же единиц. Это искусство. И рынок.
А на стенке с 2х метров никто разницу не заметит. Иначе не нужна бы была экспертиза. Значит на какую картину смотреть - все равно. А вот знание что это подлиник сильно повышает цену. Так и со звуком: если разницу с закрытыми глазами уловить нельзя но знание что у Вас стоит (нужное подчеркнуть) помогает наслаждаться искусством, то пожалуйста. Но это уже другая область.

[Iliya20]

Вот так и появляются в свет аудиокопоненты с безжизненным и совершенно неинтересным звучанием

Не могу согласиться.

[ИГВИН]

Но это уже другая область.

Верно.
Если вернуться к аудио, то не кажется ли вам удивительным то обстоятельство, что про проведении некоего теста между совершенно разными изделиями не нашлось отличий?
И не говорит ли в таком случае отсутствие отличий о плохом разрешении теста как инструмента?
Как вы считаете?

Не могу согласиться.

Конкретно имеющийся у меня Harman-Kardon HD970 именно безжизненное и совершенно неинтересное звучание и продемонстрировал (до апгрейда).
Поражаюсь, как можно было выпустить в свет столь плохо звучащий плеер.
В то время как сделан физически он очень неплохо, и ЦАП там AD1955. И функционал весьма приличный. Только звук - очень плохой. На 2 балла по шестибалльной.
Это результат каких тестов, с привлечением кого в качестве экспертов?
Может пример нехарактерный, но факт есть факт. Пусть даже фактик.

[Iliya20]

Конкретно имеющийся у меня Harman-Kardon HD970 именно безжизненное и совершенно неинтересное звучание и продемонстрировал (до апгрейда).
Поражаюсь, как можно было выпустить в свет столь плохо звучащий плеер.
В то время как сделан физически он очень неплохо, и ЦАП там AD1955. И функционал весьма приличный. Только звук - очень плохой. На 2 балла по шестибалльной.
Это результат каких тестов, с привлечением кого в качестве экспертов?
Может пример нехарактерный, но факт есть факт. Пусть даже фактик.

Насколько я знаю, усилители эти никто в ДСТ не проверяет. Их заказывают каким-то корейцам (изготовителям OEM), и если опытные образцы соответствуют техзаданию, то тогда уже закупают крупную партию с шильдиками "Н/К".

[ИГВИН]

Насколько я знаю, усилители эти никто в ДСТ не проверяет. Их заказывают каким-то корейцам (изготовителям OEM), и если опытные образцы соответствуют техзаданию, то тогда уже закупают крупную партию с шильдиками "Н/К".

Iliya20, блестящий ответ!
Отлично показал, что мой пост вы читали по диагонали, т.е. почти не читали...
Ну как же можно что-то обсуждать, не читая собеседника?
Исправляйтесь!

[alexf52]

Если вернуться к аудио, то не кажется ли вам удивительным то обстоятельство, что про проведении некоего теста между совершенно разными изделиями не нашлось отличий?
И не говорит ли в таком случае отсутствие отличий о плохом разрешении теста как инструмента?
Как вы считаете?

Замечательно. Начали говорить по существу.
Не зная подробностей конкретного теста о котором Вы говорите трудно делать выводы но если Вы имеете в виду некий абстрактный тест то отрицательный результат может означать:

1. Разницы заметной на слух в данном случае нет.
2. Другие элементы тракта разницу маскируют.
3. Люди участвующие в тесте не обладают достаточно развитым слухом. Значит для них разницы нет, но кто-то другой может ее услышать.
4. Что то непавильно с тестом если точно исключены первые 3 пункта.

И не говорит ли в таком случае отсутствие отличий о плохом разрешении теста как инструмента?

А какой тест кроме контрольного прослушивания лучше ответит на вопрос "есть ли разница на слух между А и Б"? И если в слепом тесте разницу не слышно но если знать что это А а не Б и тогда сразу становится "слышно" то это однозначно эффект пласибо.

Harman-Kardon HD970 именно безжизненное и совершенно неинтересное звучание и продемонстрировал

А это уже совсем другой вопрос: хорошо или плохо а не есть ли разница. И тут ДСТ не место. Вам нравится после переделки больше - замечательно! Тут уже все индивидуально. То что для Вас "безжизненное и совершенно неинтересное звучание" для кого то может показаться "идеальным трактом не окрашивающим звук". Может им так нравится?

[Iliya20]

Iliya20, блестящий ответ!
Отлично показал, что мой пост вы читали по диагонали, т.е. почти не читали...
Ну как же можно что-то обсуждать, не читая собеседника?
Исправляйтесь!

А с другой стороны, Игорь, какая разница в пол-второго ночи(утра ) усилитель это или плеер? Факт в том, что электронику там никто тщательно не прослушивает, тем более с использованием процедур ДСТ. Грубо говоря, считается, что если электроника надёжно работает без глюков и соответствует ТЗ по выходной мощности, шумам и искажениям, то и слушать её как бы необязательно.

[Prophetmaster]

Не могу согласиться.

Я не имел в виду какую-либо конкретную фирму, а тенденцию вообще. Среди бюджетной техники редко попадаются звучащие аппараты, но то, что они попадаются - это факт. Значит можно сделать за небольшие деньги, если есть желание и соответствующий подход.

[ИГВИН]

Iliya20,
Электроника разве не аудио?
Вот тут alexf52 мне не верит, что плеер звучал плохо. Но я-то его слышал - а он нет! То есть нижеследующие соображения есть догадки, не более того.

Вам нравится после переделки больше - замечательно! Тут уже все индивидуально. То что для Вас "безжизненное и совершенно неинтересное звучание" для кого то может показаться "идеальным трактом не окрашивающим звук". Может им так нравится?

Пойдем далее.

отрицательный результат может означать:

1. Разницы заметной на слух в данном случае нет.
2. Другие элементы тракта разницу маскируют.
3. Люди участвующие в тесте не обладают достаточно развитым слухом. Значит для них разницы нет, но кто-то другой может ее услышать.
4. Что то непавильно с тестом если точно исключены первые 3 пункта.

Еще раз по первому пункту (вы тоже невнимательны!). Тестируются два разных устройства. Результат теста отрицательный. Это моя предпосылка.
Вы её же повторяете в своём пункте 1, далее предполагаете, отчего разница не зафиксирована в пункте 2, и в пункте 3.
Тогда как вопрос поставлен совершенно однозначно:

не говорит ли в таком случае отсутствие отличий о плохом разрешении теста как инструмента?

Какая нам разница, отчего тест оказался беспомощен? Если он беспомощен - это следует признать.
Только тест, дающий ПОЛОЖИТЕЛЬНЫЙ результат, может считаться корректно поставленным. Постарайтесь это осознать.

Если использование особо дорогих проводов позволяет Вам лучше воспринимать искусство (если конечно вы знаете что провода дорогие), никто этого у Вас не отнимет.

Что касается проводов.
Если они разные (физически разно сделаны), а тест этой разницы не показал - ну какой же это тест? Скорее глухой, чем слепой.
Одно печенье соленое, а второе сладкое - а на вкус одинаковы? Так не бывает, не-ет...

[Iliya20]

Я не имел в виду какую-либо конкретную фирму, а тенденцию вообще. Среди бюджетной техники редко попадаются звучащие аппараты, но то, что они попадаются - это факт. Значит можно сделать за небольшие деньги, если есть желание и соответствующий подход.

Согласен. Однако, почему Вы решили, что правильный подход не включает в себя (исключает) ДСТ?

[ИГВИН]

Offтопик:
Ладно, коллеги.
Поспите, поднаберитесь логики, доброй всем ночи!

[anli]

Только тест, дающий ПОЛОЖИТЕЛЬНЫЙ результат, может считаться корректно поставленным.

Что касается проводов.
Если они разные (физически разно сделаны), а тест этой разницы не показал - ну какой же это тест? Скорее глухой, чем слепой.
Одно печенье соленое, а второе сладкое - а на вкус одинаковы?

Ну всё, приплыли. Нет слов для оценки такого.

Кому-то что-то ещё не ясно?

---------- Добавлено в 02:06 ---------- Предыдущее сообщение в 02:05 ----------

Offтопик:
Ладно, коллеги.
Поспите, поднаберитесь логики, доброй всем ночи!

Ой. И тут же "логик" похлопал по плечу.

[Alex Nikitin]

Раз тест не показывает - тест выкинуть.

Тест без положительных результатов не показывает ничего. В этом и проблема. Прежде, чем спорить дальше, попробуйте в ДСТ статистически достоверно отличить, например, оригинальную запись на CD от MP3 с битрейтом 128 кб/с. Если отличить не смогли, слушайте и получайте удовольствие от MP3, какие проблемы . Выясните для себя, где проходит граница чувствительности ДСТ. При этом заметьте, что для статистически достоверного результата требуется значительное количество повторений. Попробуйте для начала получить положительный результат - и расскажите здесь, на каком уровне разницы Вы лично оказались способны отличить звучание в ДСТ.

Тут несколько раньше меня упрекнули, что мне ДСТ не интересен. Это не совсем так. ДСТ мне перестал быть интересен после того, как я понял его ограничения. Подумайте сами - что может быть более привлекательным для разработчика, чем надёжный и научно достоверный инструмент, позволяющий реально определять разницу? Что может быть более важным, чем возможность избежать самообмана? Я изучал вопросы тестирования очень усердно в своё время, сам участвовал в тестах, читал о результатах тех, кто их делал и т.д. и т.п. . В конце концов я понял, что единственныый результат всех моих усилий в этом направлении - потерянное зря (или почти зря) время. Если бы я пытался опираться на результаты ДСТ при разработке, я смог бы сделать прилично звучащую аппаратуру только чисто случайно, а скорее всего никогда бы её не сделал. Именно поэтому я уже довольно давно стараюсь избегать даже разговоров о ДСТ - эта ветка появилась в результате того, что Вы меня поймали на слове и я выполнил обещание, хотя, как можно заметить, с нулевым результатом .

Алексей

P.S.

при всем уважении подход "нет положительного результата, значит тест не годится" представляется не вполне научным

Любой измерительный прибор, инструмент, метод, в том числе и ДСТ, требует проверки работоспособности и калибровки. Если Вы хотите измерить напряжение, а ваш мультиметр сломан, то он всюду покажет 0. Если Вы хотите проверить стабильность напряжения источника питания во времени, а показания Вашего вольтметра дрейфуют со временем в десять раз сильнее, чем величина нестабильности тестируемого аппарата, то что Вы намеряете таким образом? Если Вы не знаете, какую именно разницу Вы способны определить в ДСТ, как Вы можете использовать его в качестве инструмента для определения неизвестной по величине разницы?!

[alexf52]

alexf52 мне не верит, что плеер звучал плохо. Но я-то его слышал - а он нет!

Да нет же! Я верю что Вы слышали что звучал плохо. Все что я сказал это то что хорошо/плохо это другая категория чем есть разница или нет.
И что хорошо/плохо - понятие совсем субьективное. Некоторые любят рэп и не любят джаз. Я - наоборот.

Еще раз по первому пункту (вы тоже невнимательны!). Тестируются два разных устройства.

Отчего же невнимателен. Я прочитал что два разных устройства. Но это не значит что они обязательно звучат разлечимо на слух. Вы хотите сказать что раз устройства разные значит разница на слух быть обязана? И если ее не слышно так не потому что не слышно а потому что тест "оказался беспомощен"? Только потому что не подтвердил Вашей гипотезы о том что разница просто должна быть?

Только тест, дающий ПОЛОЖИТЕЛЬНЫЙ результат, может считаться корректно поставленным.

Это уже, извините, как бы повежливее сказать...

Закройте глаза. Попросите друга включать и вылючать Долби. Слышно разницу? То то же. Вот и положительный результат.

---------- Добавлено в 16:47 ---------- Предыдущее сообщение в 16:36 ----------

Попробуйте для начала получить положительный результат - и расскажите здесь, на каком уровне разницы Вы лично оказались способны отличить звучание в ДСТ.

Как раз этого мне не надо. Я не пытаюсь доказать что я эксперт. И подозреваю что хотя бы в силу возраста слышу нюансы хуже чем раньше.
Я понимаю и принимаю Ваши возражения по трудностям. А какая альтернатива?

Допустим я делаю прибор, скажем пред-усилитель. Могу поставить ОУ за $25 или за $0.25. Допустим по приборам заметной разницы нет. Для серии разница в цене очень велика. Мне надо определить стоит ли овчинка выделки. Как в такой ситуации правильно решить без слепого теста?

Вопрос не риторический. Мне очень интересно как Вы, специалист, решаете такой вопрос.

Offтопик:
(Реально ставят панельку так что желающие могут сделать upgrade)

.

[Alex Nikitin]

Закройте глаза. Попросите друга включать и вылючать Долби. Слышно разницу? То то же. Вот и положительный результат.

Отлично, это означает, что такой уровень разницы заметен в Вашем ДСТ. Вы считаете такую чувствительность теста достаточной? Положительный результат тем и хорош, что он определяет базовую линию. Если Вы можете измерить линейкой толщину доски, то это не значит, что этой же линейкой можно измерить ширину зазора магнитной головки . Тест без базовой линии не может ничего доказать. Тест с наличием определённого положительного результата говорит только о том, что при результате отрицательном разница ниже базовой линии. Именно поэтому есть смысл (и желание любого честного организатора ДСТ) получить статистически достоверный положительный результат для возможно меньшей известной разницы.

---------- Добавлено в 00:52 ---------- Предыдущее сообщение в 00:49 ----------

Как в такой ситуации правильно решить без слепого теста?

А это и есть одно из умений, отличающих хорошего разработчика . Навыки, позволяющие услышать то, что требуется, не обманывая себя, дорого стоят и вырабатываются годами.

Алексей

[alexf52]

А это и есть одно из умений, отличающих хорошего разработчика

Раз это профессиональный секрет, то больше приставать не буду. Я не делаю (коммерческой) звуковой аппаратуры, так что чисто академический интерес.
Если я правильно прочитал между строк то определяете на слух, но не в слепом тесте и считаете что так точнее. ОК.

[Alex Nikitin]

Раз это профессиональный секрет, то больше приставать не буду. Я не делаю (коммерческой) звуковой аппаратуры, так что чисто академический интерес.
Если я правильно прочитал между строк то определяете на слух, но не в слепом тесте и считаете что так точнее.

Секрета здесь никакого нет, чистое умение, которое приходит с опытом. Разумеется, я определяю на слух и, чаще всего, не в слепом тесте - и уж точно не в ДСТ. Это опыт, это школа - в частности, именно за это (и за преодоление типичных инженерных предрассудков) я весьма благодарен Майклу Крику и тем девяти годам, которые я проработал под его руководством. Он слабый разработчик, но отличный и опытный слухач старой школы.

Алексей

[korolkov24]

Если бы я пытался опираться на результаты ДСТ при разработке, я смог бы сделать прилично звучащую аппаратуру только чисто случайно, а скорее всего никогда бы её не сделал.

Согласен!
Метод алхимии не только занимает бесконечно длинное время, но и в принципе, приводит к неизвестному результату.

Секрета здесь никакого нет, чистое умение, которое приходит с опытом.

Умение определять на уровне субъективного не даёт объективной оценки и слегка противоречит пункту выше.

Я думаю, что для объективной оценки, с помощью тестов должны быть получены пороги чувствительности к различным видам искажений.
Оперируя полученными данными, мы можем отодвинуть качественные показатели от порога чувствительности как можно дальше.

---------- Добавлено в 07:19 ---------- Предыдущее сообщение в 06:41 ----------

Подавляющее большинство пром.аппаратуры звучит уныло и плохо.

Это не имеет ни какой связи с их качественными показателями, а является лишь субъективными ощущениями конкретной аудитории.

[Audiomaniac]

Тут уже религия: ясно что разница "между проводами, конденсаторами, колонками, усилителями (нужное подчеркнуть) " есть. Раз тест не показывает - тест выкинуть.

Вы это про "религию", "самообман", дорогие картины, ерничанье по поводу искусства (т.е. намеки на то, что оппонент дурак и самообманный лохъ с "дорогими проводами", а я весь такой трезвомыслящий инженер) Никитину, пожалста, объясняйте, чего вы только мне-то возражаете? Возражайте ему в таком духе
Или боязно?

Я понимаю и принимаю Ваши возражения по трудностям. А какая альтернатива

Чего, сразу хвост поджал?
Дилетант.

Это не имеет ни какой связи с их качественными показателями, а является лишь субъективными ощущениями конкретной аудитории.

Единственный качественный показатель, который нас интересует - это и есть те самые субъективные ощущения аудитории, так что никакого противоречия тут нет.

[korolkov24]

Единственный качественный показатель, который нас интересует - это и есть те самые субъективные ощущения аудитории, так что никакого противоречия тут нет.

который нас интересует

Кого нас? я в другой категории.
Меня интересуют в первую очередь качественные показатели, а потом уже субъективное восприятие.
Оценить субъективное восприятие нет проблем, послушал и всё, но это ни как не говорит о качественных показателях.
Конечно, если усилитель имеет кГ=10%, то на слух мы уже можем судить о его качестве, но это уже...
Как показывает практика, и я думаю с этим ни кто не поспорит, для большей части ценителей звука, справедлив такой график.

Стоит задуматься!

Ещё есть слушатели, их большинство, типа моей жены, которая вообще без претензий к качеству.
Есть ещё профессионалы, которые создают то, что мы слушаем, для них также важна верность воспроизведения, а не личные субъективные впечатления.