Методы тестирования компонентов.

[ИГВИН]

Как известно, в одной из соседних веток обсуждается, как сделать коробочку для тестирования кабелей.

Прежде чем затевать какое-либо прослушивание, готовить переключающее устройство, считаю совершенно необходимым ответить на ряд серьезных вопросов.
Каждый из них заслуживает отдельного рассмотрения, внимательного и детального.
Без ответов на эти вопросы само тестирование просто невозможно.
Вот эти вопросы.

1. Формирование контрольного тракта, с учетом акустических условий помещения.
Кто формирует, какое помещение?

2. Оценка разрешающей способности контрольного тракта.
Кто занимается этим, кто дает оценку пригодности тракта и помещения? Как быть, если экспертов тракт не устроит?

3. Составление словаря терминов, используемых при оценке звучания.
Если этого не сделать, будет элементарное непонимание задачи, или неумение выразить то, что эксперт услышал.

4. Разработка анкеты, которую будут заполнять эксперты.
Эта анкета должна быть подробной. Удобной, исключающей ошибки, типа не туда галочку (цифру) поставил.

5. Выбор музыки для тестирования.
Должен быть сделан заранее. Представлены разные жанры. С записями необходимо ознакомить экспертов заранее, причем не с копиями, а с оригиналами. Кто будет подбирать записи, как быть, если эксперты не сойдутся в выборе?
На каких носителях будут записи?

6. Выбор тестируемых компонентов.
Допустим, это межблочные кабели. Сколько их должно быть? Какие, откуда возьмутся?
Кто решает, какой кабель тестировать, а какой отвергнуть?

7. Выбор методики тестирования.
Должны ли эксперты знать заранее, какие кабели участвуют? Знать их количество?
Должны ли эксперты иметь возможность заранее прослушать эти кабели очно?
Как проводить переключение кабелей:
а) Незаметное переключение компонента в ходе воспроизведения.
б) Переключение в ходе воспроизведения, с объявлением о нём.
в) Переключение в паузе, когда трек возвращается на начало.

Надо решить, слушать ли всё произведение целиком, или только фрагмент.
Если последнее – выбрать фрагменты, которые всем экспертам подошли бы.

г) Должно ли быть сравнение парным, т.е. кабель №1 с кабелем №2.
д) Или сравнение методом триад, когда оба кабеля сравниваются с третьим, который объявляется образцом.
е) Может быть, типа «олимпийки», когда вся масса кабелей разбивается на пары, и в полуфиналы/финал проходит лучший?
Но это уже немного другой тип тестирования, ставящий целью выбрать лучший, а не установить, в чём собственно заключается разница, если она есть.

8. Как быть с усталостью экспертов, человек не прибор, не функционирует непрерывно.
Кабели, которые в начале тесте будут идентифицироваться, в конце - нет, а это поставит под сомнение результаты экспертизы.

9. Основное – не названа цель теста. Допустим, развенчать миф о кабелях, доказать что нет различий. Тогда надо максимально запутывать экспертов, настаивая на мгновенном переключении без объявления, в ходе непрерывного прослушивания. Применяя ложное переключение. Но доказав, что нет разницы между парой кабелей, не доказано, что нет третьего кабеля, с которым разница есть.

Если же стоит цель установить, существует ли разница в обычных условиях, в домашнем прослушивании, то тест не нужен вообще. Достаточно выдать разным экспертам по очереди пару-тройку кабелей, и пусть пишут свои независимые мнения. Мнения совпали – факт разницы доказан. Разошлись с точностью до наоборот – не доказан.


Я уверен, что это только часть вопросов, т.к. продумать всю процедуру в одиночку нереально.
Ваши предложения, мысли?
Желательно по пунктам, чтобы не путаться.
_________________________________
Ирина Алдошина: Методы субъективной оценки качества звучания аудиоаппаратуры.
http://www.erta.ru/review/quality.shtml

Предложение ZugDuk*a и Anli https://forum.vegalab.ru/showpost.ph...&postcount=187

[Yury Novikov]

Но доказав, что нет разницы между парой кабелей, не доказано, что нет третьего кабеля, с которым разница есть.

Поэтому кабелей в тестировании будет будет не 2 и не 3, а 5-6 одновременно, причем они будут отличаться по конструкции принципиально, например, первый кабель сделан полированным по методу Амура, второй кабель сделан из сетевого провода от настольной лампы, в виниловой изоляции, затянутого в экран, третий кабель из аллюминиевой моножилы, четвертый из проводов от телефункеновского трансформатора, пятый из полевого телефонного кабеля с медными и стальными жилами, и т.д. несколько совершенно разных кабелей. Для начала предлагаю зафиксировать и задокументировать разницу в звучании таких принципиально разных проводов и материалов. Остальное будет позднее.

Добавлено через 1 минуту

2. Оценка разрешающей способности контрольного тракта.
Кто занимается этим, кто дает оценку пригодности тракта и помещения? Как быть, если экспертов тракт не устроит?

Игорь, в соседней ветке я предложил использовать Ваш тракт, на котором точно всё слышно. И снять этим все вопросы сразу.

[ИГВИН]

Игорь, в соседней ветке я предложил использовать Ваш тракт, на котором точно всё слышно. И снять этим все вопросы сразу.

Вы хоть бы спросили меня вначале

Но разве это единственный вопрос, который надо разрешить?

[kobarr]

7. Ничего не мешает проделать все подпункты.
Единственно, это не забыть вбить это в программу.

1. Новиков, пишет что в студии, а там это учтено.
Кроме того, это мало имеет значение, так как все эти множественные эффекты слышат разные люди, соответственно и обстановка у всех разная.

[Yury Novikov]

Кроме того, это мало имеет значение, так как все эти множественные эффекты слышат разные люди, соответственно и обстановка у всех разная.

Вот и я о том же. У всех ведь системы совершенно разные, но слышат они одинаково. Думаю и тут им ничто не помешает услышать. В любом случае аппаратура будет достойная. Тем более задача, на первом этапе, специально будет упрощена до предела.

Добавлено через 31 секунду

Вы хоть бы спросили меня вначале

Дык я и спросил. Но ответа не последовало.

[Iliya20]

Заметка по поводу разницы между "зрячими" и "слепыми" тестами: http://seanolive.blogspot.com/search...tening%20tests

[AlexList]

Если ставится задача сравнить между собой компонент А и компонент Б, то:

1. Формирование контрольного тракта, с учетом акустических условий помещения.
Кто формирует, какое помещение?

Формирует тот, кому это все нужно, т.е. должен быть человек-инициатор, двигатель прогресса, так сказать. Формирует на свой вкус и исходя из имеющихся аппаратных возможностей. Помещение такое, какое Бог послал. Изначально предполагается, что прослушивание происходит в той комнате и на том тракте, где "есть звук". Того, кто не понимает значения двух последних слов, в состав жюри не включать.

Кто занимается этим, кто дает оценку пригодности тракта и помещения?

Тот, кто затевает все дело, инициатор.

Как быть, если экспертов тракт не устроит?

Эксперты отправятся домой пить чай с бубликами.

С записями необходимо ознакомить экспертов заранее, причем не с копиями, а с оригиналами. Кто будет подбирать записи, как быть, если эксперты не сойдутся в выборе?

Да не обязательно это. При прослушивании на тракте, который не совсем уж полный отстой - РАЗНИЦА между тем и другим как правило слышна практически сразу. Подобрать записи должен инициатор, а не возбраняется и гостям принести свои диски.

На каких носителях будут записи?

Да на любых.

Сколько их должно быть?

Один из самых важных вопросов. Лучше 2-3, не больше (и не меньше )

Кто решает

Инициатор

Должны ли эксперты иметь возможность заранее прослушать эти кабели очно?

Без разницы

в) Переключение в паузе, когда трек возвращается на начало.

Правильный вариант. Причем в случае CD-проигрывателя необходимо всякий раз нажимать кнопку СТОП (а никак не ПАУЗА). И запускать нужный трек не перелистыванием их начиная с первого, пока дойдешь до нужного, а прямым набором номера на пульте - трек № 4, например.

Надо решить, слушать ли всё произведение целиком, или только фрагмент.

Практика показывает, что оптимально слушать фрагменты - секунд по 30-90, в зависимости от музыкального материала. Меньше - можно не успеть сделать для себя вывод, больше - отвлекаешься и просто начинаешь слушать музыку... либо устаешь.

г) Должно ли быть сравнение парным, т.е. кабель №1 с кабелем №2.

Конечно.

Должны ли эксперты знать заранее, какие кабели участвуют?

Без разницы

Как быть с усталостью экспертов, человек не прибор, не функционирует непрерывно.

Второй самый важный вопрос. По сути дела, это требует осмысления дела инициатором. Попробую высказать свои соображения.
1. Экспертов должно быть сообразно размеру помещения. Средняя жилая комната просто физически не может предоставить нормальные условия для более, чем 4, самое большее 5 человек.
2. Помещение должно быть хорошо проветрено. И через минут 40-60 проветривать. На время прослушивания в городских условиях, к сожалению, зачастую приходится закрываться от шума с улицы.
3. В помещении должно быть достаточно приятно находиться - нормальный ремонт, чисто, опрятно.
4. И наконец. Усталость в значительной степени может вызываться "соседним экспертом". Поэтому ЖЕСТКО устанавливаются правила, ОГРАНИЧИВАЮЩИЕ влияние человеческого фактора со стороны.
4.1. Строго запрещено во время прослушивания, пока оно еше не закончено, высказывать свое мнение (или даже ПОКАЗЫВАТЬ его своими жестами и поведением)
4.2. Если предполагается обсуждение после прослушивания - то на нем строго запрещается высказывать свое мнение в категоричной форме (типа "Ну, этот компонент - полное дерьмо"). Требуется корректность поведения и высказываний.
4.3. Можете улыбаться, но это - абсолютно необходимое требование: Все участники тестирования обязаны явиться на мероприятие в свежих чистых носках, и (!!) категорически запрещено приходить на тестирование лицам, надушенным туалетной водой и дезодорантами. Утром в день тестирования участникам разрешается после бритья либо помыть переднюю панель мылом с водой, либо водой без мыла. Одеколон и прочее - запрещено.

Соблюдение этих требований резко ограничивает усталость людей во время процесса.

Основное – не названа цель теста.

Так вот и назовите. Причем - назовите обязательно. Объявите всем заранее, и еще раз перед началом, для чего мы собрались, что мы хотим и что будем делать. А перед этим поймите для начала сами для себя, для чего собственно и затеян весь этот сыр-бор.

Тогда надо максимально запутывать экспертов

Не надо никого никогда запутывать. Это будет сильным человеческим отрицательным фактором, вносимым в процесс уже организатором-инициатором. Не надо держать в голове никаких хитрых мыслей. От этого все очень быстро устанут. Переключать компоненты должен организатор, спокойно и уверенно. Перед запуском трека он должен объявлять - "Работает компонент А" или "Работает компонент Б" - обязательно! А вот какой именно компонент работает - они знать не должны. Как уж тут выкрутиться, простыню накинуть или что - поможет фантазия и конкретные условия прослушивания.

[ИГВИН]

1. Новиков, пишет что в студии, а там это учтено.

Это пока неизвестно.
Практически, я бы предложил экспертам ознакомиться с аппаратурой и акустической обстановкой предварительно, поодиночке.
И провести для себя пробное, без протокола тестирования, чтобы убедиться в прозрачности тракта.

Как мнение общества?

4. И наконец. Усталость в значительной степени может вызываться "соседним экспертом". Поэтому ЖЕСТКО устанавливаются правила, ОГРАНИЧИВАЮЩИЕ влияние человеческого фактора со стороны.
4.1. Строго запрещено во время прослушивания, пока оно еше не закончено, высказывать свое мнение (или даже ПОКАЗЫВАТЬ его своими жестами и поведением)
4.2. Если предполагается обсуждение после прослушивания - то на нем строго запрещается высказывать свое мнение в категоричной форме (типа "Ну, этот компонент - полное дерьмо"). Требуется корректность поведения и высказываний.

Безоговорочно поддерживаю это требование.
Собственно, с остальными тоже согласен.

Может быть, будет лучше, если эксперты будут слушать поодиночке?
Меньше отвлечений, выше сосредоточенность - надежнее результат.

Все пункты программы, по которым будут разногласия, я предложил бы обсудить, но не всем форумом, а именно экспертами, и за ними оставить окончательное решение.

[Alex]

1. Формирование контрольного тракта, с учетом акустических условий помещения.
Кто формирует, какое помещение?

ТЫ не считаешь, что этот вопрос лучше задать напрямую Юре, а не открывать для этог специальную тему?

2. Оценка разрешающей способности контрольного тракта.
Кто занимается этим, кто дает оценку пригодности тракта и помещения? Как быть, если экспертов тракт не устроит?

И это тоже. Кстати о тракте - ты надеюсь понимаешь, что если пригласить шизоретиков с АМЛ-а, то твой супернавороченный тракт будет забракован в первую очередь? У тебя же там полупроводники!

3. Составление словаря терминов, используемых при оценке звучания.
Если этого не сделать, будет элементарное непонимание задачи, или неумение выразить то, что эксперт услышал.

Не надо никаких "терминов", достаточно двух - "хорошо" и "плохо". Или оценку по 5/10/скольки-то там бальной системе.
Если будут термины - начнется еще и в них путаница.

[ИГВИН]

Alex, учту твое мнение.
Пиши еще, подробно и аргументировано.
Здесь есть много нерешенных вопросов.

[kobarr]

По поводу регистрации оценки эксперта во время теста.

Всё-таки, каким образом будет передаваться оценка на компьютер?

Ведь несколько стадий тестирования будет проходить!



Имхо. Передачу оценки вижу только через пульт дистанционный, который будет вруках у эксперта. На пульте кнопка (или несколько) с названием типа "слышу". Тогда оценка поступит моментально и без посредника, а значит и возможной ошибки.

[ИГВИН]

Всё-таки, каким образом будет передаваться оценка на компьютер?

Хороший вопрос!

И еще один очень важный вопрос - по каким критериям будет даваться оценка?
Грубо говоря - как будем тестировать?

[Alex]

Alex, учту твое мнение.
Пиши еще, подробно и аргументировано.
Здесь есть много нерешенных вопросов.

Нет, виду твоего нежелания понимать что тебе говорят и попыток увода в сторону, я больше писать не буду.

[AlexList]

Собственно, с остальными тоже согласен.

Я не просто так написал. Эти замечания - плод не одного десятка домашних сравнительных прослушиваний с разным количеством участников.

И еще один очень важный вопрос - по каким критериям будет даваться оценка?
Грубо говоря - как будем тестировать?

Игорь, по вопросу критериев среди экспертов единогласия и единообразия добиться практически никогда невозможно. И даже заниматься этим непродуктивно. Критерии у всех свои. Результат прослушивания ведь субъективен. Вот пусть эксперты и высказывают свои мнения субъективно - в описательной форме. Минимальная оценка, которую должен дать каждый - это "я бы предпочел компонент А более, чем компонент Б". А уж как раскрыть этот тезис - это воля и дело и умение каждого. Некоторые очень четко все слышат, но описать подробно им трудно. Итого: каждый должен дать порядок предпочтительности тестируемых компонентов (1 место - ..., 2 место - ...и тд) плюс по желанию дать более развернутую аргументацию, что понравилось-что не понравилось. И глядя на все это, в конечном счете легко будет все понять.

[ИГВИН]

каждый должен дать порядок предпочтительности тестируемых компонентов (1 место - ..., 2 место - ...и тд) плюс по желанию дать более развернутую аргументацию, что понравилось-что не понравилось. И глядя на все это, в конечном счете легко будет все понять.

Надеюсь на это!
Но когда тестируется большая группа изделий, с увеличением их количества нарастает возможность добросовестной ошибки.
Поэтому количество надо ограничить.

Или вообще, первое прослушивание сделать из двух кабелей.
Просто чтобы установить сам факт заметности/незаметности.

Если он подтвердится, расширить тест.

[Aquarius]

г) Должно ли быть сравнение парным, т.е. кабель №1 с кабелем №2.
д) Или сравнение методом триад, когда оба кабеля сравниваются с третьим, который объявляется образцом.

В любительской астрономии есть субъективные глазомерные методы "сравнения блеска переменных звезд" (тег для Гугла). Если в ниже приведенной цитате заменить "блеск звезды" на "звучание кабеля",то все будет работать. ГЛАВНОЕ, ЧТО МЕТОД МОЖЕТ БЫТЬ НЕСЛЕПЫМ.

Иными словами, если звезды кажутся одинаковыми, тогда говорят, что звезды имеют разницу блеска в 0 степеней. Если разница незначительна – в 1 степень, если больше – в 2 степени и так далее. Для более точного определения блеска переменной звезды необходимо подобрать как минимум пару звезд недалеко от переменной и имеющих звездную величину чуть больше и чуть меньше, чем у переменной. Такие звезды называют звездами сравнения; им присваивают буквенные имена (a, b, c и т.д.). Выбрав несколько таких пар звезд, необходимо оценить разницу в блеске между ними и переменной по следующей шкале:

звезда a большей частью имеет одинаковый блеск, но временами кажется, что то одна, то другая звезда чуть ярче; тогда говорят, что звезды имеют одинаковую яркость и пишут a0v;
если звезда a (одна из звезд сравнения) и v (переменная) при попеременном рассматривании их представляются почти одинаково яркими, но иногда кажется, что звезда a немного ярче чем звезда v; тогда считают, что разница в блеске равна одной степени, и записывают a1v;
звезда a чуть ярче v, но иногда кажется, что они равны по блеску; тогда эту разницу оценивают в две степени a2v;
если звезда a чуть ярче переменной и это ясно с первого взгляда, но разница не столь велика, тогда считают, что они имеют разницу в блеске в три степени a3v;
звезда a определенно ярче звезды v; тогда пишут a4v.

Если сравнить подобным образом блеск переменной звезды с более слабой звездой, тогда можно получить запись вида: a2v3b. Если знать звездные величины для звезд сравнения a и b, тогда можно рассчитать звездную величину переменной звезды. Для повышения точности измерения блеска необходимо правильно подобрать звезды сравнения. Чем больше звезд сравнения и чем ближе они по яркости к переменной, тем точнее и объективней будут ваши наблюдения. Необходимо учесть, что нужно стараться подбирать звезды сравнения как можно более близкого спектрального класса, так как в обратном случае в ваши измерения будут вкрадываться ошибки, связанные с различиями в восприятии глазом того или иного цвета.

Понятно, что для данной методы обязательны "эталонные кабели" ("звезды сравнения") разного класса и "звучания". И чем этих эталонов больше, тем точнее результат. Но не в безвоздушном же пространстве все происходит. Наверняка есть и общепризнанные бренды...
А по самой методе - свидетельствую - работает на 5+. Еще и погрешности можно минимизировать "методом наименьших квадратов".

З. Ы. Поскольку звезды сравнения имеют численно выраженные "яркости", то и результат в этих же единицах яркости. Понятно, что с кабелями тут сложнее, хотя если захотеть систему метрик можно придумать. НО ГЛАВНОЕ, ЧТО СУБЪЕКТИВНЫЕ ОЦЕНКИ ПРЕВРАЩАЮТСЯ В ОБЪЕКТИВНУЮ ФИЗИЧЕСКУЮ ВЕЛИЧИНУ.

[Скиф]

4.3. Можете улыбаться, но это - абсолютно необходимое требование: Все участники тестирования обязаны явиться на мероприятие в свежих чистых носках, и (!!) категорически запрещено приходить на тестирование лицам, надушенным туалетной водой и дезодорантами. Утром в день тестирования участникам разрешается после бритья либо помыть переднюю панель мылом с водой, либо водой без мыла. Одеколон и прочее - запрещено.

Улыбаюсь, но поддерживаю! Человеческий "нюх" очень чувствительный, даже самый незначительный запах может сильно отвлекать.

Я бы ещё добавил, что до и во время теста не стОит принимать рюмочку "за встречу"

[Aquarius]

И еще один очень важный вопрос - по каким критериям будет даваться оценка?

Игорь, по вопросу критериев среди экспертов единогласия и единообразия добиться практически никогда невозможно. И даже заниматься этим непродуктивно. Критерии у всех свои.

1. Формируется общий (суммарный) перечень критериев.
2. Каждый эксперт ставит показаталь "важности" (весовой коефициент) напротив каждого критерия.
3. Обработка ведется с учетом весовых коэфициентов (например, по методике из #16).

[AlexList]

Надеюсь на это!

Желаю тебе и прочим, чтобы эти твои слова оказались не проходными, а на самом деле. Реальное желание участников разобраться, понять, услышать - это, между прочим - вообще САМОЕ ГЛАВНОЕ в подобного рода мероприятии. Появление на сцене всего лишь одного балластного участника, которому скучно или который свысока смотрит на собрание как на людей, занимающихся ерундой - и тестировать аппаратуру сразу станет значительно труднее. Поэтому, по большому счету, отбор экспертов производится по некоторым критериям, озвучивать которые я вслух не буду

Но когда тестируется большая группа изделий

Так не надо

Или вообще, первое прослушивание сделать из двух кабелей

Максимум из 3-х, я об этом писал в 7 посте.
Реально, тестированием значительного количества однотипных компонентов, по моему опыту, может продуктивно заниматься только группа из 2 человек, причем хорошо и давно друг друга знающих и давно "спевшихся" в вопросах предпочтений и тд. Разнородный коллектив на тестировании более чем 3 изделий просто захлебывается. Для первого раза можно ограничиться и 2-мя. Если только после тестирования 2-х изделий наблюдается нормальная психологическая обстановка, наблюдается некоторый консенсус, тогда можно попытаться включить в рассмотрение еще одно изделие.

Добавлено через 8 минут

Улыбаюсь, но поддерживаю! Человеческий "нюх" очень чувствительный, даже самый незначительный запах может сильно отвлекать.

Я бы ещё добавил, что до и во время теста не стОит принимать рюмочку "за встречу"

Без еды средний человек может продержаться 60-90 дней, без воды - 14-20 дней, а без воздуха - с включенным мозгом максимум 3 минуты, с выключенным - максимум 5-6 минут. Дыхание - оно вообще важнейшее условие жизни аудиофила. Поэтому повторюсь - вопрос проветривания, чистых носков и отсутствия парфюмерии на домашнем тестировании - ОЧЕНЬ ВАЖЕН. Проверено на людях. Вонючие носки могут сорвать мероприятие, к сожалению. Если бы не горький опыт, я бы этот момент не подчеркивал.
Выпивать до и во время теста - нонсенс. Тут и обсуждать нечего.

Добавлено через 24 минуты

1. Формируется общий (суммарный) перечень критериев.
2. Каждый эксперт ставит показаталь "важности" (весовой коефициент) напротив каждого критерия.
3. Обработка ведется с учетом весовых коэфициентов (например, по методике из #16).

Можно оценки выставлять по-всякому, в том числе и так. Лично мое убеждение - ничего не надо усложнять. Человек - действительно не автомат, он отвлекается, он устает. Вопрос выбора для человека изначально некомфортен, по самой своей сути. Человек как венец творения ведь заслуживает самого лучшего, не так ли. Помните это: "Я абсолютно неприхотлив. Мне вполне достаточно всего самого лучшего" ?? Ах, золотые слова.
А тут ведь один компромисс надо предпочесть другому.
Человек выбирает легко, когда выбирать надо из 1 позиции (вспомните USSR). А если их (позиций) не одна? Вспомните, как вы себя чувствовали, когда ваша подруга затащила вас в магазин, где она выбирала себе шмотку. Помните, как вы устали? Хотя выбирали-то не вы, вы только вроде как присутствовали. Но вас все время просили дать оценку, подходит ли оно, как я выгляжу и проч.!! Понравилось быть экспертом??
Можно выставить систему критериев с весами, но затем каждый раз на каждом треке нужно будет пробегать весь список и УВЕРЕННО ставить галочки-плюсики. Это что за мазохизм? Сколько продержаться в таком режиме можно? Советую человеколюбие предпочесть наукообразию. А там уж как решите...
Самое главное - разницу как правило слышно сразу и без особых хлопот. Наукообразие и заорганизованность только грузят психику и в конечном счете мешают слушать. ИМХО.

[kobarr]

Дыхание - оно вообще важнейшее условие жизни аудиофила.

В данном случае не на войну отправляют и с пистолетом у виска не будут стоять.

Убеждён, если сей эффект человек реально слышит, ему не придётся напрягаться до стрессового состояния, а до теста он к нему не преступит пока не успокоется.