Генератор синуса с гармониками

[E.Sokol]

Существует концепция измерения, при которой к синусу подмешиваются его гармоники с небольшой амплитудой в противофазе. Такую задачу и решает эта программа. Помимо гармоник (которые можно выборочно отключать) есть ещё три дополнительные частоты для вспомогательных задач. Также можно округлять частоту синусоиды к значению, нацело укладывающуюся в стандартные размеры FFT (2048/4096/etc), чтобы избежать влияния оконных функций.

Все значения громкости относительно Master`а, режим auto дополнительно подгоняет уровень сигнала под 0 дБ, ориентируясь на измерения пиковых значений при воспроизведении.

Драйвер вывода звука пока только WASAPI, shared/exclusive режимы и выбор частоты дискретизации присутствуют. В режиме shared может происходить неявная передискретизация, если частота дискретизации не поддерживается устройством. В режиме exclusive поддерживаются только частоты от драйвера, в остальных случаях появится сообщение об ошибке.

Значения в полях ввода также можно менять мышкой с нажатой левой кнопкой и Ctrl или Shift на клавиатуре, по аналогии с элементами управления ползунок или полосой прокрутки. Ctrl - для быстрого изменения значений, Shift - для медленного, Ctrl+Shift - особо медленного с дополнительным разрядом.

Сама программа: HarmonicSineGeneratorPro.v.2.1.zip, для работы может потребоваться установка .NET Framework 4.

[IVX]

Мне кажется что у вас там с конверсией через double что-то не то.

имхо, всё там ок и даже чище, чем REW, одно но, REW с округлением частоты под длину ффт, становится просто идеально чист, а округление сокол-ген ничего не зачищает.

[dortonyan]

E.Sokol, нашел в чем дело. Все таки касяк был у меня: это потому что сигнал был ровно 1кГц. Задал чуть в сторону и получилось как у вас:

Получается что и в "железе" я наблюдал тот же самый эффект.
Причем удивительно два момента:
1. Частота семплирования - 44,1кГц, т.е. как бы не кратна частоте сигнала. Обычно такие приколы наблюдаются в сетке 48кГц.
2. В "железе" частота семплирования ЦАП и АЦП по определению не могут точно совпадать, но наблюдалось то же самое.

---------- Сообщение добавлено 12:15 ---------- Предыдущее сообщение было 12:02 ----------

Задал чуть по другому частоту - получилось еще лучше:

Все таки с дизером результат стабильнее.

---------- Сообщение добавлено 12:24 ---------- Предыдущее сообщение было 12:15 ----------

Попробовал разные уровни дизера для самого тяжелого случая: 1кГц сигнал и 48кГц ЧД.
Эмпирически выяснилось, что минимальный размах шума для получения гладкой шумовой полки 0,5LSB p-p (от 16 бит):

Правда не понятно почему ниже по частоте шум перестает снижаться...

[E.Sokol]

Да нет тут никаких косяков. Просто

[IVX]

Да нет тут никаких косяков. Просто

новая версия готова? Протестирую на выбранном из 20шт цапе с THD -149db.
Ещё добавлю вот что, сокол-ген у меня почти всегда висит в памяти винды, никогда не закрываясь. Только если возникает новый юсби дивайс и надо, чтоб этот ген егозаметил, надо перезапустить его. Отсюда мысль, а не был ли обнаруженный мной "косяк" сокол-гена, вызван этим недельным висением в памяти? Для того чтобы подключиться по спдиф лупбаком, я как раз его рестартанул первый раз за пару недель.

[E.Sokol]

новая версия готова?

Пока ещё нет, потому что не совсем определился с нюансами, плюс надо низкоуровневую часть прописывать, плюс это всё делать уже в своём SDK, чтобы не терять зря все эти наработки.

Изначально предполагалось, чтобы просто заменять младший бит квантованного сигнала из бит из LFSR, дёшево и сердито. Но уже несколько товарищей сказали, что это это перебор и полбита достаточно. Но полбита для меня это магия, немагия для это добавлять шум в double с произвольной амплитудой, либо же заменять биты после квантования с пропуском. Для чего я сделал прореженный LFSR и кажется, что он работает чуть лучше. Ещё кажется, что если из него вырезать Notch-фильтром несущую частоту, то это тоже даёт чуть лучший результат. Большое пространство для экспериментов, в общем.

Далее dortonyan предложил сделать нойз-шейпинг, с этим я тоже раньше дела не имел. Испытываю все реализации, которые смог найти. Это тоже не быстро, потому что они все в блок-схемах для электронщиков, а не готовый код, который можно скопировать и вставить. Пока наиболее интересным выглядит 3-й порядок, который меньше предыдущих зависит от добавленного шума. 4-й порядок, который я сделал по аналогии со вторым, оказался численно неустойчивым даже с квадратичной точностью. Что обидно и хочется победить. Ну и всем этим шейперам нужны разные уровни шума в зависимости от порядка и уровня квантования.

рестартанул первый раз за пару недель.

Если бы я знал, что он будет в настолько жёстких условиях использоваться - то обязательно бы протестировал непрерывную работу в течении месяца.

[dortonyan]

Изначально предполагалось, чтобы просто заменять младший бит квантованного сигнала из бит из LFSR, дёшево и сердито.

Только дизер так не делается. Таким образом вы просто суммируете шум.
А надо убрать шумы квантования квантованного сигнала, т.е. восстановить ДД исходного неквантованного сигнала.

Но уже несколько товарищей сказали, что это это перебор и полбита достаточно. Но полбита для меня это магия, немагия для это добавлять шум в double с произвольной амплитудой, либо же заменять биты после квантования с пропуском.

E.Sokol, ну выше же уже разбирали. Неужели еще не понятно?
1 бит дизера - означает не разрядность шумового сигнала, а его уровень относительно выходного (квантованного) слова.
То же самое и пол бита - это не разрядность, а уровень!
Ну и размах 0,5LSB годится только при использовании шейпера. Если порсто дизер, то симулятор показывает, что надо минимум 1LSB (т.е. +/-0,5LSB).

Пример в целочисленной арифметике:
Исходное слово имеет разрядность 32 бита. Нам нужно округлить его без потери ДД в 24 бита с дизером размахом в 0,5LSB. Амплитуда шума соот-но будет +/-0,25 LSB от 24-х бит.
0,5 LSB от 24-х бит соответствует 1LSB от 25 бит. Поэтому разрядность дизера получается 32 - 25 = 7 бит.
Из этих 7 бит старший знаковый, поэтому в знаковом выражении мы и получим нужные нам +/-0,25LSB.
Далее.
Генерируем шум (случайное знаковое число), допустим библиотечное 32-х разрядное. Затем выполняем арифметический сдвиг значения шума вправо на 25 бит. Получили 32-х разрядное знаковое значение шума нужной амплитуды.
Суммируем это число с исходным 32-х битным числом. Получили сумму сигнала и шума.
Теперь надо округлить это 32-х разрядное число в 24-х разрядное. Для этого к полученному значению прибавляем еще константу 0,5LSB от 24-х бит.
0,5LSB от 24-х бит в 32-х разрядном выражении равно (0x01 << 7). Т.е. к сумме сигнал+шум суммируем еще число 128.
Готово.
Теперь можно отбросить от полученного 32-х битного значения 8 младших бит и получим нужное 24-х битное число.

Пока наиболее интересным выглядит 3-й порядок, который меньше предыдущих зависит от добавленного шума.

С шейпером только есть момент, что он снижает шум квантования за счет роста шума ближе к частоте Найквиста. Если частота семплирования с 4..8 раз выше частоты сигнала, то нет проблем.
Если же у нас частота семплирования 44к, то это означает, что шум растет уже в полосе полезного сигнала (частота Найквиста совсем рядом). Поэтому я бы ограничился 1..2 порядком.
А так-то порядок можно нарастить хоть до 5. При разрядности в 16 бит проблем с устойчивостью гарантированно не будет.

И еще есть небольшой нюанс, касательно амплитуды сигнала.
Суммирование шума или ОС шейпера добавляет к амплитуде полезного сигнала немного уровня, из-за чего может произойти переполнение.
Поэтому предварительно нужно выполнять небольшую аттенюацию сигнала (минимально необходимую).

[E.Sokol]

1 бит дизера - означает не разрядность шумового сигнала

То, что я когда-то давно слышал про дизеринг, звучало именно так.

а его уровень относительно выходного (квантованного) слова.

Так если это относительный уровень, так почему вы его в битах измеряете, а не в децибелах?

И еще есть небольшой нюанс, касательно амплитуды сигнала.
Суммирование шума или ОС шейпера добавляет к амплитуде полезного сигнала немного уровня, из-за чего может произойти переполнение.

Об этом я тоже смог догадаться и в модели учитываю. Конкретно в этой программе аналитически рассчитать предельную амплитуду суммы всех синусоид будет чуть сложнее из-за возможных сдвигов фаз в гармониках. В предыдущей версии она тупо берётся по факту.

---------- Сообщение добавлено 14:07 ---------- Предыдущее сообщение было 13:58 ----------

А если однобитность шума не принципиальна, то у меня есть замечательный генератор шума на комплексных числах.

[dortonyan]

То, что я когда-то давно слышал про дизеринг, звучало именно так.

Возможно, в каких-то случаях шум может быть и однобитным, но это частный случай.
А в общем - это просто некий шумовой сигнал, а не однобитная последовательность.
Ну и просто логически рассудите: как можно увидеть сигнал уровнем скажем в -140дБ на 16-битном квантовании при использовании 1-битного дизера?

Так если это относительный уровень, так почему вы его в битах измеряете, а не в децибелах?

Дизер нужен для снижения шума квантования, поэтому и соотносить его удобно с шагом квантования.

[tomtit]

Программа просто замечательная, хотя я ни разу не пользовался компенсацией гармоник.
Я бы не заморачивался с фичами для домохозяек. Если кто-то не прикинул максимальный уровень сигнала или межсемпловый клиппинг от белого шума заранее перед тестированием - то сам дурак. Предлагаю не заморачиваться с автоматическими уровнями, а оставить только корректный клиппинг выхода при перегрузке.
Не понимаю, зачем нужен нойз-шейпинг в генераторе, его же никто слушать не будет.

Кстати, каких-то существенных отличий по искажениям от генератора REW не обнаружил.
Ваш - гораздо удобнее, и позволяет добавлять компоненты произвольной частоты. Часто использую совместно с REW RTA, когда нужно задать различные частоты дискретизации ЦАП и АЦП.

А вот округление с дизерингом до произвольной разрядности - вещь полезная.
Дизеринг можно сделать двух сортов - с прямоугольным (+-0.5LSB) и треугольным (+-1LSB) распределением, это классика. Глубину дизеринга сделать 52-N, чтобы использовать всю разрядность double для целых чисел. Тогда младший бит результата будет коррелировать со всеми отброшенными разрядами, и при наличии «бесконечного» времени для анализа можно их все восстановить. .

К генераторам на LFSR y меня только одна претензия - при аппаратной реализации нужно проматывать регистр хотя бы на несколько разрядов, что сильно снижает производительность и сокращает период. Для программной реализации можно взять просто какой-нибудь CRC алгоритм c побайтовым или даже пословным LUT, что автоматом обеспечит промотку LFSR на 8 и более битов.

[E.Sokol]

можно масштабировать LFSR из (0,1) в (-1,1) и забить нулями после каждого семпла. Тогда АЧХ просто отзеркалится и гарантированно останется линейной.

Вот что конкретно имелось в виду:

Здесь LFSR 8-го порядка с длиной периода 255. После масштабирования к (-1, 2^(n/2)/(2+2^(n/2))) он забивается 9-ю нулями после каждого семпла, т.о. суммарная длина периода составляет 2550 семплов, и спектроанализатор с такой же длиной показывает идеально ровную АЧХ. А другой длиной - уже нет, типичный шум. Вот таким преобразованиям я как математик/программист доверяю, в отличие от манипуляций с отдельно взятыми битами LFSR с верой в то, что они не будут взаимокоррелированы.

Либо же можно пересчитать постоянную составляющую таким образом, чтобы она была равна нулю, и тогда LFSR можно будет безопасно интегрировать для получения коричневого шума, а в спектре соответственно будут появляться провалы на частотах кратных Найквисту в результате зеркалирования:

[tomtit]

Я не понимаю ваши рассуждения. Возьмите спектр небольшого участка идеального белого шума, он никогда не будет плоским.
Так же и с LFSR - в жизни мы всегда имеем дело с крошечной долей его периода. Там не может быть плоской АЧХ в принципе, но это никому не мешает. Нелинейные генераторы с достаточно большим периодом тоже хорошо аппроксимируют белый шум, их применяют в криптографии.

Да, кстати, для получения нужной разрядности используют всегда все биты сдвигового регистра при помощи преобразования, типа XOR всех лишних битов с выбранным участком регистра. Любое изменение LFSR должно приводить по-возможности к изменению на выходе. Где тут магия а где математика - вопрос сложный.
Инженеры и физики не находят времени с этим разбираться и проверяют экспериментально.
Описанные приёмы позволяют как-то улучшить результат.

Попытки уменьшить ошибку без увеличения разрядности приведут к нойз-шейпингу, что уже проходили. Но любой шейпинг - это конечный автомат со своим периодом и паттернами, для устранения коих опять таки придем к дизерингу.
Похожая история происходит с БИХ фильтрами с большим отношением частоты выборки к частоте среза, там как ни извращайся, а очень длинный аккумулятор ни чем не заменить.

[dortonyan]

Здесь LFSR 8-го порядка с длиной периода 255. После масштабирования к (-1, 2^(n/2)/(2+2^(n/2))) он забивается 9-ю нулями после каждого семпла, т.о. суммарная длина периода составляет 2550 семплов, и спектроанализатор с такой же длиной показывает идеально ровную АЧХ. А другой длиной - уже нет, типичный шум.

А чем АЧХ "типичного" шума отличается от АЧХ на вашем скрине? В чем смысл изыскания?
Все равно двухуровневый шум для дизеринга не пригоден.
Почему нельзя просто взять шум из какой-нить библиотечной ф-ии генерации рандомного числа или CRC?

Вот таким преобразованиям я как математик/программист доверяю, в отличие от манипуляций с отдельно взятыми битами LFSR с верой в то, что они не будут взаимокоррелированы.

Может ошибаюсь, но вроде как математического расчета оптимального LFSR полинома не существует (есть только какие-то критерии для подбора полинома). Т.е. LFSR полином всегда делается методом "тыка", что не мешает применять его повсеместно.
И качество сгенерированного шума всегда можно протестировать спектральным анализом на сигналах разной частоты и уровня. Т.е. это не вопрос веры, все элементарно проверяется.

[tomtit]

Может ошибаюсь, но вроде как математического расчета оптимального LFSR полинома не существует (есть только какие-то критерии для подбора полинома). Т.е. LFSR полином всегда делается методом "тыка".

Просто потому, что на практике потратить неделю на подбор, проще, чем разбираться в алгебре полиномов в конечных полях Галуа.
Изобретать велосипед имеет смысл только для конкретной реализации в FPGA, если есть ограничения по ресурсам.
Существующие «хорошие» библиотечные генераторы случайных чисел заточены под криптографию, и могут быть сильно избыточны для простого дизеринга. Но вроде бы простейшие стандартные LCG (линейные конгруэнтные генераторы) нас вполне устроят. Я использую их, если осталась в резерве пара умножителей 18х18, а если нет - то LFSR или, в крайнем случае, нелинейный 3D клеточный автомат c длиной последовательности 2**27. У него практически нет корреляции соседних выборок, можно дизерить сразу несколько каналов от единственного генератора, работающего на умноженной частоте.

[E.Sokol]

Я не понимаю ваши рассуждения.

А что тут непонятного - генерация случайных чисел слишком важна, чтобы оставлять её на волю случая (с)

Возьмите спектр небольшого участка идеального белого шума, он никогда не будет плоским.

Это у вас не будет. У меня будет. Идеальный белый шум - это математическая абстракция, его в природе не существует.

Так же и с LFSR - в жизни мы всегда имеем дело с крошечной долей его периода.

Вы, опять же. Некоторые другие предпочитают иметь дело с полным периодом, чтобы иметь полный контроль над происходящим.

Существующие «хорошие» библиотечные генераторы случайных чисел заточены под криптографию

Ну во-первых, это враки. Никакой специальной "заточенности" под криптографию не существует, разве что в реализации бэкдоров, чтобы ваша тайная переписка для товарища майора была не такой уж и тайной. Просто в какой-то момент оказалось, что алгоритмически сформированная случайная последовательность оказалась не такая уж и случайная и её можно "взломать", то есть вычислить инициирующие параметры и каждое следующее значение предсказывать со 100%-ой вероятностью. После чего началась специальная олимпиада, когда одни придумывали всё более сложные и надёжные ГПСЧ, а другие их продолжали взламывать всё более сложным и изощрённым способом.

А во-вторых, у нас тут не криптография и задачи принципиально другие стоят. Не подмешивание шума как самоцель, а равномерное распределение ошибок округления по спектру. Соответственно 2 подхода получается: а) любой ГПСЧ с любыми характеристиками подходят, лишь бы период был побольше и б) одни ГПСЧ подходят лучше, чем другие.

---------- Сообщение добавлено 13:45 ---------- Предыдущее сообщение было 08:27 ----------

В качестве примера, как может выглядеть спектр синусоиды, если добавлять не просто какой-то там шум, а специально подобранный сигнал, синхронизированный с FFT.
16 бит:



24 бит:


---------- Сообщение добавлено 14:25 ---------- Предыдущее сообщение было 13:45 ----------

Ну и в порядке бреда:

[dortonyan]

В качестве примера, как может выглядеть спектр синусоиды, если добавлять не просто какой-то там шум, а специально подобранный сигнал, синхронизированный с FFT.
16 бит:

Как-то не очень он выглядит.

Вот как выглядит обычный 16 бит сигнал с обычным дизером 1LSB p-p, без специального подбора частоты и без синхронизации с FFT:

[E.Sokol]

Как-то не очень он выглядит.
Вот как выглядит обычный 16 бит сигнал с обычным дизером 1LSB p-p, без специального подбора частоты и без синхронизации с FFT:

Размер FFT у вас какой?

[dortonyan]

Размер FFT у вас какой?

Какой надо?
Назовите размер FFT, частоту сигнала и частоту семплирования.

[E.Sokol]

Какой надо? Назовите размер FFT, частоту сигнала и частоту семплирования.

Ну давайте 65537, раз спрашиваете. И без сглаживания. ~1 кГц 48000 sr у меня стандартно.

[dortonyan]

Ну давайте 65537, раз спрашиваете. И без сглаживания. ~1 кГц 48000 sr

Вот:
Но т.к. без сглаживания, то полка конечно "прыгает".

[E.Sokol]

Но т.к. без сглаживания, то полка конечно "прыгает".

Ну вот, я подозревал про сглаживание А мои примеры выше без сглаживания и в динамике выглядят точно так же, как и в статике. Но это в теории, на практике мне измерять нечего.