The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Использование в FFmpeg инструкций AVX-512 позволило в 94 раза ускорить некоторые операции

05.11.2024 10:34

Разработчики проекта FFmpeg сообщили о реализации новых ассемблерных оптимизаций, в которых, благодаря применению набора инструкций AVX-512, удалось ускорить некоторые операции, применяемые при декодировании видео. Прирост производительности ассемблерного кода с инструкциями AVX-512 составил 94, 44, 64 и 4.24 раза по сравнению базовой реализацией, написанной на языке Си без использования SIMD-инструкций. В ассемблерном коде с оптимизациями на базе инструкций AVX-2 прирост составлял 67, 27, 55 и 4.38 раз, соответственно, а на основе инструкций SSSE3 - 40, 21, 29 и 2.49 раз. Изменения добавлены в состав библиотеки dav1d, предлагающей альтернативный декодировщик для формата кодирования видео AV1. Инструкции AVX-512 доступны в процессорах AMD на базе микроархитектур Zen 4 и 5, и в процессорах Intel на базе таких микроархитектур, как Skylake-X, Ice Lake, Tiger Lake и Rocket Lake.



  1. Главная ссылка к новости (https://www.tomshardware.com/p...)
  2. OpenNews: Выпуск мультимедиа-пакета FFmpeg 7.1
  3. OpenNews: Проект FFMpeg представил собственную реализацию декодировщика xHE-AAC
  4. OpenNews: Основатель QEMU и FFmpeg опубликовал звуковой кодек TSAC
  5. OpenNews: Выпуск dav1d 1.0, декодировщика AV1 от проектов VideoLAN и FFmpeg
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/62177-ffmeg
Ключевые слова: ffmeg, avx, optimization, video
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Мохнонос (?), 11:03, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +28 +/
    Молодцы! Вот есть же разработчики, которые кроме обвеса плюшками и раскабанивания ПО ведут его непосредственную тщательную полировку
     
     
  • 2.31, Аноним (31), 13:24, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • –7 +/
    AVX512 инструкции появились в 2016 году 8 лет назад внимание вопрос. Это так долго до разработчиков доходила весть что инструкции появились? Они так долго копили на проц с поддержкой данных инструкций? Они 8 лет разрабатывали алгоритм? Ответ на любой вопрос показывает что разрабы у ффмпег не очень скажем так.
     
     
  • 3.34, Аноним (34), 13:29, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    когда тебе денег за работу не платят, то выбираешь сам когда и что делать по мере возможностей и желания.
     
     
  • 4.36, Аноним (31), 13:31, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Справедливо Интел должна доплачивать чтобы кто-то юзал их лишние инструкции.
     
     
  • 5.41, Юрий (??), 13:49, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Так интел уже официально не поддерживает AVX-512.
     
     
  • 6.49, Аноним (49), 14:43, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А что так? Не взлетело?
     
     
  • 7.65, Аноним (65), 16:03, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    AVX-512 не реализовали в E-ядрах, поэтому интел инструкции отключил для всех потребительских процессоров (начиная с 2-й ревизии[1] 12 поколения). Разные наборы инструкций на разных ядрах то ли нельзя, то ли некрасиво.

    Здесь в любом случае идеология есть: интел сильно топит за гетерогенность (большие P-ядра + малые E-ядра), а AVX-512 на кристаллах без E-ядер и возможность отключения E-ядер ради включения AVX-512 будут антирекламой гетерогенности.

    Интел говорит, что когда-нибудь решит проблему, заменив AVX-512 на AVX10.2 (перед которым ещё когда-нибудь AVX10.1)...

    [1] https://wccftech.com/heres-how-to-tell-between-an-avx-512-non-avx-512-supporti

     
  • 3.39, Anony (?), 13:40, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ты думаешь что все пользователи и все сервера сразу же в 2016 году обновились на новые процессоры с поддержкой AVX-512? Серьезно?
     
     
  • 4.43, Аноним (43), 14:23, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Массовыми такие процессоры стали далеко не в 2016.
    А когда стали появляться, Intel отрубила в т.ч. из-за роста температуры :))
     
  • 4.56, Вертел ваши спинеры (?), 15:07, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Под сокет АМ5 завезли.
    А раз они есть, то надо их использовать. Зря чтоли апгрейдился.
    Что там у интела не интересно и вообще пофик
     
  • 3.40, Аноним (40), 13:49, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    На 12400 попытались появиться, но интел быстренько резанули это дело. А проц 22-го года, если что.
     
  • 3.45, Ivan_83 (ok), 14:25, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не, чувак, тут вопросы к чипмейкерам.
    Я очень хотел проц с AVX512 а интел только завтраками кормило и в итоге зажало это для серверных камней.
    АМД только вот только для ам5 сокета раздуплилось.
    Потом там разные наборы этого AVX512 доступны, типа здесь одно - там другое. Я когда на AVX кодил мне часто из AVX2 не хватало инструкций, а с AVX512 я так понял что наборы ещё скуднее.

    А судя по тестам - мне и на обычном AVX2 производительности хватит :)
    Да даже на коредуба с SSSE3 видимо есть жизнь :)

     

  • 1.3, dim4k (ok), 11:04, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +9 +/
    Ассемблер стреляет тогда - когда этого никто не ждёт😏😏😏
     
     
  • 2.16, КО (?), 12:09, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Осталось только найти что конкретно сломали, лол
     
  • 2.19, Ник (??), 12:18, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нужно было писать на Java, там же волшебный jit который сам весь код оптимизирует!
     

  • 1.4, Аноним (4), 11:06, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Avx всё так же режет частоту процессора? Кто-нибудь уже составил сравнительную табличку того, чем придётся жертвовать при задействовании?
     
     
  • 2.7, dalco (ok), 11:13, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вроде как, урезание частот при включенном AVX относилось только к ранним моделям "синих".
     
     
  • 3.10, Аноним (4), 11:17, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Они там повторяли с каждым новым avx.
     
  • 2.11, Cykooz (ok), 11:25, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +5 +/
    В моих реализациях для AVX2, с использованием fixed-point арифметики, какой либо выигрыш перед наивной реализацией на float-ах, без AVX-а, полностью исчезает при выполнении задачи уже в 7-8 параллельных потоках.
    Так что если нужна именно однопоточная скорость, то SIMD дают заметный выигрыш. А в многопоточке, чем больше потоков, тем меньше выигрыш. Я полагаю, что это из-за снижения частоты ядер процессора при использовании SIMD.

    PS: У меня AMD Ryzen 9 5950X, в нём нет AVX-512.

     
     
  • 3.21, ryoken (ok), 12:31, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >>наивной реализацией
     
     
  • 4.27, Аноним (27), 12:42, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Может быть, он даже не ошибся. Называют же, например, реализацию преобразования Фурье в лоб, как по формуле, наивной.
     
     
  • 5.60, Аноним (60), 15:35, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Может быть, он даже не ошибся.

    ошибся, ибо то что он описал это тупо замена последовательных вычислений на параллельные, сам алгоритм не изменился. А в случае с "наивностью", сравните, к примеру, "наивный" алгоритм сортировки (перебор) с алгоритмом "быстрой" сортировки, это два разных алгоритма.

     
     
  • 6.64, Cykooz (ok), 15:54, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Под "наивной" я имел ввиду без ассемблера и без вызова разных интринсиков. Исключительно на базовых возможностях языка программирования, наивно рассчитывая что компилятор сотворит волшебство и выдаст самый оптимальный код.
    В реальности, по дефолту, если там и появляются на выходе какие-то SIMD, то максимум SSE2, который гарантируется архитектурой x86-64 и который компилятор может использовать.

    Алгоритм у меня один и тот же - берём пиксель, умножаем на коэффициент, результат прибавляем к аккумулятору. Кроме как распараллеливания там ничего особенно волшебного не придумаешь. Разве что fixed-point использовать вместо float-ов.

     
     
  • 7.68, Аноним (60), 16:24, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Под "наивной" я имел ввиду без ассемблера и без вызова разных интринсиков.

    думаю, уместно было бы написать "нативной (простой) реализацией на float-ах"

    > Кроме как распараллеливания там ничего особенно волшебного не придумаешь.

    и оно со своими ограничениями (проблема ввода)

     
  • 3.47, НяшМяш (ok), 14:31, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Это из-за снижения частоты процессора с ростом потоков. У меня в однопотоке такой же процессор бустится почти до 5.2, а во многопотоке до 4.4-4.6. Но у меня хороший кулер на процессоре и я довольно много потратил времени в биосе настраивая лимиты, чтобы он так работал. В стоке эти цифры ещё меньше будут.
     
     
  • 4.53, Ivan_83 (ok), 14:49, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    У него АМД, вряд ли просадка с 4 до 3,4 даст заметное проседание скорости, а ниже базовой АМД не сбрасывает, только тротлить может при перегреве.

    Я у себя вообще везде бусты выключил чтобы не тратить время и силы на охлаждение, а местами ещё и частота ниже базовой установлена.

     
  • 3.48, Аноним (48), 14:34, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Лучше в 1 потоке в 8 раз быстрее считать, чем в 8 потоках с той же скоростью.
     
     
  • 4.66, Cykooz (ok), 16:04, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не совсем так, мультипоток даёт прирост скорости даже при использовании SIMD. Просто относительное ускорение за счёт муторной ручной эквилибристики с SIMD инструкциями пропадает при каком-то числе потоков. Т.е. при необходимости можно выбирать что важнее: скорость в однопотоке, или простота написания и читаемость кода в реализации для мультипотока.
     
  • 3.50, Ivan_83 (ok), 14:45, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Таки ничего удивительного, учитывая что AVX позволяет более плотно загружать ИМЕЮЩИЕСЯ блоки, а у вас там гипертрединг ещё.
     
  • 2.22, Аноним (22), 12:33, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    На нормальных материнских платах можно регулировать оффсет частоты при выполнении AVX-инструкций, в т.ч. и ставить его в 0.
     

  • 1.8, _kp (ok), 11:14, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Время перекодирования или только "некоторые операции"? ;)


    Ps: и сравнение не с предудущим вариантом, а
    "по сравнению с кодом на языке Си", то есть вообще без avx/sse.
    Если б сравнили с i386, то прирост был бы еще больше.

     
     
  • 2.12, Андрей (??), 11:32, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Судя по скрину - некоторые операции... которые являются по сути базовыми для операций кодирования. Цельный результат оценить сложнее и скорее всего совокупный прирост небольшой, т.к. медленные операции того же чтения с диска быстрее не стали, да и в случае векторных расширений интересно на самом деле то, что там вообще кроме непосредственно одновременных вычислений есть куча расширений чисто для улучшения работы с кэшем, те же базовые load/store и вот тут предположу большую часть вклада внесли именно оптимизации работы кэша, а вычисления скорее довеском стали ибо будучи казалось бы более быстрыми они имеют высокие задержки и длятся дольше, ввиду чего задерживают конвеер не давая линейного прироста скорости.
     
  • 2.14, Аноним (14), 11:54, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Время перекодирования или только "некоторые операции"? ;)

    Отдельные функции.

    > Если б сравнили с i386, то прирост был бы еще больше.

    Сравнили с тем, что использовалось до этого.

     

  • 1.13, Big Robert TheTables (?), 11:50, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вроде бы удаляли эти инструкции, но вообще интересно, для каких именно разработчиков эти наборы инструкций добавляли. Ибо авторы ффмпег сейчас совсем как мы, сторонние программисты - мы зашли в магазин автозапчастей и увидели, что на прилавке есть двигатель, который подойдет на замену нашему. Но ведь изначально-то движок был для какой-то другой ракеты, был разработан, сбалансирован, проверен для иного использования.
    В идеале авторы кодеков должны делать брейншторм с авторами CPU. Если этого не делается, значит, с чипмейкерами брейнштормит кто-то другой.
     
     
  • 2.20, Аноним (65), 12:22, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > мы зашли в магазин автозапчастей и увидели, что на прилавке есть двигатель, который...

    Нет, мы взяли котёнка по кличке "ядро", у которого есть дверцы разного размера (от 64 до 512) и попробовали самую большую. Получилось хорошо.

    > Но ведь изначально-то движок был для какой-то другой ракеты

    Нет, это универсальные дверцы для любых законных целей.

    > должны делать брейншторм с авторами CPU

    Тебе должны? Откуда уверенность, что им не хватает новой специальной дверцы?

    > Вроде бы удаляли эти инструкции

    Только в интелах с E-котятами, потому у этих малых котят нет 512-дверцы. Дверцы малым и большим котятам положено иметь одинаковые.

     
     
  • 3.33, Аноним (31), 13:28, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Поэтому компания Интел и находится на грани банкротства с убытками 16 миллиардов в квартал. В квартал, Карл!
     
     
  • 4.42, Аноним (65), 14:18, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не поэтому. С тем же успехом можно сказануть, что "у него хардварные кодеки лучше и энкодер AV1 в 15 поколении появился, за счёт них точно выкарабкается".
     
  • 4.59, _kp (ok), 15:29, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Поэтому

    Из за этого покупатели не разбегаются.
    А вот, скоропортящиеся лотерейные процесоры, это уже серьёзнее.

     
  • 4.62, Аноним (60), 15:38, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    ссылку бы дать на квартальный финансовый отчет
     

  • 1.17, Аноним (17), 12:10, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Чует моё сердце, что тут 100 пудово есть какой-нить "нюанс", типа всё делаем в однопотоке или ещё чего-нить подобное.
     
     
  • 2.37, Rodegast (ok), 13:31, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нюанс в том что не везде он теперь будет работать.
     

  • 1.26, Аноним (26), 12:42, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Я надеюсь они пользовались GNU assembler с синтаксисом AT&T.
     
     
  • 2.30, Аноним (27), 12:51, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Надеюсь, с синтаксисом Intel.
     
     
  • 3.35, Аноним (31), 13:30, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Надеюсь на раст.
     
     
  • 4.44, Аноним (27), 14:23, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    На Rust надейся, а сам не плошай.
     
  • 4.52, Аноним (52), 14:49, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не надейтесь. Там ассемблер. Но и не расстраивайтесь. Для раста много ниш открывается. По замене питона, бейсика и т.п.
     
     
  • 5.58, Аноним (48), 15:21, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    По факту это питон всех заменяет и вырвался на первое место по частоте использования.
     
     
  • 6.61, _kp (ok), 15:35, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >> место по частоте использования.

    Так, это не осилили просто что то серьёзнее.

    Вот на дорогах каких машин больше BMW ,или Лады? А что лучше?
    Вот, и тут то же самое, среднестатистическому
    большинству многое не по силам, и искренне радуются тому что есть. Но как только поячится возможность взять что то лучше, и возьмут, и польют грязью старое.

     

  • 1.29, Аноним (29), 12:50, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    кхм. а скомпилировать из си с использование указанных инструкций?
     
     
  • 2.32, BeLord (ok), 13:26, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А компилятор смогёт?-))
     

  • 1.46, Ivan_83 (ok), 14:29, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    На AVX2 главное не сильно хуже получилось.
     
  • 1.51, Аноним (52), 14:47, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > 94, 44, 64 и 4.24 раза по сравнению базовой реализацией

    Представил себе качество базовой реализации.

     
     
  • 2.55, Аноним (55), 15:05, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Рассуждать о качестве тут вообще не к месту.

    Правильнее называть это не базовой реализацией, а референсом. Этот код должен быть просто написан, чтобы исключить ошибки в нём. Референс этот используется для проверки правильности результата оптимизированных реализаций. Поэтому сравнение в скорости с референсом вообще некорректно. Даже на Си можно написать код быстрее, но код этот будет сложным, и его самого придётся чем-то проверять. Оптимизированный код с векторами (векторные интринсики) можно и на Си написать, но в ffmpeg предпочитают ассемблер.

    Новость желтушная от названия до содержания.

     
  • 2.63, Ivan_83 (ok), 15:49, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А что там представлять?
    Там видимо какая то простая операция, типа сложить однин кусок памяти с другим представив что это массивы uint8_t.
    И код на си будет простым циклом проходящим по каждому элементу и делающему сложение.
    Вот его переписали на SSSE и он стал за "одну операцию" складывать не 1 элемент а сразу 16, потом на AVX и там 32 а на AVX512 сразу 64 за раз.
    Вот и вся магия, минус накладные расходы, а иногда плюс. Там есть всякие трюки с загрузкой в кеш и регистр и выгрузкой обратно в память, поэтому иногда на этом получается ещё немного выиграть скорости.

    Технически некоторые вещи и на С доступны, типа префетч подёргать чтобы пока один элемент обрабатывается проц уже следуюшие подтягивал в кеш из памяти.
    Просто обычно на С таким не занимаются, и сразу уходят в SIMD.

     
     
  • 3.67, Аноним (55), 16:06, 05/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Просто обычно на С таким не занимаются, и сразу уходят в SIMD.

    Я не понимаю что на Opennet делают настолько необразованные люди. Которые не знают ни одной вещи о которой пишут. На Си можно писать код использующий векторные инструкции напрямую, и это не ассемблерные вставки, это называется векторные интринсики.

     

  • 1.54, Аноним (55), 14:55, 05/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > в 94 раза ускорить

    Ужасно желтушный заголовок, потому что сравнивать надо не с Си, а с оптимизацией на предыдущих векторных инструкциях, то есть AVX2.

    А там быстрее примерно в 1.5 раза, и это при увеличении длины векторов в 2 раза. И еще неизвестно как это влияет на процессор.

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру