кодек h 265 что это

Что творится с HEVC (h265)

В своё время разработка кодека H264 стала настоящим прорывом, потому что получилось посадить за один стол людей, занимающихся телевидением, IP камерами, конференц-связью и родить стандарт, которого в целом хватило всем.

Напоминаю, что кодек — это не конкретный алгоритм, а описание форматов упаковки видео так, что бы упихнуться в предельно сжатое количество бит. Энкодер волен выбирать способы упаковки согласно стандарта кодека.

Так вот H264 — это сочетание хорошего кодека, хороших энкодеров и массы приличных декодеров. Но что же происходит с H265?

H265 — это стандарт, который приходит на смену H264. Его прибытие стало омрачено сомнительной авантюрой гугла с их VP6, VP9, VP10 и сказками о том, что кодеки серии VP лучше любого H264 и т.п.

Главная суть H265 в том, что он продается как решение для размеров экранов выше чем FullHD. Для чего он реально годится мы поговорим ниже, но мир устроен так, что сначала надо продать. Вот для 4K он и продается.

Я хочу немного поговорить о текущем статусе поддержки H265, потому что к нам с этим обращаются и приходится проводить ликбез каждый раз.

Кодирование

На сегодняшний день H265, он же HEVC уже поддерживается на большом количестве энкодеров: софтверные, обычные аппаратные (Nvidia NVENC, Intel QSV) и железные аппаратные.

Какое-то заметное применение H265 можно встретить на спутниковом телевидении (редкие, но уже встречающиеся каналы с гигантским битрейтом), IP камеры и всякие бесчисленные коробочки для захвата и кодирования HDMI (и немножко SDI).

Здесь надо быть очень аккуратными с тем, что именно будет уметь железка или софтина. Так, например, Hisilicon достаточно давно выпустил первый чипсет с поддержкой H265 для IP-камер, а вот софт отстал чуть ли не на полтора года от них. Сегодня до сих пор продается полно камер, у которых написано H265, а они не могут его отдавать в реальном времени — только экспортировать файлы через нерабочий китайский софт. В чём тут выражается поддержка H265, продавцы ответить не могут, но упорно кивают головой: да, да, можем h265.

Аналогичная проблема и с RTMP энкодерами. Один из частейших вопросов: «а что, ваш софт не умеет H265 по RTMP?».

Это не наш софт «не умеет», а RTMP не умеет H265. В RTML используется flv-подобная упаковка кадров и H265 ни в одном, ни в другом стандарте как доступные не отмечены. Есть всякие хитрые хаки, позволяющие запихать H265 в протокол, не рассчитанный на это, но называть это RTMP уже будет перебор — это будет проприетарный, закрытый протокол. Подобные изменения существуют, делаются они китайцами, а это как правило означает просто истеричное отношение к предложениям поделиться спецификацией на протокол.

Т.е. железо может уметь H265, а софт, запущенный на нём, может отставать в развитии и просто не уметь с ним работать и такого пока ещё полно.

Вещание

Сейчас в дикой природе H265 проще всего встретить на IP-камерах: там оно уже есть и уже потихоньку распространяется, спасибо HUAWEI. Так же можно на спутниках найти 30-мегабитные каналы, сжатые в H265.

По нашему опыту постепенно делаются попытки внедрить его в различных OTT-сервисах, где есть контроль за устройством.

По поводу вещания ситуация такая: H265 в протоколе HLS поддерживается всеми уже очень давно, а эппл очень вовремя очухались и зафиксировали очевидное в стандарте. Но всем пока что плевать, потому что мало какие айфоны могут его проигрывать.

Т.е. важно запомнить: MPEG-TS давно и надежно умеет передавать H265, а значит то, что называют UDP или HTTP с большой вероятностью тоже сможет.

Так же H265 передается по RTSP: есть упаковка и в SDP, и в RTP. Остается старый нюанс с передачей bframes по RTSP, но это отдельная головная боль.

Если вы встречаете H265 и RTMP, то скорее всего это болтовня, но если оно реально работает, значит люди просто напихали байт и пользуются патченым сервером и клиентом. В стандартный RTMP H265 не влезает.

Проигрывание

Из десктопных браузеров показывать H265 сейчас фактически умеет только Microsoft Edge, остальные нет.

Есть проигрывание на телевизионных приставках, SmartTV и в программах/приложени, но браузеры пока очень сильно отстают.

Так же надо понимать, что на телефонах сейчас h265 скорее всего будет играться на процессоре, т.е. если хватит батарейки на просмотр рекламы, уже неплохо.

Конкуренция

H265 сравнивают с h264: ведь разницу в битрейте надо ещё увидеть, а поддержка h264 сейчас есть абсолютно везде

H265 сравнивают с VP10, потому что так попросил Гугл. На практике у VP10 проблемы с ещё меньшей поддержкой со стороны железа (а значит для него нужно ещё больше батареек и процессорной мощности) и плохие протоколы проигрывания.

H265 начали сравнивать с AV1, но это пока вообще можно не рассматривать — слишком новая штука. Очень интересно, подождем несколько лет.

Резюме

H265 развивается, распространяется, но на сегодняшний день скорее всего не будет ничего фатального, если вы его пока не рассматриваете.

У него уже на старте есть конкуренты, с которыми прийдется побороться, но есть и хорошая стартовая позиция в виде приличной родословной (от тех же людей, что и H264) и неплохая поддержка в транспортах и протоколах доставки видео.

Источник

H.265/HEVC. Оптимизация под архитектуру Intel

Краткое описание H.265/HEVC

Проблемы производительности HEVC

Рисунок 1. Профиль проекта HM — параллельная работа потоков

Рисунок 2. Профиль проекта HM — ресурсоемкий код

Рисунок 3. Нагрузка на ЦП в проекте X.265

Рисунок 4. Проект X.265 с настройкой Intel® SIMD

В проекте x265 также были использованы инструкции Intel® SIMD (автогенерация компилятором), что обеспечило повышение производительности более чем на 70%. Вместе с дальнейшей оптимизацией компиляторными опциями, компилятор Intel обеспечивает удвоение производительности на платформе IA. Тем не менее, производительность кодировщика по-прежнему существенно ниже, чем требуется для кодировщика реального времени, особенно для видео высокой четкости с разрешением 1080p.
Ниже мы покажем результаты, достигнутые китайской компанией Strongene при поддержке специалистов компании Intel на пути оптимизации созданного ей кодека H.265/HEVC под различные платформы Intel.

Оптимизация HEVC под платформу Intel® Xeon™

Основную часть самых ресурсоемких функций по обработке видео и изображений составляют интенсивные вычисления блочных данных. Для их оптимизации можно использовать инструкции векторизации Intel® SIMD. В кодировщике в составе кодека Strongene, согласно данным профилирования, с помощью инструкций Intel SSE можно провести ручную векторизацию всех наиболее ресурсоемких функций, таких как кадровая интерполяция низкой сложности с компенсацией движения; целочисленное преобразование без транспозиции; преобразование Адамара; вычисление сумм абсолютных разностей (SAD)/квадратов разности (SSD) с наименьшим избыточным использованием памяти. Мы включили инструкции Intel SSE в виде интринсик-функций, как показано на рис. 5.

Рисунок 5. Пример включения инструкций Intel® SIMD/SSE в кодеке Stongene

Разработчики Strongene переписали все ресурсоемкие функции, чтобы добиться наибольшего прироста производительности кодировщика. На рис. 6 показаны наши данные профилирования в сценарии кодирования видео стандарта 1080p с помощью HEVC. Видно, что 60% ресурсоемких функций обрабатываются инструкциями Intel SIMD.

Рисунок 6. Результаты профилирования функций кодирования Strogene

Инструкции Intel AVX2 с вычислением 256-разрядных целочисленных значений обладают вдвое более высокой производительностью по сравнению с прежним кодом Intel SSE, работающим со 128-разрядными значениями. Набор инструкций Intel AVX2 поддерживается платформой
Intel Xeon (Haswell), выпуск которой начат в 2014 году. Для оценки производительности встроенных функций Intel AVX2 мы используем распространенное вычисление сумм абсолютных разностей для блока 64*64.

Таблица 1. Результаты реализации Intel® SSE и Intel® AVX2

Как видно из таблицы 1, применение инструкций Intel SSE и Intel AVX2 обеспечивает повышение производительности в 100 раз, при этом код Intel AVX2 дополнительно выигрывает еще 40% по сравнению с Intel SSE.
Как мы видели ранее, в большинстве существующих реализаций используются не все ядра многоядерных платформ. Опираясь на последнюю многоядерную архитектуру Intel Xeon с параллельной зависимостью между алгоритмами на основе CTB, разработчики Strongene предлагают заменить исходные методы OWF и WPP параллельной структурой IFW, а затем разработать трехуровневую схему управления потоками, чтобы гарантировать полное использование структурой IFW всех ядер ЦП для ускорения кодирования HEVC.

Рисунок 7. Параллельная работа потоков и использование ЦП в кодировщике Strongene

За счет применения новой параллельной структуры WHP и полной реализации инструкций Intel SIMD соответственно на уровне задач и уровне данных разработчикам кодировщика Strongene удалось добиться весьма значительного повышения производительности на процессорах x86 для видео с разрешением 1080p, используя вычислительные ресурсы всех ядер, как показано на рис. 8.

Дальнейшая настройка с использованием SMT/HT

Также представляет интерес зависимость производительности кодека от включения в системе широко распространенной на всех платформах с архитектурой Intel одновременной многопоточности (SMT), также называемой технологией гипертрединга (HT).

Таблица 2. Скорость кодирования Strongene HEVC на платформе Intel® Xeon®

Как видно из таблицы (показано желтым цветом) на платформе Ivy Bridge (процессор Intel Xeon E5-2697 v2 для отключенного SMT кодирование видео HEVC с разрешением 1080p осуществляется в реальном времени!

Добившись огромнейшего увеличения производительности, мы продолжили изучение возможностей кодирования Strongene HEVC на платформе Ivy Bridge, уделяя внимание скорости потока и вопросам качества.

Таблица 3. Сравнение производительности кодеков H.264 и H.265

В таблице 3 видно, что кодек H.265/HEVC снижает объем данных на 50% при сохранении прежнего качества видеоизображения.

H.265/HEVC, по всей видимости, станет наиболее популярным стандартом видео в ближайшее десятилетие. Во множестве приложений и продуктов мультимедиа в настоящее время реализуется поддержка HEVC. В этом документе мы реализовали основанное на ЦП полнофункциональное решение HEVC реального времени на платформах Intel с новыми технологиями IA. Наше оптимизированное решение на базе процессоров Intel развернуто в компании Xunlei, занимающейся предоставлением услуг видео через Интернет, и будет способствовать повсеместному внедрению и распространению технологии H.265/HEVC.

Источник

Разбираемся с форматами и кодеками видео

Содержание

Содержание

Современные медийные платформы позволяют пользователям наслаждаться высокодетализированным видео и потрясающими аудиоэффектами в режиме онлайн.

Однако создание подобного контента было бы невозможно без существования кодеков и контейнеров.

Чем кодеки отличаются от контейнера — их часто путают

Для ответа на вопрос, чем кодеки отличаются от контейнеров, необходимо понять, что такое кодеки.

Смысл понятия «кодек» лежит прямо в его названии:

Фактически кодек — это цифровой инструмент компрессии и декомпрессии данных. Компрессия (сжатие данных) необходима для экономии занимаемого файлом места. Например, несжатое видео высокой четкости в raw-формате, при 60 кадрах в секунду способно достигать размеров в полтерабайта на каждый час записи.

Восьмиканальная аудиодорожка в 24-битном разрешении будет занимать 16 мегабит за одну секунду записи. Такие объемы данных не подходят ни для штатного хранения, ни для их передачи онлайн, поэтому для их сжатия применяются специальные формулы, которые и называются кодеками.

Для хранения сжатой информации создаются контейнеры-обертки в определенном формате. Современные контейнеры способны хранить информацию, обработанную разными кодеками. Такие обертки указывают устройству на то, какими кодеками была сжата информация, и по какой формуле ее восстанавливать.

Если разобрать стандартное видео со звуком на кодеки и контейнеры, в результате получится три составные части:

В случае если в видео нет звука, аудиокодек не нужен.

Популярные и прогрессивные кодеки

Большинство создаваемого видеоконтента обрабатывается кодеками XviD, MPEG-1\2, H.264, MPEG-4, DivX, WMV, MJPEG, RealVideo, Bink Video и их вариациями. Для аудиоформатов в основном используют AAC, Opus и MP3-кодеки. Из новинок стоит отметить кодек H.266/VVC, разрабатываемый для потоковой передачи видео в 4K и 8K.

Новый кодек позволяет вдвое сократить объем файла относительно H.265 кодека за счет более сложных алгоритмов. Сложные вычисления потребляют больше ресурсов, до 1000 % от потребления H.265 при кодировании, и до 200% при декодировании.

Какие кодеки в основном поддерживаются современными ТВ и обновляются ли они с прошивкой

Современные системы поддерживают большинство существующих кодеков.

Поддержка кодеков MPEG от первого до четвертого, вариации H.264 для воспроизведения Blu-Ray, а также XviD и DivX, входят в базовый пакет любого современного телевизора.

Ведущие производители всегда следят за ошибками и актуальностью своего программного обеспечения.

Обновление кодеков в процессе прошивки регулируется разработчиками индивидуально под каждую модель SmartTV.

Если новые кодеки необходимы, поддерживаются устройством на аппаратном уровне и не вызывают ошибок отображения, ничего не мешает разработчикам добавить их в ближайших обновлениях.

Не все устройства совместимы с новыми кодеками, поэтому установка неофициальных обновлений прошивки не рекомендуется потому как может привести к ошибкам воспроизведения.

Какие кодеки используются при проигрывании онлайн-видео (современные кодеки youtube)

В настоящее время стандартом большинства видеосервисов стали кодеки H.264 и MPEG-4, значительно реже встречаются кодеки FFDshow, XviD и DivX.

Одним из самых перспективных кодеков является бесплатный AV1-кодек. Разработан сообществом AOMedia, включающим в себя таких гигантов как AMD, Google, Netflix, Mozilla, Nvidia, Intel, ARM и Cisco. Исходный код кодека открыт и свободно распространяется без каких-либо лицензионных отчислений.

Что даст конечному пользователю переход ютуба на современный AV1

Кодек AV1 разрабатывался для воспроизведения видео онлайн, в браузерах Safari, Firefox, Edge и Chrome. Степень сжатия видео кодеком AV1 превосходит кодеки VP8 и H.264 от 30% до 50%, а кодек HEVC до 30–43 % на высоких битрейтах.

Полный переход видео платформы YouTube на AV1-кодек не только ускорит загрузку всех видеороликов от 20% до 50%, но и позволит стримить в разрешении 4K.

Для минимизации потерь качества, при сохранении и конвертации файла рекомендуется использовать кодеки AV1 для видео и Opus для аудио, обернутые в MP4-контейнер.

Источник

5 причин, почему кодек h.265 не завоевал популярность в облачном видеонаблюдении

Для хранения видео требуется много ресурсов. Чтобы облегчить этот процесс, был разработан кодек, предназначенный для достижения высокой степени сжатия видеопотока при сохранении высокого качества.

В 2003 году появился формат h.264 (коммерческое название AVC), который сегодня используется повсеместно, поскольку он предлагает отличные возможности по сжатию и может воспроизводиться практически на любом устройстве. Все современные браузеры, операционные системы и мобильные платформы поддерживают h.264.

В 2012 году появился следующий формат, известный как h.265 (коммерческое название HEVC). HEVC обещает значительное снижение битрейта на 50 % при том же качестве видео. Однако этот формат сжатия, поддерживающий кадры с разрешением до 8192×4320 пикселей (8К), всё ещё не может заменить h.264 в VSaaS. Разберемся, почему так произошло.

Основная причина медленного развития заключается в том, что в отличие от h.264, у которого один патентный пул, h.265 имеет три патентных пула с различными условиями ценообразования. В h.265 существует около 500 патентов, которые разделены на несколько пулов патентодержателей (Apple, BBC, ETRI, Fujitsu, Humax, JVC Kenwood, NEC, NHK, Siemens и прочих). Производители оборудования вынужденно признали разделение схемы лицензирования HEVC на несколько «окон» отчисления роялти.

Неясность ситуации с лицензионными платежами вокруг h.265 препятствовала развитию, и в результате основные браузеры (например, Chrome, Firefox) вообще не поддерживают кодек или поддерживают только частично (Edge).

В 2015 году несколько крупных компаний, таких как Google, Microsoft, Mozilla и Cisco, создали Альянс открытых медиа для разработки открытого и бесплатного кодека под названием AV1. Основанный на открытом кодеке Google «VP10» с технологией от Cisco «Thor» и Mozilla «Daala», консорциум решил создать альтернативу для h.265. Этот кодек является сильным конкурентом для h.265 по 5 причинам:

Стоимость

AV1 полностью бесплатен. Не нужно платить ни одному патентному пулу.

Лучшее сжатие

В зависимости от того, какой тест вы используете, AV1 будет примерно на 30% лучше, чем h.265 / HEVC. В отличие от HEVC, AV1 также покажет хорошую производительность на камерах с низким битрейтом.

Доступность

Ожидается поддержка во всех основных браузерах и операционных системах в ближайшем будущем. В отличие от h.265, поддержка AV1 уже доступна в Firefox.

Аппаратное ускорение

Для декодирования видео требуется много ресурсов процессора. Многие устройства, такие как ваш ноутбук, телефон или планшет, имеют аппаратное ускорение, чтобы предотвратить нагрев устройств и разрядку аккумулятора. AV1 поддерживается такими крупными производителями микросхем, как INTEL, AMD, BROADCOM и ARM.

Контент-провайдеры поддерживают AV1

Основные поставщики контента, такие как NETFLIX, FACEBOOK, YOUTUBE, BBC, AMAZON и HULU, будут предоставлять контент в AV1. Youtube уже бойкотирует HEVC, предоставляя видео 4K только через собственный кодек VP9. Как следствие, в настоящее время он не воспроизводится на устройствах Apple.

Источник

H.265 (HEVC).и H.265+

Перспективы развития H.265

2016 год: мнения экспертов

Применение кодека H.265 в новом поколении смартфонов и смарт-телевизоров активно растет. Тем не менее, мнения экспертов по перспективам формата сжатия H.265 в 2016 году – разделились: кто-то прогнозирует активный рост его использования, кто-то, наоборот, считает, что массового перехода на H.265 в этом году не случится.

Однако, несмотря на неопределенность сроков, все сходятся в одном: рано или поздно новый формат заменит H.264. Ведь увеличение разрешения видеосигнала требует более эффективного сжатия видеопотока.

Кен ЛаМарка, вице-президент по продажам и маркетингу OnSSI:

Алгоритм сжатия H.265+

Hikvision Digital Technology разработала свой собственный алгоритм сжатия на базе стандарта H.265 / High Efficiency Video Coding (HEVC). Новый формат сжатия носит название H.265+. Стоит отметить, что это не первый опыт компании в доработке видеокодека: Hikvision уже водила улучшения в H.264, назвав усовершенствованный стандарт H.264 +.

Основные достоинства H.265+

Распределенное интеллектуальное кодирование

Распределенное интеллектуальное кодирование в H.265+ предполагает разделение фона (т.е. реального физического объекта) и посетителей. Создание модели из одного или нескольких ранее закодированных видеокадров позволяет осуществлять «межкадровое предсказание» и «прогнозирование внутри кадра», где образцы макроблоков (блок обработки) предсказывается с помощью информации о ранее переданных макроблоков одного и того же кадра. Таким образом, сжатие видеопотока может осуществляться за счет трансляции только динамической составляющей кадра. Поскольку большинство объектов видеонаблюдения имеет статичный фон, подобная доработка может существенно улучшить кодек H.265.

Подавление цифрового шума

Интеллектуальный алгоритм анализа H.265+ различает фоновые изображения и движущиеся объекты таким образом, что каждый из них может быть закодирован с различными стратегиями кодирования. Фоновое изображение кодируется с высокой степенью сжатия для подавления шума. Модуль кодирует также визуальный шум в сцене. В результате получается высокое качество изображения движущихся объектов при небольших размерах видеопотока.

Долгосрочный контроль битрейта

Hikvision вводит понятие «Long-Term Average Bitrate» (долгосрочный средний битрейт), чтобы в полной мере использовать возможности пропускного канала. Long-Term Average Bitrate рассчитывает ставки в течение определенного периода времени (обычно 24 часа). При средней скорости передачи данных, камера может назначить более высокие битрейты для часов с высокой активностью посетителей, при одновременном их снижении во время просто. Например, очевидно можно уменьшить битрейт в ночное время для системы видеонаблюдения за офисом.

Преимущества H.265+ для реального объекта видеонаблюдения

Hikvision Digital Technology провела сравнительное тестирование форматов сжатия для реального объекта видеонаблюдения круглосуточного видеонаблюдения – небольшого кафе. Испытание проводилось на основе камер с разрешением 1080p при 25 кадрах в секунду.

Средний битрейт между форматами H.264 и H.265+ уменьшился на 83%, а разница между стандартным H.265 и H.265 + составила 67%.

Второе сравнительное тестирование проводилось для круглосуточного видеонаблюдения за транспортной развязкой. Здесь различие 24-часовых фрагментов видео также оказалось ощутимым: H.264 в среднем 36,4 ГБ, H.265 в среднем 21,1 ГБ и H.265 + в среднем только 7,5 Гб.

Источник