O significado da codificación de vídeo
Gran espazo de almacenamento para datos de vídeo orixinais. Un vídeo de 1080P 7 s require 817 MB
A transmisión de datos de vídeo orixinal ocupa un ancho de banda grande e leva 11 minutos en transmitir o vídeo anterior de 7 s cun ancho de banda de 10 Mbps
Despois da codificación e compresión H.264, o tamaño do vídeo é de só 708 k e o ancho de banda de 10 Mbps só precisa 500 ms, o que pode satisfacer as necesidades de transmisión en tempo real. Polo tanto, o vídeo orixinal recollido do sensor de adquisición de vídeo debe estar codificado en vídeo.
Fundamental
Entón, por que se pode codificar un enorme vídeo orixinal nun vídeo moi pequeno? Cal é a tecnoloxía nisto? Antes de falar de tecnoloxía, primeiro debemos establecer o concepto de vídeo que son imaxes continuas.
A idea principal é eliminar información redundante:
Redundancia espacial: existe unha forte correlación entre os píxeles adxacentes dunha imaxe
Redundancia temporal: contido similar entre imaxes adxacentes nunha secuencia de vídeo
Redundancia de codificación: diferentes valores de píxeles teñen diferentes probabilidades
Redundancia visual: o sistema visual humano non é sensible a certos detalles
Redundancia do coñecemento: a estrutura da regularidade pódese obter a partir de coñecementos previos e coñecementos de fondo
O vídeo é esencialmente unha serie de imaxes que se reproducen de forma continua e rápida, polo que o xeito máis sinxelo de comprimir un vídeo é comprimir cada cadro de imaxes. Por exemplo, a codificación MJPEG antiga consiste en comprimir cada cadro de imaxes do vídeo. Este método de codificación Só hai codificación intra-cadro, que utiliza a predición de mostra espacial para codificar. A metáfora da imaxe consiste en tratar cada cadro como unha imaxe e usar o formato de codificación JPEG para comprimir a imaxe. Este tipo de codificación só ten en conta a compresión de información redundante nunha imaxe.
Non obstante, debido á correlación temporal entre fotogramas, desenvolvéronse algúns codificadores avanzados que poden usar a codificación entre fotogramas. Simplificando, certas áreas do cadro selecciónanse a través do algoritmo de busca e logo calcúlase o cadro actual. É unha forma de codificación coa diferenza vectorial entre os cadros de referencia dianteiro e traseiro. A través dos seguintes dous fotogramas consecutivos da figura 2, podemos ver que o esquiador está movendo cara adiante, pero de feito a escena da neve está cambiando cara atrás e se fai referencia ao fotograma P Os fotogramas (I ou outros fotogramas P) poden codificarse, o tamaño despois da codificación é moi pequeno e a relación de compresión é moi alta.
Ligazón de referencia sobre o cadro http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Algúns estudantes poden estar interesados en como proceden estas dúas imaxes. Aquí hai dúas liñas de comandos FFmpeg para acadar. Para máis detalles sobre FFmpeg, consulte os seguintes capítulos:
A primeira liña xera un vídeo cun vector en movemento
A segunda liña produce cada cadro como imaxe
Use o comando
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Ademais da redundancia espacial e a compresión de redundancia temporal, hai principalmente compresión de codificación e compresión visual. O seguinte é o fluxograma principal dun codificador:
A Figura 3 e a Figura 4 son dous procesos. A Figura 3 é a codificación intra-cadro e a Figura 4 é a codificación entre cadros. A principal diferenza da figura é que o primeiro paso é diferente. De feito, estes dous procesos tamén se combinan. En xeral, o marco I e o marco P utilizan codificación intra-cadro e codificación entre cadros respectivamente.
Selección do codificador
Ordenei o principio e o proceso básico do codificador. O codificador experimentou décadas de desenvolvemento. Evolucionou desde a compatibilidade coa codificación intra-cadro ata a nova xeración de codificadores representados por H.265 e VP9 na actualidade. Na actualidade, analízanse algúns codificadores comúns e levarémosche a explorar o mundo dos codificadores.
H.264
introdución
O proxecto H.264 / AVC pretende crear un estándar de vídeo. En comparación co estándar antigo, pode proporcionar vídeo de alta calidade cun ancho de banda inferior (noutras palabras, só a metade do ancho de banda de MPEG-2, H.263 ou MPEG-4 Parte 2 ou menos) sen engadir demasiada complexidade de deseño. é imposible de acadar ou o custo da implementación é demasiado alto. Outro propósito é proporcionar flexibilidade suficiente para ser usado en varias aplicacións, redes e sistemas, incluíndo ancho de banda alto e baixo, resolucións de vídeo altas e baixas, difusión, almacenamento de DVD, redes RTP / IP e sistema de teléfonos multimedia ITU-T.
H.264 / AVC contén unha serie de novas características, o que o fai non só máis eficiente que os códecs anteriores, senón que tamén se pode empregar en aplicacións en diversos contornos de rede. Esta base técnica fai que H.264 se converta no principal códec usado por empresas de vídeo en liña, incluído YouTube, pero o seu uso non é unha tarefa moi sinxela. En teoría, usar H.264 require moito diñeiro. Taxas de patentes.
Licenza de patente
Do mesmo xeito que a primeira e a segunda parte de MPEG-2 e a segunda parte de MPEG-4, os fabricantes de produtos e provedores de servizos que empregan H.264 / AVC teñen que pagar os dereitos de licenza de patente aos titulares de patentes. A principal fonte destas licenzas de patentes é unha organización privada chamada MPEG-LA LLC. Esta organización non ten nada que ver coa Organización de normalización MPEG, pero esta organización tamén xestiona o sistema MPEG-2 Parte Un, o Video Parte II e o MPEG-4 Parte Un. Video de dúas partes e outras licenzas de patentes tecnolóxicas.
Outras licenzas de patentes deben solicitarse a outra organización privada chamada VIA Licensing, que tamén xestiona as licenzas de patentes para estándares de compresión de audio como MPEG-2 AAC e MPEG-4 Audio.
Implementación de código aberto de H.264
openh264 é un programa de codificación H.264 de código aberto implementado por Cisco. Aínda que H.264 require unha taxa de patente elevada, hai un límite anual na taxa de patente. Despois de que Cisco pague a taxa anual de patente por OpenH264, OpenH264 é de balde Úsea libremente.
x264 é un software libre de codificación de vídeo baixo licenza GPL. A función principal de x264 é realizar codificación de vídeo H.264 / MPEG-4 AVC, non como descodificador.
Excluíndo a cuestión de custos para a comparación:
O uso de CPU de openh264 é moito menor que o de x264
openh264 só admite o perfil de liña de base, x264 admite máis perfís
HEVC / H.265
introdución
A codificación de vídeo de alta eficiencia (HEVC) é un estándar de compresión de vídeo (tamén chamado H.265), que se considera o sucesor do estándar AVU ITU-T H.264 / MPEG-4. En 2004, o grupo de expertos en imaxes en movemento ISO / IEC (MPEG) e o grupo de expertos en codificación de vídeo UIT-T (VCEG) comezaron a desenvolverse como ISO / IEC 23008-2 MPEG-H Parte 2 ou UIT-T H.265. A primeira versión do estándar de compresión de vídeo HEVC / H.265 aceptouse como o estándar oficial da Unión Internacional de Telecomunicacións (UIT-T) o 13 de abril de 2013. Considérase HEVC non só para mellorar a calidade do vídeo, senón tamén para acadalo dúas veces. a taxa de compresión de H.264 / MPEG-4 AVC (equivalente a unha redución do 50% na taxa de bits baixo a mesma calidade de imaxe) e pode soportar resolución 4K e incluso TV de alta definición (UHDTV), a resolución máis alta pode alcanzar 8192 × 4320 (resolución 8K).
Licenza de patente
HEVC require que todos os fabricantes de contidos que empreguen a tecnoloxía H.265, incluíndo Apple, YouTube, Netflix, Facebook e Amazon, paguen o 0.5% dos seus ingresos de contido como taxa de uso da tecnoloxía. Todo o mercado de medios de transmisión en streaming alcanza uns 100 millóns de dólares estadounidenses cada ano e segue crecendo. A taxa do 0.5% é definitivamente unha enorme taxa. E non deixaron de lado aos fabricantes de equipos, entre os que os fabricantes de televisión teñen que pagar 1.5 dólares por unidade e os fabricantes de dispositivos móbiles 0.8 dólares por unidade en honorarios de patentes. Nin sequera soltaron a fabricantes como reprodutores de dispositivos Blu-ray, consolas de xogos e gravadores de vídeo, que deben pagar 1.1 dólares cada un.
Implementación de código aberto de H.265 / HEVC
libde265 HEVC é fornecido pola empresa struktur baixo a licenza de código aberto GNU Lesser General Public License (LGPL), e os espectadores poden gozar de imaxes de alta calidade a velocidades de internet máis lentas. En comparación cos descodificadores anteriores baseados no estándar H.264, o descodificador libde265 HEVC pode achegar o seu contido Full HD ata o dobre do público ou reducir o ancho de banda necesario para a transmisión nun 50%.
x265 está desenvolvido por MulticoreWare e está aberto de acordo co acordo GPL.
VP8
introdución
VP8 é un formato de compresión de vídeo aberto que primeiro foi desenvolvido por On2 Technologies e logo lanzado por Google. Ao mesmo tempo, Google tamén lanzou a biblioteca de implementación codificada VP8: libvpx, que foi lanzada en forma de termos de licenza BSD e, posteriormente, engadiu o dereito de usar a patente. Despois dalgúns argumentos, a autorización de VP8 confirmouse finalmente como unha autorización de código aberto.
Actualmente, os navegadores web compatibles con VP8 son Opera, Firefox e Chrome.
Licenza de patente
En marzo de 2013, Google chegou a un acordo con MPEG LA e 11 titulares de patentes para permitir a Google obter VP8 e o seu VPx anterior e outras codificacións que se poidan infrinxir nas patentes. Ao mesmo tempo, Google tamén pode autorizar de novo as patentes relacionadas aos usuarios de VP8. Este acordo tamén é adecuado para a próxima xeración de codificación VPx. Ata o momento, MPEG LA renunciou ao establecemento da alianza de licenzas centralizadas de patentes VP8 e os usuarios de VP8 poderán decidir usar este código de xeito gratuíto sen preocuparse por posibles dereitos de infracción de patentes.
Implementación de código aberto de VP8
Libvpx é a única implementación de código aberto de VP8. Foi desenvolvido por On2 Technologies. Despois de que Google o adquirise, abriu o seu código fonte. A licenza é moi frouxa e pódese usar libremente.
VP9
introdución
O desenvolvemento de VP9 comezou no terceiro trimestre de 2011. O obxectivo é reducir o tamaño do ficheiro nun 50% en comparación coa codificación VP8 coa mesma calidade de imaxe. Outro obxectivo é superar a codificación HEVC na eficiencia da codificación.
O 13 de decembro de 2012, o navegador Chromium engadiu compatibilidade coa codificación VP9. O navegador Chrome comezou a admitir a reprodución de vídeo codificado VP9 o 21 de febreiro de 2013.
Google anunciou que completará o desenvolvemento do código VP9 o 17 de xuño de 2013, cando o navegador Chrome guiará o código VP9 por defecto. O 18 de marzo de 2014, Mozilla engadiu soporte VP9 ao navegador Firefox.
O 3 de abril de 2015, Google lanzou libvpx1.4.0, que engadiu soporte para a profundidade de bits de 10 e 12 bits, a mostraxe de croma 4: 2: 2 e 4: 4: 4 e a codificación / descodificación multi-núcleo VP9.
Licenza de patente
VP9 é un formato de codificación de vídeo sen formato libre.
Implementación de código aberto de VP9
libvpx é a única implementación de código aberto de VP9, desenvolvida e mantida por Google. Algúns dos códigos son compartidos por VP8 e VP9, e o resto son as implementacións de códecs de VP8 e VP9 respectivamente.
Comparación de VP9 e H.264 e HEVC
Comparación de HEVC e H.264 en diferentes resolucións
En comparación con H.264 / MPEG-4, a redución media da taxa de bits de HEVC é:
Pódese ver que a taxa de bits baixou máis dun 60%
HEVC (H.265) ten unha maior vantaxe no aforro de taxa de bits para VP9 e H.264, aforrando 48.3% e 75.8% respectivamente no mesmo PSNR
H.264 ten unha enorme vantaxe no tempo de codificación. En comparación con VP9 e HEVC (H.265), HEVC é 6 veces o de VP9 e VP9 é case 40 veces o de H.264.
