Desenvolvemento e aprendizaxe de audio e vídeo

Primeiro supoñemos que alguén ten cero fundamento en audio e vídeo e nunca aprendeu ningún coñecemento relacionado co procesamento de sinal dixital. A base matemática é basicamente de bacharelato, pero está familiarizado co desenvolvemento de C / C ++, polo menos familiarizado coa compilación e depuración de IDE baixo unha plataforma determinada.

Céntrese nos dous proxectos de código aberto ffmpeg e webRTC, principalmente mirando a parte de vídeo de ffmpeg e a parte de audio de webRTC.

Primeiro de todo, comeza coa descodificación de vídeo. Este é o máis sinxelo. O código básico para chamar a descodificación de vídeo ffmpeg é de só unhas 100 liñas. A descodificación de vídeo só precisa comprender o h.264, o 80% + de escenas están neste formato de codificación, comprende o NAL básico H.264 sps pps e outros conceptos de formato de ficheiro, comprende o principio do formato de imaxe YUV e comprende a conversión de YUV a RGB , Así, podes facer a representación de imaxes e conseguir un reprodutor de vídeo sinxelo. (Basicamente na primeira etapa)

Despois, para aprender sobre a codificación de vídeo, recoméndase comezar con x264, unha chamada sinxela ao código de codificación x264 ten menos de 100 liñas. A codificación é máis complicada que a descodificación, xa que a descodificación non precisa configurar ningún parámetro e a codificación ten un gran número de parámetros que hai que configurar. Ao comezo, só tes que comprender algúns conceptos básicos, como a taxa de cadros, os métodos comúns de control de fluxo ABR CRF, GOP, I / B Que significa / Marco P respectivamente. (Estou familiarizado coa codificación X264 de novo)

O códec da parte de audio é similar ao do vídeo. Na fase inicial, só precisa comprender os dous codificadores EAAC + e Silk, comprender os conceptos de canle de son, velocidade de mostraxe, etc. e comprender o formato de ficheiro Wave. Pode ser un simple reprodutor de audio. (Facer un reprodutor de audio)

A parte complexa do audio non é o códec, senón o efecto de son. Bota unha ollada ao módulo de Procesamento de audio en webRTC e comprende os seguintes conceptos: NS de denoising, cancelación de eco AEC, VAD de detección de silencio, control automático de ganancia AGC e webRTC integrado. Aínda que o algoritmo non é o mellor, pode resolver o 90% + dos problemas e paga a pena aprendelo. (Aprende o procesamento de audio webrtc)

Despois de aprender isto, cómpre pensar nunha pregunta, se quero facer unha ruta de enxeñaría ou unha ruta algorítmica. Se é unha ruta algorítmica, entón debo aprender matemáticas. Detrás do procesamento do sinal dixital hai un gran número de teorías matemáticas básicas. Se se trata dunha ruta de enxeñaría, entón tes que aprender o desenvolvemento multiplataforma, aprender a recopilar, reproducir e procesar audio e vídeo en varias plataformas e aprender a optimizar a linguaxe de ensamblaxe en varias plataformas. (Relacionado coa plataforma)

O audio e o vídeo son un campo moi profundo e nunca acabarás de aprender na vida, pero este campo ten a vantaxe de que a velocidade de actualización do coñecemento é relativamente lenta, as cousas aprendidas non son fáciles de eliminar e a acumulación de experiencia é moi importante.v