Desenvolvemento do sistema de transmisión en directo de iOS (principio)

4. Unha arquitectura completa de aplicacións de transmisión en directo (3)

5. Puntos técnicos dunha aplicación completa de transmisión en directo (4)

3. Comprender os medios de transmisión (os medios de transmisión son necesarios para a transmisión en directo)
Desenvolvemento de medios de transmisión: a capa de rede (socket ou st) é a responsable da transmisión, a capa de protocolo (rtmp ou hls) é a responsable do empaquetado de rede, a capa de encapsulamento (flv, ts) é a encapsulación dos datos do códec e A capa de codificación (h.264 e AAC) é a responsable da imaxe, da compresión de audio.
Marco: cada marco representa unha imaxe fixa
GOP: grupo de imaxes (grupo de imaxes), un GOP é un grupo de imaxes continuas, cada imaxe é un marco, un GOP é unha colección de moitos cadros
Os datos en directo son en realidade un conxunto de imaxes, incluíndo fotogramas I, fotogramas P e fotogramas B. Cando o usuario os vexa por primeira vez, buscará os fotogramas I e o xogador irá ao servidor para atopar os fotogramas I máis próximos e devolveralles ao usuario. Polo tanto, GOP Cache aumenta a latencia de extremo a extremo porque debe obter o fotograma I máis próximo. Canto maior sexa a lonxitude da caché GOP, mellor será a calidade da imaxe
Taxa de bits: a cantidade de datos amosados ​​por segundo despois de comprimir a imaxe.
Velocidade de fotogramas: o número de imaxes mostradas por segundo. Afecta a suavidade da imaxe e é directamente proporcional á suavidade da imaxe: canto maior sexa a velocidade de fotogramas, máis suave será a imaxe; canto máis baixa sexa a velocidade de fotogramas, máis imaxinaria será a imaxe.
Debido á estrutura fisiolóxica especial do ollo humano, se a velocidade de fotogramas da imaxe que se visualiza é superior a 16, considerarase coherente. Este fenómeno chámase persistencia da visión. E cando a velocidade de fotogramas alcanza un determinado valor, se aumenta de novo, non é doado para o ollo humano percibir un aumento significativo da fluidez.
Resolución: (rectangular) a lonxitude e o ancho da imaxe, é dicir, o tamaño da imaxe
Datos por segundo antes da compresión: resolución X de velocidade de fotogramas (a unidade debería ter varios bytes)
Relación de compresión: a cantidade de datos por segundo / velocidade de bits antes da compresión (para a mesma fonte de vídeo e usando o mesmo algoritmo de codificación de vídeo, entón: canto maior sexa a relación de compresión, peor será a calidade da imaxe).
Formato de ficheiro de vídeo: o sufixo do ficheiro, como .wmv, .mov, .mp4, .mp3, .avi,
Uso principal, segundo o formato de ficheiro, o sistema determinará automaticamente que software abrir,
Nota: Modifique o formato do ficheiro a vontade, non terá moito impacto no ficheiro en si, como cambiar avi a mp4, o ficheiro aínda é avi.
Formato de encapsulación de vídeo: un contedor para almacenar información de vídeo. A encapsulación en fluxo pode incluír TS, FLV, etc., a encapsulación indexada inclúe MP4, MOV, AVI, etc.,
Función principal: un ficheiro de vídeo a miúdo contén imaxes e audio, así como algunha información de configuración (como a asociación de imaxes e audio, como descodificalas, etc.): estes contidos deben organizarse e empaquetarse segundo certas regras.
Nota: descubrirás que o formato de empaquetado é o mesmo que o formato de ficheiro, porque o sufixo do formato de ficheiro de vídeo xeral usa o nome do formato de empaquetado de vídeo correspondente, polo que o formato de ficheiro de vídeo é o formato de empaquetado de vídeo.