直播系统搭建所用到的技术原理

 

首要咱们来了解一下一个完整的聚合直播盒子APP原理是：把主播录制的视频，推送到服务器，再由服务器分发给观众观看。

流程： 收集 —>处理—>编码和封装—>推流到服务器—>服务器流分发—>播映器流播映

1. 收集视频、音频

收集是整个视频推流进程中的第一个环节，它从体系的收集设备中获取原始视频数据，将其输出到下一个环节。视频的收集是指音频收集和图画收集：音频数据既能与图画结合组合成视频数据，也能以纯音频的方式收集播映，纯音频收集播映在许多老练的应用场景如在线电台和语音电台等起着非常重要的作用。图画收集是将图画收集的图片结果组合成一组连续播映的动画，即构成视频中可肉眼观看的内容。对于收集，PC端需求各种型号的摄像头的驱动，Andriod端要做许多手机机型的适配作业，ios端就比较简略。

2.视频处理（如美颜、水印）

视频或者音频完成收集之后得到原始数据，为了增强一些现场效果或者加上一些额外的效果，咱们一般会在将其编码紧缩前进行处理，处理环节中分为音频和视频处理，音频处理中详细包括混音、降噪和声响特效等处理，视频处理中包括美颜、水印、以及各种自定义滤镜等处理。美颜美化功用是在线直播宝盒体系开发的标配，且以动态贴纸为代表的AI技能也被广泛应用于音视频直播体系计划中。

3.编解码、封装

编码是信息从一种形式或格式转换为另一种形式的进程也称为计算机编程言语的代码简称编码。解码，是编码的逆进程，运用相关硬件或软件对接收到的编码后的音视频数据进行解码，得到可以直接显现的图画或声响。编解码就好比物流体系中配货和装货的进程，这个进程直接就影响视频图画文字在网络传输中的速度。封装，就相似媒体的容器，是把编码器生成的多媒体内容(视频，音频，字幕，章节信息等)混合封装在一起的规范。封装使得不同多媒体内容同步播映变得简略，也为多媒体内容提供索引，也就是说假如没有封装存在的话一部影片你只能从一开端看到最后，不能拖动进度条，并且假如你不自己去手动另外载入音频就没有声响。

4.推流到服务器

推流，就是将收集到的音频、视频数据经过流媒体协议发送到流媒体服务器。推流对这个直播链路影响非常大，假如推流的网络不稳定，不管咱们如何做优化，观众的体会都会很糟糕，所以也是咱们排查问题的第一步。推送协议主要有三种：

（1）RTSP（Real Time Streaming Protocol）：实时流传送协议，是用来控制声响或影像的多媒体串流协议， 由Real Networks和Netscape共同提出的；

（2）RTMP(Real Time Messaging Protocol)：实时音讯传送协议，是Adobe公司为Flash播映器和服务器之间音频、视频和数据传输 开发的敞开协议；

（3）HLS(HTTP Live Streaming)：是苹果公司(Apple Inc.)完成的基于HTTP的流媒体传输协议。

RTMP 是现在干流的流媒体传输协议，广泛用于直播领域，可以说市面上绝大多数的直播产品都采用了这个协议，也有部分运用HLS协议。

5.服务器流分发

流媒体服务器的作用是负责直播流的发布和转播分发功用。

常用服务器

SRS:一款国人开发的优异开源流媒体服务器体系

BMS:也是一款流媒体服务器体系，但不开源，是SRS的商业版，比SRS功用更多

nginx:兔费开源Web服务器，常用来装备流媒体服务器

自建流媒体服务器局限性很大，费用也比较昂扬，主张交给CDN服务商。

6. 播映器流播映

主要是完成直播节目在终端上的展现。假如运用的传输协议是RTMP， 那么只需支撑 RTMP 流协议的播映器都可以运用，譬如：电脑端：VLC等；手机端：Vitamio以及ijkplayer等。

希望经过以上直播技能原理的论述，在协助我们更好地了解直播体系如何搭建的同时，也可以协助我们优化自己的直播体系解决计划。