在讲音视频同步之前,先来聊一聊音视频的一些概念,下面是用vlc查看某个mp4视频播放时的参数:
视频就是我们通常看的电影,电视剧,抖音小视频等,视频有时长,一般称为duration,还有帧率,帧率英文简称fps, 表示一秒显示多少个画面,比如fps为25,可以称为每秒25帧,每秒显示25张图片画面,每40ms显示一帧。帧率越高,画面越流畅。
音频流声音和光线一样都是属于“波”,波的性质就比较复杂了,有振幅,频率,还有时域,频域等信息,一版都是把时域信号转化为频域信号,这中间的转化效果会涉及到很多数学变化,如果真是做音视频编解码算法的岗位,数学得很好,啥傅里叶变换,拉普拉斯变化都得很熟悉。 通常人耳能听到的频率范围是200-20KHz,根绝奈奎斯特采样定理,在进行模拟/数字信号的转换过程中,当采样频率fs.max大于信号中最高频率fmax的2倍时(fs.max>2fmax),采样之后的数字信号完整地保留了原始信号中的信息,一般实际应用中保证采样频率为信号最高频率的2.56~4倍