Unity - Microphone 测试录音，播放录音，显示音波图（不是Spectrum图）

最近一直找游戏设计灵感。

找着找着，突然想起，以前玩过的一款打飞机游戏，端游，他可以根据你播放的音乐文件来自动发射子弹，玩家不是能自主发射子弹的，当时我就一直拿那个：《劲乐团》里的一首曲子：《V3》- 贝多芬交响曲。

这首曲子，全程高能，整个屏幕都是子弹，爽啊，哈哈，而且这首曲子也很嗨。

当然与音乐相关的游戏还不止这款。。。

相关的知识点

声频：指的是声波介质，每秒震动的次数，单位交：赫兹，英文：Hz，人类能听到的声频大概是：20Hz~20000Hz。低于20Hz我们叫超低音声波，高于20000Hz我们叫超高音波（超音波）。而不同物种，他们声频生物传感器是不一样的，如：蝙蝠，相对人类来说的部分超低高音都可以听到，但它能听到的范围也是有限的。
声波：而声波是介质震动（一般指的是空气）时的振动波，现实生活中我们听到的声音都是一些连续不间断的声波，声波进入了我们的耳朵（接受声波处理的生物传感器），就听到声音了
采样率：因为声波是连续不间断的，但我们记录的是离散的数字信号，采样率就是每秒记录的次数。如：44100次/每秒，就是我们常见的44KHz。但是采样率越高记录所需要的数据量就越大。相反，越低的采样率，数据量就很少了，但是音质会很差，甚至低到一定程度，我们都几乎听不到。我们平时看到保安人员的对讲机，大概就是1KHz，我们一些高音质的MP3等音频文件有16KHz，32KHz，44KHz，都有，有些电影院的那些可能上MHz都是有的。
比特率：和采样率差不多的意思，只是他主要表达的是每秒需要记录用到的bit位有多少，考量维度不一样，前者是记录次数，后者是使用bit的量，就可以很准确的确定数据占用量。

音波图（不是声谱Spectrum）

至于声谱图，我没去研究过，这里不涉及。

AudioClip类API

public bool GetData(float[] data, int offsetSamples); 从AudioClip中，指定offsetSamples的位置开始读取音波数据存入我们预先创建的float[] data缓存中。

AudioClip是我们的音频对象。

Microphone.Start返回的是AudioClip。
Project视图管理资源中，音频文件也是AudioClip。

而我们就是通过这个AudioClip.GetData来取对应缓存位置记录的音波数据的，然后根据这些数据我们将它用于控制一些粒子特效，或是线条，几何体，颜色变化，等来表现我们的音波图的。

下图就是根据此API制作的简单的音波图。（我放了很多个：RawImage，然后用AudioClip.GetData取出来的数据分别控制他们的宽度，及颜色即可，这首史诗级曲子：EI Dorado也是我非常喜欢的，有兴趣可以听听）在这里插入图片描述

扩展

播放器，KTV，KTV评分系统：有些前面哪些功能，起始如果上对各音频文件的编解码处理，你甚至可以制作一些播放器了（在搞一些文件读写就好了），录制的话，你要可以搞个人KTV录制。还可以分析音波与原唱的音波图相似度来评KTV录制结果分数。
无时间限制录制文件功能：还有一个，起始还可以写一个无时间长度限制的录音软件。但是还需要对代码调整（就是判断Microphone.GetPosition差不多到缓存尾部的时候，马上再调用Microphone.Start记录重新录制就好了，再将之前录制的那个AudioClip的数据写入文件流啊，就可以了）
简单语音录制的聊天系统：游戏，或是应用中的简单语音录制的聊天系统，前面讲了怎么怎么录制，怎么怎么从AudioClip拿数据，还有，下面的Code中，也有显示AudioClip.SetData怎么怎么使用，那么就可以将GetData的float[]转到byte[]，在通过Socket的网络传输到服务器，服务器再广播，其他接受的客户端先将byte[]转float[]，再就AudioClip.SetData，再AudioSource.Clip = 你的Clip，再AudioSource.Play，完事。

Code

using System;
using System.Collections.Generic;
using Unity.Collections;
using UnityEngine;
using UnityEngine.UI;
/// 
/// author      :   jave.lin
/// date        :   2020.02.18
/// 测试录制麦克风的各种功能
/// 
public class RecordMicrophoneSoundScript : MonoBehaviour
{
    public enum RecordStatusType
    {
        Unstart,
        Recording,
        End,
    }
    public enum RecordErrorType
    {
        None,
        NotFoundDevice,
        RecordingError,
    }
    [Space(10)]
    public Text playSoundWaveText;
    public AudioClip music;
    [Space(10)]
    public Text startOrEndRecordBtnText;
    public Text statusText;
    public Text detailStatusText;
    public Text deviceCaptureFreqText;
    [Space(10)]
    public Dropdown deviceDropdownList;
    public Dropdown frequencyDropdownList;
    public Slider recordTimeSlider;
    public Text recordTimeText;
    public Text playProgressText;
    public Text recordTimeProgressText;
    public Slider playProgressSlider;
    public Slider recordTimeProgressSlider;
    public Text detailRecordClipText;
    [Space(10)]
    public Color32 lineLowCol = new Color32(1, 1, 0, 1);
    public Color32 lineHightCol = new Color32(1, 0, 0, 1);
    public int lineW;
    public RawImage[] lines;
    [Space(10)]
    [SerializeField] [ReadOnly] private RecordStatusType recordStatus;
    [SerializeField] [ReadOnly] private RecordErrorType errorStatus;
    [SerializeField] [ReadOnly] private AudioClip recordedClip;
    private AudioSource audioSource;            // 播放的source
    private bool startRecord;
    private int posWhenEnd;
    private float[] bufferHelper;
    [SerializeField] private float[] soundWaveBuffer;
    [SerializeField] private float[] soundWaveBuffer2;
    private void Awake()
    {
        audioSource = GetComponent();
        soundWaveBuffer = new float[lines.Length];
        soundWaveBuffer2 = new float[lines.Length];
    }
    private void Start()
    {
        deviceDropdownList.ClearOptions();
        deviceDropdownList.AddOptions(new List(Microphone.devices));
        deviceDropdownList.value = 0;
        deviceDropdownList.RefreshShownValue();

        for (int i = 0; i  0) clip.GetData(soundWaveBuffer, offsetPos);    // 如果clip当前录制位置，截取够lines.length的数量
            else
            {
                // 如果不够
                // 先截取尾部的作为起始数据
                clip.GetData(soundWaveBuffer, clip.samples + offsetPos);
                var delta = lines.Length + offsetPos;
                if (delta > 0)
                {
                    // 再截取补长的数据，再clip前面部分
                    // 因为录制时，我们开启了环形缓存
                    // public static AudioClip Start(string deviceName, bool loop, int lengthSec, int frequency)中的第二个参数决定，我们写死true
                    clip.GetData(soundWaveBuffer2, 0);
                    Array.Copy(soundWaveBuffer2, 0, soundWaveBuffer, -offsetPos, delta);
                }
            }

            playSoundWaveText.text = $"PlaySoundWave : {clip.name}";
        }
    }
    // 更新音波的可视线
    private void UpdateSoundLines()
    {
        for (int i = 0; i  0 ? deviceDropdownList.options[idx].text : "EMPTY";
        Debug.Log($"Devices DropDownList Item Selection Changed, idx : {idx}, selection : {selection}");
    }
    public void OnStartOrEndRecordBtnClick()
    {
        if (Microphone.devices.Length == 0)
        {
            errorStatus = RecordErrorType.NotFoundDevice;
            return;
        }
        var deviceName = deviceDropdownList.captionText.text;
        var isRecording = Microphone.IsRecording(deviceName);
        if (isRecording)    // 录制中
        {
            posWhenEnd = Microphone.GetPosition(deviceName);
            // 那么就取消录制 - cancel recording
            Microphone.End(deviceName);
            recordStatus = RecordStatusType.End;
            startRecord = false;
        }
        else                // 没在录制
        {
            if (recordedClip != null) Destroy(recordedClip);
            // 人耳可以听到的声频为：20Hz~20000Hz左右
            // 音频采样频率（即：离散的采样点组合的模拟声波震动频率（每秒多少次，单位名：赫兹：Hz））
            // 经自己的测试发现：
            // 8820‬ = 44100 / 5：和微信的录制频率差不多（甚至微信的更低，数据小啊）
            // 11025 = 44100 / 4 ~ 44100：都差不多，不认真听都差不多
            // 22050 = 44100 / 2
            // 44100
            // 88200 = 44100 * 2
            // 频率越高，音质越高，但占用数据越大
            var frequency = Convert.ToInt32(frequencyDropdownList.captionText.text);
            recordedClip = Microphone.Start(deviceName, true, (int)recordTimeSlider.value, frequency);
            startRecord = true;
            recordTimeProgressSlider.minValue = 0;
            recordTimeProgressSlider.maxValue = (int)recordTimeSlider.value;
            recordTimeProgressSlider.value = 0;
            if (recordedClip == null) errorStatus = RecordErrorType.RecordingError;
        }
    }
    public void OnPlayClipBtnClick()
    {
        if (recordedClip != null)
        {
            var playingClip = AudioClip.Create("MicrophoneRecord", posWhenEnd, recordedClip.channels, recordedClip.frequency, recordedClip.loadType == AudioClipLoadType.Streaming);
            if (bufferHelper == null || bufferHelper.Length

Unity - Microphone 测试录音，播放录音，显示音波图（不是Spectrum图）

最近更新

热门博客

[ 申请 ]友情链接：