【文献学习】An Introduction to Deep Learning for the Physical Layer

1 简介 1.1 主要贡献

• 介绍了一种在给定信道中的完整发送机和接收机。关键思想是将发送器，通道和接收器表示为一个深度神经网络，可以将其训练为自动编码器。 优点是可以应用于未知最优解的信道模型和损失函数。
• 将这个概念扩展到多个的收发机的对抗网络，所有发送器和接收器的实现都可以针对一个或多个公共或单个性能指标进行联合优化。
• 该神经网络可以整合到转变信号的任务里端到端训练过程中
• 实验的结果反映了深度学习在各个领域的持续发展趋势，在这里学习到的特征最终胜过并取代了长期使用的专家特征。

1.2 论文的大概内容

• I-A：讨论DL在物理层的潜在价值
• I-B：DL的相关内容
• II：DL的背景
• III：介绍几个DL在信息传输中的应用
• IV：讨论开放问题和未来调查中的关键领域
• V : 总结

2 I-A Potential of DL for the physical layer

• 2.1 DL的模型没有数学模型的要求和特定硬件配置的要求并且能获得更好的性能
• 2.2 DL的端到端的信息传输系统，不要像以往把一个系统划分为多个独立的模块。在优化性能上能够提供简洁的方法。
• 2.3 学习算法比可以执行更快，更低的损耗。
• 2.4 具有分布式存储体系结构的大规模并行处理体系结构。

3 I-B Historical context and related work

• 有两种将DL应用于物理层的主要方法。 目标是使用DL改进/增强现有算法的一部分，或完全替换它们。

4 II DEEP LEARNING BASICS 4.1 基础介绍

• 神经网络的层次有哪些

• 激活函数有哪些

• 损失函数有哪些

4.2 A. Convolutional layers 4.2 B. Deep learning libraries

• 很多工具可以用来快速搭建神经网络。比如Keras

4.3 C. Network dimensions and training

• 宽度”用于描述每层或平均所有层的输出激活次数

5 III EXAMPLES OF MACHINE LEARNING APPLICATIONS FOR THE PHYSICAL LAYER

这一节要点：

• 介绍如何实现端到端的自动解码并且用SGD算法训练的通信系统
• 这个概念将会扩展到复合的发送机和接收机中
• 然后将引入RTN的概念来改善衰落信道的性能
• 演示了CNN在原始射频时间序列数据中用于调制分类任务的应用。

5.1 A. Autoencoders for end-to-end communications systems

• 简单的端到端的发送机-传送-接收机模型

• 基于高斯信道的自动编码器的通信系统

• Autoencoder

  • Transmitter: 利用深度学习方法将s映射到x。只要你通过非线性压缩和去重构输入。就是产生信号到发送信号这个过程。s 是一个M 维度的one-hot 向量。
  • Receiver: 也是一个前馈神经网络，最后一层使用softmax进行分类。输出是s是一个最高概率的选择
  • 可以使用SGD算法对端到端的自动编码机机型训练，使用合适的交叉熵损失函数。

• 基于BPSK调制，汉明码结合二进制硬判决或最大似然函数译码的通信系统。下图a是自动编码器在几种基准通信方案的误块率（具有固定的能量约束Hamming (7,4) code；autoencoder (7,4) ）。

  • 该结果表明，自动编码器在没有任何先验知识的情况下学会了编码器和解码器功能，其性能与使用MLD的Hamming码相同。
  • 实验表明，SGD使用两个传输层而不是一个传输层可以收敛到更好的全局解决方案。 通过增加这种维度参数搜索空间，可以使此类解决方案在优化过程中更有可能作为鞍点(saddle points)出现，从而实际上有助于降低收敛至次优最小值的可能性。
  • 使用Adam 以0.001的学习率在固定的Eb / N0 = 7 dB(Eb代表平均到每个比特上的信号能量，N0代表噪声的功率谱密度)值下进行训练。 我们已经观察到，增加batch大小，同时降低训练期间的学习率有助于提高准确性。

• 下图b是自动编码器在几种基准通信方案的误块率（an (8,8) and (2,2) communications system ）

实验表明：自动编码器在（2,2）上获得了与未编码BPSK相同的BLER，但在Eb = N0的整个范围内，它的性能优于 （8,8）后者。 这意味着自动编码器已经学会了一些联合编码和调制方案，从而获得了编码增益。

• 自动编码器的布局

• X信号的产生（正交相移键控（QPSK）星座图）

显示了一个简单的（2; 2）系统，该系统迅速收敛到经典的正交相移键控（QPSK）星座图。

5.2 B. Autoencoders for multiple transmitters and receivers

• 两个高斯干扰信道组成的模型

• 如何训练目标相互矛盾的两个耦合自动编码器(两种方法)

• 一种方法：是将两个损失的加权总和最小化

• 另一种方法： ???

• 由自动编码器和不同参数的QAM分时自动编码器实现的两个用户干扰信道的BLER

实验分析：两种自动编码器的NN布局均在上面的表IV中提供，方法是将n替换为2n。 我们已经使用平均功率约束来与高阶调制方案竞争。 作为比较的基准，选择未编码的BLER 22k/n-QAM与两个发射机之间的分时（TS）一起使用时具有相同的速率。虽然自动编码器和分时具有（1; 1）和（2;2）相同的BLER，但前者 在10-3的BLER下，对于（4; 4）可获得约0.7 dB的实质增益，对于（4; 8）可获得约1 dB的实质增益。 其原因与III-A节中解释的原因相似。

实验表明：发射机已经学会了在正交方向上使用类似二进制相移键控（BPSK）的星座。这样可以实现与QPSK相同的分时共享性能。但是，对于（2; 2），学习的星座不再是正交的，可以解释为某种形式的叠加编码。我们可以看到，两个发射机的星座都类似于具有正交主轴和不同焦距的椭圆。 （4; 8）的效果比（4; 4）的效果更明显，因为星座点数量增加了。

5.3 C. Radio transformer networks for augmented signal processing algorithms

使用RTN网络去增强信号的处理。运用在接收机。主要包含三个部分：

• 第一部分：学习的参数估计器（计算输入的向量y,输出w）
• 第二部分：参数转换器（将确定性函数应用于y，该函数由w参数化 并适合传播现象）
• 第三部分：学习的判别网络（得到规范化的输出）

原理：是通过优化参数估计的方法。并不是去直接优化参数。RTN通过合并领域知识来简化目标流形，类似于卷积层在适当情况下在传递翻译方差中的作用。这导致了一个更简单的搜索空间和改进泛化上述的自动编码器和RTN可以通过微小的修改来扩展，直接操作IQ信号而不是符号，从而有效地处理脉冲整形、定时、频率和相位偏移补偿等问题。

实验结果分析：有两个优点

• 第一个：比较了在多径衰落信道中，加和不加RTN的BLER的对比。加了RTN后，BLER降低了

• 第二个： 加了RTN后训练的收敛会更快

缺点：扩大编码器和解码器网络并增加迭代次数后，性能差异会减小

5.4 CNNs for classification tasks

• 应用于调试分类的CNN神经网络结构如下：

• 下图是将CNN的分类精度与使用1000个估算器的极端梯度增强以及单个scikit-learn决策树进行了比较

• 下图显示了SNR = 10 dB时CNN的混淆矩阵，揭示了QAM16与QAM64之间以及宽带FM（WBFM）与双边带AM（AM-DSB）之间的混淆情况

• 实验结果分析：这些示例的短时性质使此任务处于调制分类谱的困难端，因为我们无法长时间长时间地计算出具有高稳定性的专家特征。 在低到中SNR范围内，CNN的性能优于增强型基于特征的分类器约4 dB，而高SNR的性能相似。 在单树情况下，中信噪比下的性能比CNN差6 dB，而在高信噪比下的性能差3.5％。

6 IV. DISCUSSION AND OPEN RESEARCH CHALLENGES

A. Data sets and challenges B. Data representation, loss functions, and training SNR C. Complex-valued neural networks D. ML-augmented signal processing E. System identification for end-to-end learning

7 源码下载

https://github.com/radioml/introdlphy/