深度学习FPGA实现

最近做了CNN的卷积层和LS-SVM在ZYNQ7020上的实现。除了输入是由ARM通过AXI总线传输，算法的主要部分都是由PL部分（FPGA）实现的。当然这只是入门的尝试，对于一个深度学习算法，如何在硬件上实现效率最高，还需要进一步的验证（在SOC架构中对算法进行划分还是直接采用高端FPGA实现）。

　　最开始做的是卷积层的实现，通过学习的例程，使我对整个开发流程有了初步的认识。随着自己在自己板子上的实现，对于其中存在的很多没有明说的关键细节，有了更多的积累。最后，开发的流程和思想由这些细节串联成一个整体。而后来的LS-SVM的实现，让我对论文中的算法复现体验了一番。接下来，我将以上述两个算法为例，总结一下深度学习算法在FPGA上的开发思想。

　　首先，在做实现之前，最重要的是算法是在硬件上是做训练，还是做检测，这两者之间差别较大。我认为FPGA对于训练任务的适用性一定是体现在需要一边检测一边学习的工程中，而不是为了减少训练时间的单纯训练任务。训练算法一般有两类情况，一类是需要不断地迭代（BP算法，SMO算法等），一类是通过矩阵求逆等环节直接求解。这两种在硬件上实现都对维数和层数提出了限制（多层迭代存在小数位数过大，难以定点化的问题；直接求解存在大型矩阵求逆的问题...