Redes neurais convolucionais têm sido um tópico de pesquisa ativo na Visão Computacional, principalmente porque alcançaram resultados de ponta em várias tarefas, como detecção de objeções e verificação de face. Trabalhos recentes exploram o desenvolvimento de arquiteturas, que é um ponto chave para melhorar o desempenho em redes neurais convolucionais. Foi demonstrado que arquiteturas mais profundas alcançam melhores resultados. No entanto, elas são computacionalmente caras, apresentam um grande número de parâmetros e consomem uma memória considerável. Para lidar com esse problema, abordagens recentes propuseram abordagens de poda, que consiste em encontrar e remover filtros sem importância nessas redes.
A ideia principal por trás da poda de redes neurais é que pode existir um grande número de neurônios sem importância e redundantes que poderiam ser eliminados (isto é, a rede está acima da capacidade requerida), portanto é possível reduzir o tamanho da rede mantendo seu desempenho original . Inspirado por essa ideia, propomos uma nova abordagem para remover eficientemente filtros em redes neurais profundas de convolução baseadas em mínimos quadrados parciais e na importância variável na projeção para medir a importância de cada filtro, removendo os não importantes (ou menos importantes).
Resultados experimentais mostram que o método proposto é capaz de reduzir até 88% das operações de ponto flutuante (FLOPs) sem penalizar a precisão da rede. Com uma queda insignificante na precisão, podemos reduzir até 92% dos FLOPs. Além disso, às vezes, o método é capaz de melhorar a precisão da rede. A tabela abaixo resume nossos principais resultados.
Resultados
Método | FLOPs↓ | Acc↓ | |
---|---|---|---|
VGG16 on CIFAR-10 |
Hu et al. | 28.29 | -0.66 |
Li et al. | 34.00 | -0.10 | |
Huang et al. | 64.70 | 1.90 | |
Ours | 67.25 | -0.63 | |
ResNet56 on
CIFAR-10 |
Huang et al. | 64.70 | 1.70 |
Yu et al. | 43.61 | 0.03 | |
He et al. | 50.00 | 0.90 | |
Ours | 48.01 | 0.34 | |
VGG16 on
ImageNet |
Li et al. | 20.00 | 14.60 |
Wang et al. | 20.00 | 2.00 | |
He et al. | 20.00 | 1.40 | |
Ours | 36.03 | 1.06 |