Otimização de Redes Neurais Profundas

Donwload:

Redes neurais convolucionais têm sido um tópico de pesquisa ativo na Visão Computacional, principalmente porque alcançaram resultados de ponta em várias tarefas, como detecção de objeções e verificação de face. Trabalhos recentes exploram o desenvolvimento de arquiteturas, que é um ponto chave para melhorar o desempenho em redes neurais convolucionais. Foi demonstrado que arquiteturas mais profundas alcançam melhores resultados. No entanto, elas são computacionalmente caras, apresentam um grande número de parâmetros e consomem uma memória considerável. Para lidar com esse problema, abordagens recentes propuseram abordagens de poda, que consiste em encontrar e remover filtros sem importância nessas redes.

A ideia principal por trás da poda de redes neurais é que pode existir um grande número de neurônios sem importância e redundantes que poderiam ser eliminados (isto é, a rede está acima da capacidade requerida), portanto é possível reduzir o tamanho da rede mantendo seu desempenho original . Inspirado por essa ideia, propomos uma nova abordagem para remover eficientemente filtros em redes neurais profundas de convolução baseadas em mínimos quadrados parciais e na importância variável na projeção para medir a importância de cada filtro, removendo os não importantes (ou menos importantes).

Resultados experimentais mostram que o método proposto é capaz de reduzir até 88% das operações de ponto flutuante (FLOPs) sem penalizar a precisão da rede. Com uma queda insignificante na precisão, podemos reduzir até 92% dos FLOPs. Além disso, às vezes, o método é capaz de melhorar a precisão da rede. A tabela abaixo resume nossos principais resultados.

Resultados

Método FLOPs↓ Acc↓

VGG16 on

CIFAR-10

Hu et al. 28.29 -0.66
Li et al. 34.00 -0.10
Huang et al. 64.70 1.90
Ours 67.25 -0.63
ResNet56 on

CIFAR-10

Huang et al. 64.70 1.70
Yu et al. 43.61 0.03
He et al. 50.00 0.90
Ours 48.01 0.34
VGG16 on

ImageNet

Li et al. 20.00 14.60
Wang et al. 20.00 2.00
He et al. 20.00 1.40
Ours 36.03 1.06

Referências

Você deve citar o seguinte artigo se usar este software em seu trabalho.

Artur Jordao; Ricardo Kloss; Fernando Yamada; William Robson Schwartz: Pruning Deep Neural Networks using Partial Least Squares. Em: ArXiv e-prints, 2018. (Tipo: Journal Article | Links | BibTeX)

Donwload: