Otimização de Redes Neurais Profundas

Donwload:

Redes neurais convolucionais têm sido um tópico de pesquisa ativo na Visão Computacional, principalmente porque alcançaram resultados de ponta em várias tarefas, como detecção de objeções e verificação de face. Trabalhos recentes exploram o desenvolvimento de arquiteturas, que é um ponto chave para melhorar o desempenho em redes neurais convolucionais. Foi demonstrado que arquiteturas mais profundas alcançam melhores resultados. No entanto, elas são computacionalmente caras, apresentam um grande número de parâmetros e consomem uma memória considerável. Para lidar com esse problema, abordagens recentes propuseram abordagens de poda, que consiste em encontrar e remover filtros sem importância nessas redes.

A ideia principal por trás da poda de redes neurais é que pode existir um grande número de neurônios sem importância e redundantes que poderiam ser eliminados (isto é, a rede está acima da capacidade requerida), portanto é possível reduzir o tamanho da rede mantendo seu desempenho original . Inspirado por essa ideia, propomos uma nova abordagem para remover eficientemente filtros em redes neurais profundas de convolução baseadas em mínimos quadrados parciais e na importância variável na projeção para medir a importância de cada filtro, removendo os não importantes (ou menos importantes).

Resultados experimentais mostram que o método proposto é capaz de reduzir até 88% das operações de ponto flutuante (FLOPs) sem penalizar a precisão da rede. Com uma queda insignificante na precisão, podemos reduzir até 92% dos FLOPs. Além disso, às vezes, o método é capaz de melhorar a precisão da rede. A tabela abaixo resume nossos principais resultados.

Resultados

MétodoFLOPs↓Acc↓

VGG16 on

CIFAR-10

Hu et al.28.29-0.66
Li et al.34.00-0.10
Huang et al.64.701.90
Ours67.25-0.63
ResNet56 on

CIFAR-10

Huang et al.64.701.70
Yu et al.43.610.03
He et al.50.000.90
Ours48.010.34
VGG16 on

ImageNet

Li et al.20.0014.60
Wang et al.20.002.00
He et al.20.001.40
Ours36.031.06

Referências

Você deve citar o seguinte artigo se usar este software em seu trabalho.

Artur Jordao; Ricardo Kloss; Fernando Yamada; William Robson Schwartz: Pruning Deep Neural Networks using Partial Least Squares. Em: ArXiv e-prints, 2018. (Tipo: Journal Article | Links | BibTeX)

Donwload: