Otimização de Redes Neurais Profundas

Redes neurais convolucionais têm sido um tópico de pesquisa ativo na Visão Computacional, principalmente porque alcançaram resultados de ponta em várias tarefas, como detecção de objeções e verificação de face. Trabalhos recentes exploram o desenvolvimento de arquiteturas, que é um ponto chave para melhorar o desempenho em redes neurais convolucionais. Foi demonstrado que arquiteturas mais profundas alcançam melhores resultados. No entanto, elas são computacionalmente caras, apresentam um grande número de parâmetros e consomem uma memória considerável. Para lidar com esse problema, abordagens recentes propuseram abordagens de poda, que consiste em encontrar e remover filtros sem importância nessas redes.

A ideia principal por trás da poda de redes neurais é que pode existir um grande número de neurônios sem importância e redundantes que poderiam ser eliminados (isto é, a rede está acima da capacidade requerida), portanto é possível reduzir o tamanho da rede mantendo seu desempenho original . Inspirado por essa ideia, propomos uma nova abordagem para remover eficientemente filtros em redes neurais profundas de convolução baseadas em mínimos quadrados parciais e na importância variável na projeção para medir a importância de cada filtro, removendo os não importantes (ou menos importantes).

Resultados experimentais mostram que o método proposto é capaz de reduzir até 88% das operações de ponto flutuante (FLOPs) sem penalizar a precisão da rede. Com uma queda insignificante na precisão, podemos reduzir até 92% dos FLOPs. Além disso, às vezes, o método é capaz de melhorar a precisão da rede. A tabela abaixo resume nossos principais resultados.

Resultados