Otimização de Redes Neurais

Redes neurais convolucionais têm sido um tópico de pesquisa ativo na Visão Computacional, principalmente porque alcançaram resultados de ponta em várias tarefas, como detecção de objeções e verificação de face. Trabalhos recentes exploram o desenvolvimento de arquiteturas, que é um ponto chave para melhorar o desempenho em redes neurais convolucionais. Foi demonstrado que arquiteturas mais profundas alcançam melhores resultados. No entanto, elas são computacionalmente caras, apresentam um grande número de parâmetros e consomem uma memória considerável. Para lidar com esse problema, abordagens recentes propuseram abordagens de poda, que consiste em encontrar e remover filtros sem importância nessas redes.

A ideia principal por trás da poda de redes neurais é que pode existir um grande número de neurônios sem importância e redundantes que poderiam ser eliminados (isto é, a rede está acima da capacidade requerida), portanto é possível reduzir o tamanho da rede mantendo seu desempenho original . Inspirado por essa ideia, propomos uma nova abordagem para remover eficientemente filtros em redes neurais profundas de convolução baseadas em mínimos quadrados parciais e na importância variável na projeção para medir a importância de cada filtro, removendo os não importantes (ou menos importantes).

Software

Related Publications

Artur Jordao; Ricardo Kloss; Fernando Yamada; William Robson Schwartz

Pruning Deep Neural Networks using Partial Least Squares Journal Article

Em: ArXiv e-prints, 2018.

Links | BibTeX