Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens

Deep neural network techniques have been successfully used for image classification using convolutional neural networks. However, deep learning algorithms perform a lot of mathematical operations. These operations can be a bottleneck in the process of large amounts of images. In low-cost microcontro...

ver descrição completa

Na minha lista:
Detalhes bibliográficos
Autor principal: Goldbarg, Mateus Arnaud Santos de Sousa
Outros Autores: Fernandes, Marcelo Augusto Costa
Formato: bachelorThesis
Idioma:pt_BR
Publicado em: Universidade Federal do Rio Grande do Norte
Assuntos:
Classificação de imagens
Image classification
Redes Neurais Profundas
Deep Neural Networks
Compressão de Modelo
Model Compression
Poda
Pruning
Treinamento de Modelo
Model Training
Endereço do item:https://repositorio.ufrn.br/handle/123456789/38053
Tags: Adicionar Tag
Sem tags, seja o primeiro a adicionar uma tag!
id ri-123456789-38053
record_format dspace
spelling ri-123456789-380532021-09-24T23:07:50Z Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens Analysis of compression techniques by pruning in deep neural networks using image dataset Goldbarg, Mateus Arnaud Santos de Sousa Fernandes, Marcelo Augusto Costa http://lattes.cnpq.br/5393775937989569 http://lattes.cnpq.br/3475337353676349 Silva, Sérgio Natan http://lattes.cnpq.br/3735623063336406 Silva Júnior, José Cláudio Vieira e http://lattes.cnpq.br/1771363662070018 Classificação de imagens Image classification Redes Neurais Profundas Deep Neural Networks Compressão de Modelo Model Compression Poda Pruning Treinamento de Modelo Model Training Deep neural network techniques have been successfully used for image classification using convolutional neural networks. However, deep learning algorithms perform a lot of mathematical operations. These operations can be a bottleneck in the process of large amounts of images. In low-cost microcontrollers, these operations can result in a significant increase in energy consumption, showing the need to apply compression techniques for these networks. Currently, most of the deep networks used or image classification are not optimized. The purpose of this work is to optimize a convolutional neural network using the technique of data compression by pruning. During training, the technique is to remove the weights at each batch, instead of removing weights only in the first batch of each epoch. This strategy was applied to classify 10,000 images from 10 different classes. It was possible to remove approximately 82% of the parameters from the deep neural network while maintaining high accuracy. These results shows that the batch weight removal technique proved to be effective for this application. Técnicas de redes neurais profundas tem sido utilizadas com sucesso para classificação de imagens a partir da utilização de redes neurais convolucionais. Porém, algoritmos de deep learning realizam uma grande quantidade de operações matemáticas. Essas operações podem ser um gargalo no processo de grandes quantidades de imagens em um curto período de tempo. Em microcontroladores de baixo custo, essas operações podem resultar em um aumento significativo do consumo energético, mostrando assim a necessidade da aplicação de técnicas de compressão dessas redes. Atualmente, a maioria das redes profundas utilizadas para classificação de imagens não são otimizadas. A proposta deste trabalho é otmizar uma rede neural convolucional a partir da técnica de compressão de dados por poda. Durante o treino, a técnica é remover os pesos a cada batch ao invés da remoção dos pesos apenas no primeiro batch de cada época. Essa estratégia foi aplicada para classificação de 10 mil imagens de 10 classes diferentes. Foi possível remover aproximadamente 82% dos parâmetros da rede neural profunda mantendo uma alta acurácia. Esses resultados mostram que a técnica de remoção de pesos por batch se mostrou eficaz para essa aplicação. 2021-09-24T23:07:49Z 2021-09-24T23:07:49Z 2021-09-10 bachelorThesis GOLDBARG, Mateus Arnaud Santos de Sousa, Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens. 2021. 48f. Trabalho de Conclusão de Curso (Graduação em Engenharia de Computação), Centro de Tecnologia. Universidade Federal do Rio Grande do Norte, Natal, 2021 https://repositorio.ufrn.br/handle/123456789/38053 pt_BR Attribution 3.0 Brazil http://creativecommons.org/licenses/by/3.0/br/ application/pdf Universidade Federal do Rio Grande do Norte Brasil UFRN Engenharia de Computação Departamento de Engenharia de Computação e Automação
institution Repositório Institucional
collection RI - UFRN
language pt_BR
topic Classificação de imagens
Image classification
Redes Neurais Profundas
Deep Neural Networks
Compressão de Modelo
Model Compression
Poda
Pruning
Treinamento de Modelo
Model Training
spellingShingle Classificação de imagens
Image classification
Redes Neurais Profundas
Deep Neural Networks
Compressão de Modelo
Model Compression
Poda
Pruning
Treinamento de Modelo
Model Training
Goldbarg, Mateus Arnaud Santos de Sousa
Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
description Deep neural network techniques have been successfully used for image classification using convolutional neural networks. However, deep learning algorithms perform a lot of mathematical operations. These operations can be a bottleneck in the process of large amounts of images. In low-cost microcontrollers, these operations can result in a significant increase in energy consumption, showing the need to apply compression techniques for these networks. Currently, most of the deep networks used or image classification are not optimized. The purpose of this work is to optimize a convolutional neural network using the technique of data compression by pruning. During training, the technique is to remove the weights at each batch, instead of removing weights only in the first batch of each epoch. This strategy was applied to classify 10,000 images from 10 different classes. It was possible to remove approximately 82% of the parameters from the deep neural network while maintaining high accuracy. These results shows that the batch weight removal technique proved to be effective for this application.
author2 Fernandes, Marcelo Augusto Costa
author_facet Fernandes, Marcelo Augusto Costa
Goldbarg, Mateus Arnaud Santos de Sousa
format bachelorThesis
author Goldbarg, Mateus Arnaud Santos de Sousa
author_sort Goldbarg, Mateus Arnaud Santos de Sousa
title Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
title_short Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
title_full Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
title_fullStr Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
title_full_unstemmed Análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
title_sort análise de técnicas de compressão em redes neurais profundas por poda em dataset de imagens
publisher Universidade Federal do Rio Grande do Norte
publishDate 2021
url https://repositorio.ufrn.br/handle/123456789/38053
work_keys_str_mv AT goldbargmateusarnaudsantosdesousa analisedetecnicasdecompressaoemredesneuraisprofundasporpodaemdatasetdeimagens
AT goldbargmateusarnaudsantosdesousa analysisofcompressiontechniquesbypruningindeepneuralnetworksusingimagedataset
_version_ 1773963432005992448

Registros relacionados