Effiziente tiefe neuronale Netze für eingebettete Systeme
Resource-Efficient Deep Models for Embedded Systems
DACH: Österreich - Deutschland - Schweiz
Wissenschaftsdisziplinen
Elektrotechnik, Elektronik, Informationstechnik (45%); Informatik (55%)
Keywords
-
Deep learning,
Embedded systems,
Resource-efficient machine learning,
Machine Learning,
Reconfigurable computing,
Hardware/software co-design
Tiefe neuronale Netze sind der Hauptgrund für eine signifikante Leistungssteigerung für viele Problemstellungen aus den Bereichen der Signal-, Sprach- und Bildverarbeitung. Das gilt insbesondere bei einer Verfügbarkeit von großen Datenmengen und unbeschränkten Rechenressourcen. Bei vielen realen Anwendungsfällen gibt es aber diesbezüglich oft Einschränkungen. Diese Problematik wird hier adressiert und Methoden entwickelt, um die Rechenkomplexität und den Ressourcenbedarf bei minimalem Verlust der Leistungsfähigkeit zu reduzieren. Dies ermöglicht die Anwendbarkeit von tiefen neuronalen Netzen in eingebetteten Systemen mit begrenzter Energieversorgung und Rechenkapazität bei gleichbleibender Qualität.
Neuronale Netze sind der Hauptgrund für eine signifikante Leistungssteigerung für viele Anwendungen aus den Bereichen der Sprach- und Bildverarbeitung. Das gilt insbesondere bei einer Verfügbarkeit von großen Datenmengen und unbeschränkten Rechenressourcen. Bei vielen realen Anwendungsfällen gibt es aber diesbezüglich oft Einschränkungen. Diese Problematik wurde in diesem Forschungsprojekt addressiert. Es wurden Methoden entwickelt, um die Rechenkomplexität und den Ressourcenbedarf bei minimalen Verlust der Fehlererkennungsrate zu reduzieren. Dies ermöglicht die Anwendbarkeit von neuronalen Netzen in eingebetteten System mit begrenzter Energieversorgung und Rechenkapazität bei gleichbleibender Qualität.
- Technische Universität Graz - 100%
- Holger Fröning, Ruprecht-Karls-Universität Heidelberg - Deutschland
- Paul Chow, University of Toronto - Kanada
- Yoshua Bengio, Université de Montréal - Kanada
- Sudhakar Yalamanchili, Georgia Institute of Technology - Vereinigte Staaten von Amerika
Research Output
- 315 Zitationen
- 28 Publikationen
-
2022
Titel Lung Sound Classification Using Co-Tuning and Stochastic Normalization DOI 10.1109/tbme.2022.3156293 Typ Journal Article Autor Nguyen T Journal IEEE Transactions on Biomedical Engineering Seiten 2872-2882 Link Publikation -
2021
Titel Compressing and Mapping Deep Neural Networks on Edge Computing Systems DOI 10.11588/heidok.00030166 Typ Other Autor Schindler G Link Publikation -
2021
Titel Crackle Detection In Lung Sounds Using Transfer Learning And Multi-Input Convolitional Neural Networks DOI 10.48550/arxiv.2104.14921 Typ Preprint Autor Nguyen T -
2021
Titel On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks DOI 10.1109/icpr48806.2021.9413156 Typ Conference Proceeding Abstract Autor Roth W Seiten 10297-10304 Link Publikation -
2021
Titel Resource-Efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization DOI 10.1109/icpr48806.2021.9413191 Typ Conference Proceeding Abstract Autor Peter D Seiten 9273-9279 Link Publikation -
2021
Titel End-to-end Keyword Spotting using Neural Architecture Search and Quantization DOI 10.48550/arxiv.2104.06666 Typ Preprint Autor Peter D -
2020
Titel Resource-Efficient Speech Mask Estimation for Multi-Channel Speech Enhancement DOI 10.48550/arxiv.2007.11477 Typ Preprint Autor Pfeifenberger L -
2020
Titel Differentiable TAN Structure Learning for Bayesian Network Classifiers DOI 10.48550/arxiv.2008.09566 Typ Preprint Autor Roth W -
2021
Titel Crackle Detection In Lung Sounds Using Transfer Learning And Multi-Input Convolutional Neural Networks DOI 10.1109/embc46164.2021.9630577 Typ Conference Proceeding Abstract Autor Nguyen T Seiten 80-83 -
2021
Titel Lung Sound Classification Using Co-tuning and Stochastic Normalization DOI 10.48550/arxiv.2108.01991 Typ Preprint Autor Nguyen T -
2019
Titel Towards Efficient Forward Propagation on Resource-Constrained Systems DOI 10.1007/978-3-030-10925-7_26 Typ Book Chapter Autor Schindler G Verlag Springer Nature Seiten 426-442 -
2019
Titel Bayesian Learning of Sum-Product Networks DOI 10.48550/arxiv.1905.10884 Typ Preprint Autor Trapp M -
2019
Titel Parameterized Structured Pruning for Deep Neural Networks DOI 10.48550/arxiv.1906.05180 Typ Preprint Autor Schindler G -
2019
Titel Optimisation of Overparametrized Sum-Product Networks DOI 10.48550/arxiv.1905.08196 Typ Preprint Autor Trapp M -
2019
Titel Deep Structured Mixtures of Gaussian Processes DOI 10.48550/arxiv.1910.04536 Typ Preprint Autor Trapp M -
2019
Titel Acoustic Scene Classification with Mismatched Devices Using CliqueNets and Mixup Data Augmentation DOI 10.21437/interspeech.2019-3002 Typ Conference Proceeding Abstract Autor Nguyen T Seiten 2330-2334 -
2019
Titel Deep Complex-valued Neural Beamformers DOI 10.1109/icassp.2019.8683517 Typ Conference Proceeding Abstract Autor Pfeifenberger L Seiten 2902-2906 -
2018
Titel Resource Efficient Deep Eigenvector Beamforming DOI 10.1109/icassp.2018.8462503 Typ Conference Proceeding Abstract Autor Zohrer M Seiten 3354-3358 -
2018
Titel Bayesian Neural Networks with Weight Sharing Using Dirichlet Processes DOI 10.1109/tpami.2018.2884905 Typ Journal Article Autor Roth W Journal IEEE Transactions on Pattern Analysis and Machine Intelligence Seiten 246-252 -
2018
Titel Heart Sound SegmentationAn Event Detection Approach Using Deep Recurrent Neural Networks DOI 10.1109/tbme.2018.2843258 Typ Journal Article Autor Messner E Journal IEEE Transactions on Biomedical Engineering Seiten 1964-1974 -
2020
Titel Resource-efficient DNNs for Keyword Spotting using Neural Architecture Search and Quantization DOI 10.48550/arxiv.2012.10138 Typ Preprint Autor Peter D -
2020
Titel Resource-Efficient Neural Networks for Embedded Systems DOI 10.48550/arxiv.2001.03048 Typ Preprint Autor Roth W -
2020
Titel Training Discrete-Valued Neural Networks with Sign Activations Using Weight Distributions DOI 10.1007/978-3-030-46147-8_23 Typ Book Chapter Autor Roth W Verlag Springer Nature Seiten 382-398 -
2020
Titel On Resource-Efficient Bayesian Network Classifiers and Deep Neural Networks DOI 10.48550/arxiv.2010.11773 Typ Preprint Autor Roth W -
2020
Titel Towards Real-Time Single-Channel Singing-Voice Separation with Pruned Multi-Scaled Densenets DOI 10.1109/icassp40776.2020.9053542 Typ Conference Proceeding Abstract Autor Huber M Seiten 806-810 -
2018
Titel Hybrid generative-discriminative training of Gaussian mixture models DOI 10.1016/j.patrec.2018.06.014 Typ Journal Article Autor Roth W Journal Pattern Recognition Letters Seiten 131-137 Link Publikation -
2018
Titel Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks DOI 10.48550/arxiv.1809.04400 Typ Preprint Autor Trapp M -
2018
Titel Efficient and Robust Machine Learning for Real-World Systems DOI 10.48550/arxiv.1812.02240 Typ Preprint Autor Pernkopf F