Publikation: Measuring the Uncertainty of Prediction...
Stammdaten
Titel: | Measuring the Uncertainty of Predictions in Deep Neural Networks with Variational Inference |
Untertitel: | |
Kurzfassung: | We present a novel approach for training deep neural networks in a Bayesian way. Compared to other Bayesian deep learning formulations, our approach allows for quantifying the uncertainty in model parameters while only adding very few additional parameters to be optimized. The proposed approach uses variational inference to approximate the intractable a posteriori distribution on basis of a normal prior. By representing the a posteriori uncertainty of the network parameters per network layer and depending on the estimated parameter expectation values, only very few additional parameters need to be optimized compared to a non-Bayesian network. We compare our approach to classical deep learning, Bernoulli dropout and Bayes by Backprop using the MNIST dataset. Compared to classical deep learning, the test error is reduced by 15%. We also show that the uncertainty information obtained can be used to calculate credible intervals for the network prediction and to optimize network architecture for the dataset at hand. To illustrate that our approach also scales to large networks and input vector sizes, we apply it to the GoogLeNet architecture on a custom dataset, achieving an average accuracy of 0.92. Using 95% credible intervals, all but one wrong classification result can be detected. |
Schlagworte: | Bayesian deep learning; model uncertainty; variational inference; image classification |
Publikationstyp: | Beitrag in Zeitschrift (Autorenschaft) |
Erscheinungsdatum: | 23.10.2020 (Online) |
Erschienen in: |
Sensors
Sensors
(
MDPI Publishing;
)
zur Publikation |
Titel der Serie: | Data Analysis in Smart Sensor Systems |
Bandnummer: | - |
Heftnummer: | - |
Erstveröffentlichung: | Ja |
Version: | - |
Seite: | - |
Versionen
Keine Version vorhanden |
Erscheinungsdatum: | 23.10.2020 |
ISBN (e-book): | - |
eISSN: | - |
DOI: | http://dx.doi.org/10.3390/s20216011 |
Homepage: | https://www.mdpi.com/1424-8220/20/21/6011 |
Open Access |
|
Zuordnung
Organisation | Adresse | ||||
---|---|---|---|---|---|
Fakultät für Technische Wissenschaften
Institut für Intelligente Systemtechnologien
|
AT - 9020 Klagenfurt am Wörthersee |
||||
Fakultät für Technische Wissenschaften
Institut für Statistik
|
AT - 9020 Klagenfurt am Wörthersee |
Kategorisierung
Sachgebiete | |
Forschungscluster | Kein Forschungscluster ausgewählt |
Zitationsindex |
Informationen zum Zitationsindex: Master Journal List
|
Peer Reviewed |
|
Publikationsfokus |
Klassifikationsraster der zugeordneten Organisationseinheiten:
|
Arbeitsgruppen | Keine Arbeitsgruppe ausgewählt |
Kooperationen
Forschungsaktivitäten
(Achtung: Externe Aktivitäten werden im Suchergebnis nicht mitangezeigt)
Projekte: | Keine verknüpften Projekte vorhanden |
Publikationen: | Keine verknüpften Publikationen vorhanden |
Veranstaltungen: | Keine verknüpften Veranstaltung vorhanden |
Vorträge: | Keine verknüpften Vorträge vorhanden |