Stochastische Assemblies in Spikenden Neuronalen Netzwerken
Stochastic Assemblies in Spiking Neural Networks
Bilaterale Ausschreibung: Belgien
Wissenschaftsdisziplinen
Biologie (30%); Informatik (70%)
Keywords
-
Spiking Neural Networks,
Synaptic Plasticity,
Stochastic Computation,
Non-Von Neumann Computation,
Neuroprosthetics
Kognitive Prozesse im Gehirn basieren auf Aktivitätsmuster in einem Netzwerk von Milliarden von Neuronen welche durch Billionen von Synapsen miteinander verbunden sind. Wie die Interaktion von Neuronen in diesem riesigen Netzwerk unsere mentalen Fähigkeiten hervorbringt ist noch immer rätselhaft. In den letzten Jahren konnten jedoch wichtige neue Erkenntnisse erzielt werden. Erstens konnte gezeigt werden, dass ein mentales Konzept wie etwa eine bestimmte Person oder ein bekannter Ort in der Großhirnrinde durch die Aktivität eines verteilten Ensembles von Millionen von Neuronen kodiert wird. Zweitens wurde gezeigt, dass neuronale Aktivität und synaptische Kommunikation stochastisch ist, das heißt, Neurone und Synapsen sind anscheinend unzuverlässig, und demzufolge fluktuieren auch neuronale Ensemblecodes zeitlich. In dem Projekt Stochastische Assemblies in Spikenden Neuronalen Netzen wird die Formierung und die Dynamik stochastischer Ensemblecodes in einem integrierten Ansatz untersucht werden. Experimentelle Arbeit an organischen neuronalen Netzwerken wird mit theoretischer Analyse und Simulationen von Computermodellen biologischer neuronaler Netzwerke kombiniert werden. Unsere Ergebnisse werden wichtige Implikationen für viele Anwendungsbereiche haben. Zwei davon werden intensiv innerhalb des Projektes untersucht werden: (1) Wir werden unsere Ergebnisse nutzen um neue Konzepte der Interpretation von Gehirnaktivität zu entwickeln. Eine mögliche Nutzung dieser Konzepte im Bereich von Neuroprothesen wird erforscht werden. (2) Wir werden neuartige Rechenmodelle basierend auf stochastische Ensemblecodes entwickeln. In den letzten Jahren ist deutlich geworden, dass die Leistungsfähigkeit derzeitiger Computer (basierend auf der von Neumann Architektur) stark beschränkt ist. In anderen Worten, es wird zunehmend schwieriger wenn nicht unmöglich ihre Leistungsfähigkeit bei akzeptablem Energieverbrauch zu verbessern. Die kognitiven Fähigkeiten des Gehirns und dessen beachtliche Energieeffizienz weisen darauf hin, dass verteilte Ensemblecodes eine Lösung dieses Problems darstellen könnten, zumindest für kognitiven Aufgaben die Menschen alltäglich leisten.
An diesem interdisziplinären Forschungsprojekt waren Partner aus den Bereichen Neurobiologie (Universität Antwerpen) und Neuroinformatik und Brain-inspired Computation (TU Graz) beteiligt. Wir gingen von zwei wichtigen Entdeckungen aus: (1) Neurone verarbeiten Informationen im Zusammenspiel mit anderen Zellen als Zellverbände (Assemblies), und (2) Neuronen und Synapsen sind von Natur aus unzuverlässig und arbeiten nicht deterministisch. Unser Ziel war es, Theorien der Organisation von Berechnungen im Gehirn zu überdenken. Es wurden sowohl biologische als auch künstliche neuronale Netze untersucht. Basierend auf unseren Erkenntnissen war es unser Ziel, Konzepte für das Rechnen und Lernen in neuartigen, vom Gehirn inspirierten Computern zu entwickeln. Neurone im Gehirn weisen Rhythmen auf, mit schnellen Oszillationen zwischen niedriger und hoher Aktivität. Wir analysierten die Rolle solcher Rhythmen in neuronalen Netzen. Wenn wir denken, können wir schnell zwischen verschiedenen Interpretationen unserer Sinneseindrücke wechseln, und schnell verschiedene Alternativen prüfen, wenn wir versuchen, ein Problem zu lösen. Wir haben festgestellt, dass Rhythmen diese Suche nach Lösungen verbessern können. Ohne Oszillationen neigen Netzwerke dazu, bei bestimmten Interpretationen stecken zu bleiben und Alternativen nicht in Betracht zu ziehen. Dieses Phänomen verschwindet in oszillierenden Netzen. Dieses Ergebnis kann möglicherweise die Fülle an oszillatorischer Aktivität im Gehirn aus einer funktionalen Sicht erklären. Neuere experimentelle Erkenntnisse zeigen, dass Konzepte (wie ein Wörter oder eine Person) im Gehirn nicht durch einzelne Neurone repräsentiert werden, sondern durch größere Gruppen von Neuronen, sogenannte Assemblies. Solche Assemblies wurden auch in den Experimenten unseres Projektpartners gefunden. Wenn wir zwei Konzepte assoziieren - z.B. wenn wir uns daran erinnern, dass Joe Biden (Konzept 1) der Präsident der USA ist (Konzept 2) - beginnen die Assemblies für diese Konzepte zu verschmelzen. Wir haben neuronale Netzwerkmodelle entwickelt, die erklären können, wie solche Assemblies aus sensorischer Erfahrung entstehen und wie sie verschmelzen können, wenn Konzepte verknüpft werden. Als nächstes untersuchten wir, ob durch solche Assemblies und durch Assoziationen zwischen ihnen höhere kognitive Funktionen, wie die Fähigkeit des Menschen, abstrakt zu denken und Informationen in abstrakte Kategorien zu strukturieren, implementiert werden können. Wir haben ein neuronales Netzwerkmodell entwickelt, bei dem Assemblies entweder sensorische Inhalte oder abstraktere strukturelle Informationen über diese Inhalte darstellen können. Wir fanden heraus, dass die Bindung von strukturellen Informationen an Inhalte in diesem Modell durch Veränderungen der synaptischen Verbindungen zwischen Neuronen entsteht. Dies bietet eine Grundlage für die Implementierung anspruchsvollerer kognitiver Berechnungen durch biologisch plausible neuronale Netzwerkmodelle. Schließlich wurde untersucht, ob neuronale Netze mittels Assembly-Assoziationen komplexe Aufgaben lösen können. Wir haben erstmals gezeigt, dass ein biologisch plausibles Netzwerk anspruchsvolle Frage-Antwort-Aufgaben zu Geschichten lösen kann. Diese Ergebnisse eröffnen eine neue Forschungsrichtung, in der künstliche Lernsysteme um biologisch plausible Gedächtnismechanismen erweitert werden.
- Technische Universität Graz - 100%
- Michele Giuliano, Universiteit Antwerpen - Belgien
Research Output
- 231 Zitationen
- 20 Publikationen
- 4 Wissenschaftliche Auszeichnungen
- 1 Weitere Förderungen
-
2019
Titel Efficient Reward-Based Structural Plasticity on a SpiNNaker 2 Prototype DOI 10.48550/arxiv.1903.08500 Typ Preprint Autor Yan Y -
2019
Titel STDP Forms Associations between Memory Traces in Networks of Spiking Neurons DOI 10.1093/cercor/bhz140 Typ Journal Article Autor Pokorny C Journal Cerebral Cortex Seiten 952-968 Link Publikation -
2022
Titel Cortical oscillations support sampling-based computations in spiking neural networks DOI 10.18154/rwth-2022-04712 Typ Other Autor Korcsak-Gorzo A Link Publikation -
2021
Titel Stochastic Computations with Recurrent Networks of Spiking Neurons Typ PhD Thesis Autor Michael G. Müller -
2024
Titel Cortical oscillations support sampling-based computations in spiking neural networks. DOI 10.48350/168029 Typ Journal Article Autor Korcsak-Gorzo Link Publikation -
2019
Titel Efficient Reward-Based Structural Plasticity on a SpiNNaker 2 Prototype DOI 10.1109/tbcas.2019.2906401 Typ Journal Article Autor Yan Y Journal IEEE Transactions on Biomedical Circuits and Systems Seiten 579-591 Link Publikation -
2019
Titel Role of MicroRNAs in Anxiety and Anxiety-Related Disorders DOI 10.1007/7854_2019_109 Typ Book Chapter Autor Murphy C Verlag Springer Nature Seiten 185-219 -
2017
Titel Deep Rewiring: Training very sparse deep networks DOI 10.48550/arxiv.1711.05136 Typ Preprint Autor Bellec G -
2020
Titel A Model for Structured Information Representation in Neural Networks of the Brain DOI 10.1523/eneuro.0533-19.2020 Typ Journal Article Autor Müller M Journal eNeuro Link Publikation -
2020
Titel Cortical oscillations implement a backbone for sampling-based computation in spiking neural networks DOI 10.48550/arxiv.2006.11099 Typ Preprint Autor Korcsak-Gorzo A -
2020
Titel Advances in Neural Information Processing Systems Typ Conference Proceeding Abstract Autor Legenstein R Konferenz Advances in Neural Information Processing Systems Seiten 21627--21637 Link Publikation -
2020
Titel Emergence of Stable Synaptic Clusters on Dendrites Through Synaptic Rewiring DOI 10.3389/fncom.2020.00057 Typ Journal Article Autor Limbacher T Journal Frontiers in Computational Neuroscience Seiten 57 Link Publikation -
2020
Titel The location of the axon initial segment affects the bandwidth of spike initiation dynamics DOI 10.1371/journal.pcbi.1008087 Typ Journal Article Autor Verbist C Journal PLOS Computational Biology Link Publikation -
2022
Titel Cortical oscillations support sampling-based computations in spiking neural networks DOI 10.1371/journal.pcbi.1009753 Typ Journal Article Autor Korcsak-Gorzo A Journal PLoS Computational Biology Link Publikation -
2021
Titel Cortical oscillations implement a backbone for sampling-based computation in spiking neural networks Typ Other Autor A. Korcsak-Gorzo Link Publikation -
2017
Titel Feedback Inhibition Shapes Emergent Computational Properties of Cortical Microcircuit Motifs DOI 10.1523/jneurosci.2078-16.2017 Typ Journal Article Autor Jonke Z Journal The Journal of Neuroscience Seiten 8511-8523 Link Publikation -
2017
Titel Damping of gravitational waves by matter DOI 10.1103/physrevd.96.084033 Typ Journal Article Autor Baym G Journal Physical Review D Seiten 084033 Link Publikation -
2017
Titel STDP forms associations between memory traces in networks of spiking neurons DOI 10.1101/188938 Typ Preprint Autor Pokorny C Seiten 188938 Link Publikation -
2017
Titel A probabilistic model for learning in cortical microcircuit motifs with data-based divisive inhibition DOI 10.48550/arxiv.1707.05182 Typ Preprint Autor Legenstein R -
2017
Titel Damping of gravitational waves by matter DOI 10.48550/arxiv.1707.05192 Typ Preprint Autor Baym G
-
2019
Titel ELLIS meeting on natural intelligence, Berlin (Germany) Typ Personally asked as a key note speaker to a conference Bekanntheitsgrad Continental/International -
2018
Titel MRS Spring Meeting, Phoenix (USA) Typ Personally asked as a key note speaker to a conference Bekanntheitsgrad Continental/International -
2018
Titel Simons Institute Workshop on Computational Theories of the Brain, Berkeley (USA) Typ Personally asked as a key note speaker to a conference Bekanntheitsgrad Continental/International -
2017
Titel Workshop on Grounding Language Understanding, KTH Royal In. of Tech., Stockholm Typ Personally asked as a key note speaker to a conference Bekanntheitsgrad Continental/International
-
2019
Titel (SYNCH) - A SYnaptically connected brain-silicon Neural Closed-loop Hybrid system Typ Research grant (including intramural programme) Förderbeginn 2019