Neue Rechenparadigmen für memristische Architekturen

Ziel des Kooperationsprojekts: Ziel dieses Projektes ist die Entwicklung von neuromorphischer Hardware mit Memristor-basierten synaptischen Elementen welche in der Lage sind, aus sensorischen Stimuli zu lernen um die eigene Funktion zu adaptieren. Das Projekt integriert hierfür neueste Entwicklungen von fünf führenden europäischen Instituten in den Bereichen Neurowissenschaften, Nanotechnologie, Modellierung und Schaltkreisdesign. Die nichtlineare Dynamik und Plastizität des vor kurzem realisierten Memristors1,2 unterstützt die Implementierung von biologienahen synaptischen Plastizitätsmechanismen wie Spike-Timing-Dependent- Plasticity (STDP). Daher ist dieses extrem kompakte Schaltkreiselement ein ausgezeichneter Kandidat zur Realisierung großer selbstadaptierender Netzwerke; ein Schritt in Richtung "autonomer kognitiver Systeme". Die intrinsischen Eigenschaften biologischer Neurone und Synapsen sowie ihre Organisation in neuronalen Netzwerken werden als Grundlage dienen um CMOS-basierte Neurone, memristive Grids, und ihre Integration in biologisch realistische neuromophische Systeme zu optimieren. Schließlich sollen neuartige Konzepte der Informationsverarbeitung für diese Rechenarchitekturen entwickelt und evaluiert werden. Spezifische Beiträge der TU-Graz in diesem Kontext: Biologische Systeme sind effizient, robust, adaptiv, verlässlich und arbeiten in Echtzeit. Carver Mead war in den 1980ern einer der Ersten der neurobiologische Prinzipien in analogen Schaltkreisen nachgeahmt hat3 - die sogenannte neuromorphische Doktrin - und ähnliche Ansätze zur Entwicklung von biologieinspirierten Systemen entstanden in der Folge. Die kognitiven Fähigkeiten biologischer neuronaler Systeme aber konnten bis heute von künstlichen Rechenarchitekturen nicht erreicht werden. Diese Situation kann teilweise durch das Fehlen fundierter Theorien über die Informationsverarbeitung und Selbstorganisation in biologischen neuronalen Systemen erklärt werden. In den letzten Jahren haben neuartige probabilistische Konzepte, basierend auf approximativer Inferenz und Sampling in neuronalen Netzwerken, verstärktes Interesse in den Bereichen der Neurowissenschaften, Kognitionswissenschaften und Neuroinformatik hervorgerufen.4,5 So wurde etwa gezeigt, dass sich spikende neuronale Netzwerke durch STDP so selbstorganisieren können, dass sie auf latente Ursachen (sogenannte hidden causes) ihrer sensorischen Inputs schließen können. 6 In diesem Projekt werden, aufbauend auf diese und ähnliche Ergebnisse, neuartige Paradigmen für probabilistische neuronale Informationsverarbeitung und Selbstorganisation entwickelt und theoretisch als auch in aufwendigen Computersimulationen untersucht werden. Memristor-basierte synaptische Elemente eröffnen die Möglichkeit, große biologisch inspirierte neuronale Netzwerke in Hardware zu implementieren, wobei die mit Abstand am häufigsten benötigten Grundelemente - plastische synaptische Verbindungen - extrem kompakt realisiert werden können. Wir werden also desweiteren untersuchen, wie die entwickelten Rechenparadigmen an diese neue Generation von neuromorpher Hardware angepasst werden können. Die Spezifikation der CMOS/Memristor-basierten Schaltkreise werden als Grundlage für diese Untersuchungen dienen. Wir werden außerdem mögliche Plastizitätsmechanismen identifizieren, welche die Adaptionsfähigkeiten dieser Systeme verbessern und mögliche Strategien der Implementierung in hybridem CMOS/Memristor Design im Konsortium diskutieren. Schließlich werden Anwendungen der entwickelten selbst-adaptierender Schaltkreise untersucht und deren prinzipielle Funktionsfähigkeit wird in Computersimulationen getestet werden. 1 J.J. Yang, M.D. Pickett, X. Li, D.A.A. Ohlberg, D.R. Stewart and R.S. Williams, Memristive switching mechanism for metal/oxide/metal nanodevices, Nature Nanotech., vol. 3, 2008. 2 L.O. Chua, Memristor-The missing circuit element, IEEE Trans. on Circuits Theory, vol. CT-18, no. 5, 1971. 3 C. Mead, Analog VLSI and Neural Systems. Reading, MA: Addison-Wesley, 1989 4 Koerding KP and Wolpert DM (2004). Bayesian integration in sensorimotor learning. Nature, 427, 244-7 5 N. Chater, J. Tenenbaum, and A. Yuille, Probabilistic models of cognition: Conceptual foundations, Trends in Cognitive Sciences In Special issue: Probabilistic models of cognition, Vol. 10, No. 7. (July 2006), pp. 287-291. 6 B. Nessler, M. Pfeiffer, and W. Maass. STDP enables spiking neurons to detect hidden causes of their inputs. In Proc. of NIPS 2009, volume 22, pages 1357-1365. MIT Press, 2010.

In PNEUMA wurden neuartige, von der Architektur des Gehirns inspirierte, und auf Nanobauelementen (Memristoren) basierende Rechenarchitekturen entwickelt. Die CMOS (complementary metal-oxide semiconductor) Technologie ist seit vielen Jahrzehnten die Standardtechnologie zur Implementierung von integrierten Schaltkreisen. Diese Technologie wird schon bald auf fundamentale Grenzen stoßen, da die Anzahl der Transistoren per Einheitsfläche (die Integrationsdichte) unüberwindbare physikalische Limits erreicht. Daher steigt das Interesse an alternativen Rechenarchitekturen, die (zumindest teilweise) nicht auf CMOS basieren. In PNEUMA wurden von der Gehirnarchitektur inspirierte neuronale Architekturen betrachtet. Es wurden CMOS Schaltkreise entwickelt die die biophysischen Eigenschaften von Neuronen nachbilden. Diese wurden über eine Matrix von Memristoren verbunden, welche die wichtigsten Eigenschaften von biologischen Synapsen nachbilden. Der Hauptvorteil von solchen memristischen crossbar arrays ist, dass im Vergleich zu CMOS- Synapsen die Synapsen-Integrationsdichte deutlich höher ist. Eine sehr wichtige Eigenschaft von biologischen neuronalen Netzwerken ist die Fähigkeit der selbstorganisierten Anpassung ihrer Funktion entsprechend der statistischen Eigenschaften der Inputsignale (lernen) durch synaptische Plastizität. Wir konnten zeigen dass eine solche Anpassung auch in memristischen System möglich ist, da die entwickelten memristischen Synapsen ähnliche plastische Eigenschaften besitzen. Das Institut für Grundlagen der Informationsverarbeitung (TU Graz), Leiter des österreichischen Subprojektes, entwickelte in PNEUMA verschiedene, stark an der Informationsverarbeitung in biologischen neuronalen Systemen orientierte, probabilistische Paradigmen der Informationsverarbeitung und des Lernens. In theoretischer Arbeit wurden neue Konzepte erstellt wie man mit dem Hauptproblem von Memristoren, ihre Unzuverlässigkeit und Stochastizität, umgehen kann. Tatsächlich wurde gezeigt dass stochastische Plastizität ausgenützt werden kann um die Lerneigenschaften von neuronalen Netzwerken zu verbessern. In Zusammenarbeit mit den anderen Projektpartnern wurde eine solche Architektur mit memristischen Synapsen implementiert. Wir konnten zeigen dass dieses System seine Funktionalität selbst-organisiert adaptieren kann. Damit haben wir die prinzipielle Machbarkeit von lernfähigen gehirninspirierten memristischen Architekturen in einem einfachen Setup nachgewiesen.