Teaching
Praktikum: Neuronale Netze/Neural Networks
Winter Semester 2012/2013
News/Aktuelles
- Erste Anmeldephase/First registration period (STiNE): 03.09.2012 - 02.10.2012
- Für diese Veranstaltung nutzen wir das MIN-CommSy - alle weiteren Informationen und Materialien zur Veranstaltung sind dort zu finden. Der CommSy Raum wird zu Beginn des Semesters eröffnet.
General Information/Allgemeine Informationen |
| LV-Nummer: |
64-150 |
| Lecturer: |
Cornelius Weber; Stefan Wermter |
| Period: |
Mo/Mon 14-18 |
| Room: |
F-234/F-235 |
| Credit Hours |
4 SWS |
| Language: |
Deutsch/English |
| Module: |
IP11-Prak/InfB-Prak |
Contents/Inhalte
Durch Programmierung einfacher neuronaler Netzwerkarchitekturen untersuchen wir, wie ein neuronales Netz eingelesene Daten verarbeitet, um Ausgaben zu generieren, und wie es lernt. Die Studierenden wählen eine Fragestellung aus sowie eine passende Programmierungsform (Programmiersprache, Neuro-Simulator, Libraries) und lösen die Aufgabe in Kleingruppen.
Es könnte zum Beispiel ein Autoassoziator Netz, bei dem die Netzausgabe die Eingabe wiedergeben soll, programmiert, trainiert und visualisiert werden. Verschiedene Bedingungen an die interne Codierung führen dabei zu einer überraschenden Vielfalt an Codierungsstrategien: Eine limitierte Anzahl versteckter Neurone führt zur Hauptkomponentenanalyse (Beispiel Eigenfaces); Beschränkungen der Gewichte zu rezeptiven Feldern der Retina; limitierte Aktivierung der versteckten Neurone zu Kantendetektoren des visuellen Kortex; nur-positive Aktivierungen und Gewichte zu einer Teile-basierten Codierung; Nachbarschaftswechselwirkungen zu topographischen Karten. Diese "top-down" Herangehensweise ist leicht zu verstehen, erlaubt aber auch die Simulation biologischer Befunde.
How does a neural net encode input data? How does it process them to generate output? These questions will be investigated by programming simple neural network architectures. The students will choose a problem as well as a suitable programming form (programming language, neural simulator, libraries) and realize their solution in a team.
For example, a generative auto-associator net, where the output approximates the input, can be programmed, trained on different data, and visualized. Various constraints on the internal coding lead to a surprising variety of encoding strategies: a limited amount of hidden neurons will lead to principle component analysis (for example Eigenfaces); weight constraints lead to receptive fields of ganglion cells in the retina; sparse activities of the hidden neurons to edge detectors as found in the visual cortex; only-positive activations and weights lead to a part-based coding; neighbour interactions lead to topographic maps. This top-down approach is conceptually clear and allows to account for observations from biology.
|
|
Objective/Lernziel
Es soll vermittelt werden, wie das Gehirn sensorische Daten in abstrakte Repräsentationen transformiert, aufgrund derer wir handeln. Diese Prinzipien werden verstärkt in der Programmierung biologisch inspirierter, intelligenter Roboter eingesetzt. Programmiertechnisch werden der Umgang mit Daten, die Programmierung und Visualisierung von Matrizen und neuronaler Architekturen und das Arbeiten im Team erlernt. Um verschiedene Lernregeln und Daten einsetzen zu können, wird auf modulare und flexible Programmierung Wert gelegt.
It shall be conveyed how the brain transforms sensory data into abstract representations based on which we act. These principles are increasingly employed in the programming of biologically inspired intelligent robots. With regard to the programming techniques, dealing with data, programming, visualization of matrices and neural architectures, and working in a team will be learned. To facilitate the implementation of various learning rules with varying data, emphasis is placed on modular und flexible programming.
Procedure/Vorgehen
Nach einer Einführung durch die Veranstalter werden in Kleingruppen Konzepte zur Programmierung unter Berücksichtigung existierender Softwarepakete erarbeitet. Am Ende der Veranstaltung werden die verschiedenen Lösungswege der einzelnen Gruppen vorgestellt und kritisch miteinander verglichen.
After an introduction by the lecturers, programming concepts with regard to existing software packages will be worked out in small groups. At the end of the course the various group solutions will be presented and critically analysed.
Literature/Literatur
- Marsland S. Machine Learning - An Algorithmic Perspective, Kapitel 1-3,9,16. CRC Press, 2009
- http://pybrain.org
- http://sourceforge.net/projects/joone/
- http://www.mathworks.com/products/matlab/
Material
Das Material für diese Veranstaltung ist innerhalb des CommSy Portals zu finden:
Informatik-CommSy: WTM: Neuronale Informationsverarbeitung 2012/13
