Teaching
Praktikum: Neuronale Informationsverarbeitung/Neural Information Processing
Winter Semester 2011/2012
News/Aktuelles
- Second registration period/Zweite Anmeldephase (STiNE): 17.10.2011 - 30.10.2011
- Für diese Veranstaltung nutzen wir das MIN-CommSy - alle weiteren Informationen und Materialien zur Veranstaltung sind dort zu finden.
General Information/Allgemeine Informationen |
| LV-Nummer: |
64-150 |
| Lecturer: |
Cornelius Weber; Stefan Wermter |
| Period: |
Fr/Fri 14-18 |
| Room: |
F-234/F-235 |
| Credit Hours |
4 SWS |
| Language: |
Deutsch/English |
| Module: |
IP11-Prak |
Contents/Inhalte
Durch Programmierung einfacher neuronaler Netzwerkarchitekturen untersuchen wir, wie ein neuronales Netz eingelesene Daten verarbeitet, um Ausgaben zu generieren, und wie es lernt. Die Studierenden wählen eine Fragestellung aus sowie eine passende Programmierungsform (Programmiersprache, Neuro-Simulator, Libraries) und lösen die Aufgabe in Kleingruppen.
Es könnte zum Beispiel ein Autoassoziator Netz (hier approximiert die Netzausgabe die Eingabe) mit verschiedenen Nebenbedingungen und Daten programmiert, trainiert und visualisiert werden. Verschiedene Nebenbedingungen an die interne Codierung führen dabei zu einer überraschenden Vielfalt an Codierungsstrategien: Eine limitierte Anzahl versteckter Neurone führt zur Hauptkomponentenanalyse (Beispiel Eigenfaces); Beschränkungen der Gewichte zu rezeptiven Feldern der Retina; limitierte Aktivierung der versteckten Neurone zu Kantendetektoren des visuellen Kortex; nur-positive Aktivierungen und Gewichte zu einer Teile-basierten Codierung.
How does a neural net encode input data? How does it process them to generate output? These questions will be investigated by programming simple neural network architectures. The students will choose a problem as well as a suitable programming form (programming language, neural simulator, libraries) and realize their solution in a team.
For example, an auto-associator net (where the output approximates the input) can be programmed, trained on different data, and visualized. Various constraints on the internal coding lead to a surprising variety of encoding strategies: a limited amount of hidden neurons will lead to principle component analysis (for example Eigenfaces); weight constraints lead to receptive fields of ganglion cells in the retina; sparse activities of the hidden neurons to edge detectors as found in the visual cortex; only-positive activations and weights lead to a part-based coding.
Objective/Lernziel
Es soll vermittelt werden, wie das Gehirn sensorische Daten in abstrakte Repräsentationen transformiert aufgrund derer wir handeln. Diese Prinzipien werden verstärkt in der Programmierung biologisch inspirierter, intelligenter Roboter eingesetzt. Programmiertechnisch werden der Umgang mit Daten, die Programmierung und Visualisierung von Matrizen und neuronaler Architekturen und das Arbeiten im Team erlernt. Um verschiedene Lernregeln und variierende Datenbehandlung einsetzen zu können, wird auf modulare und flexible Programmierung Wert gelegt.
It shall be conveyed how the brain transforms sensory data into abstract representations based on which we act. These principles are increasingly employed in the programming of biologically inspired intelligent robots. With regard to the programming techniques, dealing with data, programming, the visualization of matrices and neural architectures, and working in a team will be learned. To facilitate the implementation of various learning rules and varying data treatments, emphasis is placed on modular und flexible programming.
Procedure/Vorgehen
Nach einer Einführung durch die Veranstalter werden in Kleingruppen Konzepte zur Programmierung unter Berücksichtigung existierender Softwarepakete erarbeitet. Am Ende der Veranstaltung werden die verschiedenen Lösungswege der einzelnen Gruppen vorgestellt und kritisch miteinander verglichen.
After an introduction by the lecturers, programming concepts with regard to existing software packages will be worked out in small groups. At the end of the course the various group solutions will be presented and critically analysed.
Literature/Literatur
- Marsland S. Machine Learning - An Algorithmic Perspective. 2009, Kapitel 1-3,9,16
- http://pybrain.org
- http://sourceforge.net/projects/joone/
- http://www.mathworks.com/products/matlab/
Material
Das Material für diese Veranstaltung ist innerhalb des CommSy Portals zu finden:
Informatik-CommSy: WTM: Neuronale Informationsverarbeitung 2011/12
