MIN Faculty
Department of Informatics
Knowledge Technology

Teaching

Project: Human-Robot Interaction/Mensch-Roboter Interaktion

Winter Semester 2016/2017

News/Aktuelles


Top

General Information/Allgemeine Informationen

LV-Number: 64-466 + 64-467
Lecturer : Prof. Stefan Wermter, Dr. Cornelius Weber,
Dr. Stefan Heinrich, Dr. Nicolás Navarro, Johannes Twiefel
Period: Thu/Do 14-18 + Fri/Fr 14-18
Room: F-235
Credit Hours 6 SWS Project + 2 SWS Seminar (Winter Semester), 12 ECTS
Language: English/Deutsch
Module: MPM2


Top

Contents/Inhalte

Several research groups around the world and big companies like iRobot, Google, Bosch and even BMW are currently working on robotic devices capable of interacting with people as naturally as we interact with each other. What does it take for a robot to make us feel comfortable around it? And how can such a robot learn independently or by interaction with a person? These are the key topics in this project between interaction, cognition, learning and robotics.
Inspired by the idea of having a robot solve a simple task in a complex environment, we want to define and solve a task like coffee-serving in a home environment - which currently is a central RoboCup@Home challenge. Even such a simple task requires a broad set of interconnected, robust capabilities like vision, communication, motion, and planning, which motivates a bio-inspired approach to robotics. Adaptive mechanisms like machine learning and neural networks are of particular interest to make such systems robust.

Wissenschaftsinstitute in der ganzen Welt und große Unternehmen wie zum Beipiel iRobot, Google, Bosch und sogar BMW arbeiten an Robotern, die in der Lage sind, mit Menschen zu interagieren, wie Menschen dies untereinander können. Was macht einen Roboter aus, den wir in unserem Haushalt zu schätzen wüssten? Wie kann dieser selbstständig oder durch Interaktion mit dem Menschen lernen? Dies sind die zentralen Fragen in diesem Projekt zwischen Interaktion, Kognition, Lernen und Robotik.
Inspiriert von der Idee dass ein Roboter eine einfache Aufgabe in einer komplexen Umgebung löst, wollen wir eine Aufgabe wie das Servieren eines Kaffees im eigenen Heim entwerfen und lösen, welche aktuell eine zentrale Herausforderung beim RoboCup@Home darstellt. Bereits für eine solch einfache Aufgabe bedarf es aber einer ganzen Reihe an verknüpften und robusten Fähigkeiten wie Bildverstehen, Kommunikation, Bewegungsfähigkeit und auch Planung, welche wiederum einen biologisch inspirierten Ansatz motivieren. Adaptive Verfahren wie das maschinelle Lernen und neuronale Netzwerke sind für dieses Projekt besonders interessant, um Systeme robust zu gestalten.


Top

Objective/Lernziel

The project Human-Robot Interaction offers the opportunity to learn about the complexities of daily action, basic humanoid robot control as well as the development of simple service robot applications. During the course of the project special emphasis will be put on teamwork, i.e. collaborative problem solving. In this way, the students can learn and experience the special difficulties and chances of project development, from research and conceptualization via implementation and validation to presentation and demonstration. With the project they will be prepared for research and economy in the booming sectors Knowledge Engineering, Human-Robot Interaction and Robotics, with both: skills in computer science (programming and robotics) and soft skills (teamwork and the English language).

Das Projekt Mensch-Roboter Interaktion bietet die Gelegenheit, die Komplexität einfacher täglicher Handlungen zu verstehen, erste Erfahrungen mit der Kontrolle von Humanoiden Robotern zu sammeln und erste Anwendungen für Service Roboter zu entwickeln. Besonderer Fokus dazu ist im diesem Project die Teamarbeit, also das kollaborative Lösen von Problemen. Auf diese Weise können die Studierenden die speziellen Anforderungen und Chancen in der Projektentwicklung erlernen und erfahren von Forschung und Konzeptualisierung über Realisierung und Evaluation bis hin zu Präsentation und Demonstration. Mit dem Projekt sind die Teilnehmer darauf vorbereitet, in der Forschung und in der freien Wirtschaft in den boomenden Sektoren Wissenstechnologie, Mensch-Roboter Interaktion und der Robotik sowohl mit Fähigkeiten der Informatik (Programmierung und Robotik) als auch mit sozialer Kompetenz (Teamarbeit und die englische Sprache) beizutragen.


Top

Procedure/Vorgehen

This year the full project will be concentrated on a single semester. In the first quarter the integrated seminar offers the opportunity of dive into the topic and of explore interesting approaches that could be implemented later. Also in the first half the project will focus on learn how to use the available hardware and software as well as acquire general concepts and some practical experience on biologically inspired robotics, robot control architectures, and project management. In the second half of the semester the project will focus on the implementation and execution of a HRI scenario that will been chosen by the students. To facilitate development the whole robot control can be divided into several modules and later get integrated via a robot middleware such as ROS. However, finally, the results need to get documented and presented as a single working system.

In diesem Jahr wird das gesamte Projekt in einem Semester durchgeführt. In der ersten Hälfte des Semesters gibt es mit dem integrierten Seminar die Gelegenheit, sich in die Thematik einzuarbeiten und die interessanten Fähigkeiten, die dem Roboter verliehen werden können, kennenzulernen. Außerdem wird in der ersten Hälfte Gelegenheit gegeben Hardware- und Software-Umgebungen auszuprobieren und Erfahrungen mit biologisch inspirierten Robotern, Steuerungsarchitekturen und der Projektplanung zu machen. Das Projekt wird in der zweiten Hälfte des Semesters auf die Implementierung und Ausführung HRI Scenarios konzentriert, welches die Studierenden selbst ausgewählt haben. Einzelne Fähigkeiten des Roboters können in unabhängigen Modulen entwickelt und mit Hilfe einer Roboter-Middleware schließlich zu einem funktionierendem Gesamtsystem zusammengeführt werden. Abschließend werden die Ergebnisse dokumentiert und präsentiert.


Top

Literature/Literatur


Top

Material

A NAO humanoid robot and simulation software will be used as the initial working platforms. These platforms have good abstraction layers from hardware and a fully featured API that permit us to focus on behavioural aspects of human robot interaction and service robot applications. The NAO robot has 25 degrees of freedom, two cameras, four microphones, the abilities to walk autonomously, to talk and to detect optical landmarks. Depending on the scenario, defined by the students during the first weeks of the project, other robotic platforms and hardware can be incorporated such as our KiTao (a hybrid between a NAO torso, a Kinect and a Turtlebot) and Android devices. Additionally, code and documentation developed in previous semesters will be made available to help us to get started and further developed whenever required.

Für den Start in das Projekt wird ein humanoider interaktiver NAO Roboter sowie eine Simulationssoftware eingesetzt. Diese Plattformen bieten eine sehr gute Abstraktion von der Hardware in eine vollständige API und erlauben damit, dass wir uns direkt auf Verhaltensaspekte konzentrieren können. Der NAO verfügt über 25 Freiheitsgrade, zwei Kameras, vier Mikrophone und ist bereits in der Lage, selbstständig zu laufen, zu sprechen und optische Landmarken zu erkennen. Abhängig vom Szenario, welches in der Gruppe in den ersten Wochen entwickelt wird, können weiterte Hardwarn und Roboterplattformen wie der KiTao (ein NAO mit einer Kinect auf einem Turtlebot) und mobile Android-Geräte eingesetzt werden. Aus den früheren erfolgreichen HRI Projekten können Module zur Navigation, Kommunikation, dem Lernen und der Objekt-Erkennung benutzt oder weiterentwickelt werden.

Templates for seminar papers and presentations as well as further hints can be found on the web page: Hints for Seminars
Additional information and material for this course will be provided in the first meeting and shared via a project git.