Aktuelle Themen für Studien und Diplomarbeiten

Nachfolgend ist eine beispielhafte Auswahl an möglichen Themen für Qualifikationsarbeiten im Projekt AT Humboldt aufgelistet. Die aufgezählten Themen kann man je nach konkreter inhaltlicher Ausgestaltung als Studien- und/oder Diplomarbeitsthemen behandeln.

1. State Space Shaping beim Reinforcement Learning
2. Lernverfahren zur kooperativen Verhaltenssteuerung in Multiagentensystemen
3. Extraktion interessanter Merkmale aus Fußballspielen
4. Strategien zur aktiven Wahrnehmung (Kamerasteuerung)
5. Strategien zur effizienten Kommunikation zwischen Agenten
6. Umsetzung fussballerischer Konzepte für die Simulationsliga
7. Planung und Koordination innerhalb des DPA-Framework
8. Unterstützung des Verhaltensdesigns mit Softwaretools

Darüberhinaus ist natürlich auch die Umsetzung eigener Ideen möglich und gewünscht. Diese sollten sich aber in unseren Arbeitsbereich integrieren lassen und eines der folgenden Gebiete berühren: Multiagentensysteme, Maschinelle Lernverfahren, Fallbasiertes Schließen, Planungsverfahren, Steuerungsarchitekturen, Verhaltensmodellierung, Koordinationsverfahren, Decision Support Systeme, Fußballanalyse.

Thema: State Space Shaping beim Reinforcement Learning

Aufgabenstellung: Beim Reinforcement Learning in großen Zustandsräumen benötigt man für gewöhnlich sehr sehr viele Trainingsepisoden, da jeder Punkt im Zustandsraum hinreichend oft besucht werden muss. (state space explosion problem) Dieses Problem wird noch relevanter, wenn man keine "echten" Funktionsapproximatoren (neuronale Netze, CMAC, ...) benutzt, sondern eine tabellarische / featurebasierte Speicherung der Wertfunktion.
Als Ausweg aus diesem Problem soll untersucht werden, inwieweit man auch für große Zustandsräume eine gute und gleichzeitig kleine Repräsentation dieses Zustandsraumes finden kann. Die Idee dabei ist, das Lernverfahren in einem grob aufgelösten Raum zu starten und diesen entsprechend den erzielten Lernergebnissen kontinuierlich zu modifizieren / transformieren. Im Ergebniss soll das Verfahren dann einen für die Lernaufgabe optimiert transformierten und aufgelösten Zustandsraum liefern.
Als Anwendungsgebiet soll u.a. die RoboCup Simulationsliga dienen. Mögliche Testaufgaben wären beispielsweise "Dribbling", "Ball abfangen", "Zweikampf", etc. .

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - möglichst bereits einige Vorkenntnisse im Bereich Reinforcement Learning (KI, MMKI)
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - solide Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - Diplomarbeit Michael Gollin
• - Reinforcement Learning: An Introduction
• - Adaptive Representation Methods for Reinforcement Learning
• - A reinforcement learning using adaptive state space construction strategy for real autonomous mobile robots

Thema: Untersuchung und Anwendung von Lernverfahren zur kooperativen Verhaltenssteuerung in Multiagentensystemen

Aufgabenstellung:
Neben klassischen Einsatzgebieten für maschinelle Lernverfahren bietet die RoboCup Simulationsliga insbesondere auch die Herausforderung solche Verfahren für kooperative Aufgaben zu erweitern.
Im speziell geht es darum, typische koordinierte Verhaltensweisen im (Roboter)fußball (bzw. deren Entscheidungsmuster) mit Hilfe geeigneter Methoden zu erlernen. Dazu gehören beispielsweise Verhaltensweisen wie der Torangriff bzw. bestimmte Standardsituationen.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - Interesse an maschinellen Lernverfahren
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist

Literaturempfehlungen:

• - folgen -

Thema: Untersuchung und Anwendung von ("intelligenten") Methoden zur Extraktion interessanter Merkmale aus Fußballspielen

Aufgabenstellung:
Es soll untersucht werden, welche "interessanten" Merkmale durch Beobachtung in einem laufenden Simulationsspiel extrahiert werden können. Ausserdem gilt es herauszufinden, welche zusätzlichen Informationen man später durch die Analyse von Logfiles gewinnen kann.
Vorstellbar sind z.B. Informationen über das Spielsystem / die Aufstellung des Gegners, typische Pass-/Laufwege, beobachtbare Stärken und Schwächen des Gegners, etc..
Darauf aufbauend gilt es, Ideen zu entwickeln, wie diese Informationen sinnvoll für das eigene Verhalten genutzt werden können.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - einige Vorkenntnisse im Bereich Data-Mining von Vorteil aber nicht notwendig
• - fußballerisches Grundverständniss nötig, tieferes Interesse sicher von Vorteil
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - solide Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - folgen -

Thema: Untersuchung und Anwendung von ("intelligenten") Strategien zur aktiven Wahrnehmung (Kamerasteuerung)

Aufgabenstellung:
Die Agenten der RoboCup Simulationsliga besitzen eine beschränkte, unsichere aber konfigurierbare visuelle Wahrnehmung. Insbesondere ist es möglich, aktiv in eine bestimmte Richtung zu schauen sowie die Sensorfrequenz, den Blickwinkel und die Sensorqualität dynamisch zu verändern. Mit Hilfe dieser Möglichkeiten lässt sich ein weites Spektrum an Strategien zur aktiven Wahrnehmung realisieren, die natürlich immer dem Ziel dienen soll, das Gesamtverhalten zu unterstützen und zu verbessern.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - fußballerisches Grundverständniss von Vorteil
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - folgen -

Thema: Untersuchung und Anwendung von ("intelligenten") Strategien zur effizienten Kommunikation zwischen Agenten

Aufgabenstellung:
Die Agenten der RoboCup Simulationsliga haben die Möglichkeit, in sehr begrenztem Maße miteinander zu kommunizieren. Es ist wichtig, diese Möglichkeit so effizient wie möglich zu nutzen.
Es sollen Modelle entwickelt und untersucht werden, wie man die Kommunikationsformen in der Simulationsliga geeignet ausnutzen kann. Neben technischen Fragestellungen scheinen dafür insbesondere auch die Integration kontextabhängiger Informationen und die Berücksichtigung der Kommunikationspartner wichtig zu sein.
Generelles Ziel ist es natürlich, das kooperative Spielverhalten zu unterstützen und zu verbessern.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - fußballerisches Grundverständniss von Vorteil
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - folgen -

Thema: Umsetzung dynamischer fussballerischer Konzepte und Strategien in der Simulationsliga

Aufgabenstellung:
Als erstes soll untersucht werden, welche (dynamischen) Konzepte aus dem echten Fußball auch für die Simulationsliga relevant sind. (Unterschiede ergeben sich durch die Art der Modellierung und die etwas unterschiedlichen Fähigkeiten)
Darauf aufbauend sollen dann für ausgewählte Konzepte (z.B. Formationen, Verteidigungsstrategien, Angriffsstrategien, Positionierungsstrategien, Verhalten bei Standardsituationen ) Methoden und Lösungen gefunden werden, um sie in unseren Simulationsagenten zu integrieren um dort das Spielverhalten zu verbessern.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - fußballerisches Grundverständniss nötig, tieferes Interesse von Vorteil
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - solide Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - folgen -

Thema: Umsetzung expliziter Planung und Koordination von Komplexverhalten innerhalb der Doppelpass-Architektur (DPA)

Aufgabenstellung:
Die Doppelpass-Architektur (DPA) bildet die zentrale (Verhaltens)Architektur der Simulationsagenten AT-Humboldt. Mit ihrer Hilfe ist es möglich sehr komplexe Verhaltensweisen in einfacher Weise zu modellieren und zu steueren. Auch beim Designprozess ermöglicht sie einfache und elegante Lösungen.
Um die Möglichkeiten der DPA noch besser auszunutzen, soll untersucht werden, wie man die DPA um Elemente klassischer Planungsverfahren erweitern kann sowie in welcher Weise man Koordination explizit und symbolisch in den Verhaltensmodellen verankern kann. Ziel ist es, dass sich langfristige und kooperative Pläne innerhalb der DPA selbst organisieren.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - möglichst bereits einige Vorkenntnisse in wichtigen Bereichen der KI (Suche, Planung, MAS)
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist

Literaturempfehlungen:

• - folgen -

Thema: Unterstützung des Verhaltensdesignprozesses durch (graphische) Softwaretools

Aufgabenstellung:
Trotz Nutzung verschieden abstrakter Modellierungsstufen von Verhalten ist die Erstellung, Analyse und Modifikation von komplexen Verhaltensweisen der Fussballagenten immernoch aufwendig und fehleranfällig. Die Struktur der Verhaltensmodellierung, die derzeit benutzt wird (DPA), ist aber geradezu prädestiniert, Softwaretools einzusetzen um die angesprochenen Prozesse graphisch und analytisch zu unterstützen.
Ziel ist es also, ein Werkzeug zu entwickeln, welches die Erstellung, Verwaltung und Analyse von Verhaltensbäumen und Formationsspezifikationen sinnvoll unterstützt.

Voraussetzungen:

• - eigenständiges zielgerichtetes Arbeiten
• - Erfahrung in der GUI-Programmierung von Vorteil, ebenso Kenntnisse des Software-Engineering
• - solide Programmierfähigkeiten
• - englische Sprache, soweit die zum Verständnis gängiger Literatur und aktueller paper notwendig ist
• - solide Kenntnisse mathematischer Standardverfahren

Literaturempfehlungen:

• - folgen -