Autonome Autos müssen Objekte erkennen können chombosan
Trend

Intelligente Software

Das Spiel um Daten

Lesezeit ca.: 4 Minuten

Lisa Kräher

freie Journalistin

Autonome Autos sollen uns in Zukunft sicher ans Ziel bringen. Um Verkehrssituationen zu verstehen, brauchen sie möglichst viele Beispieldaten. Informatiker der TU Darmstadt haben anhand des Computerspiels GTA ein Programm entwickelt, mit dem Autos Objekte ihres Umfelds erkennen können.

17. Januar 2017

Es klingt wie der Traumjob vieler Studenten: Zocken für die Forschung. An der Technischen Universität Darmstadt wurde das, für wissenschaftliche Hilfskräfte des Fachbereichs Informatik, wahr. Sie sollten sie sich vor den Computer setzten und Grand Theft Auto V spielen. Der Action- und Open-World-Klassiker, in denen tätowierte Kerle Autos klauen, nachdem sie deren Besitzer verprügelt haben, und durch die Straßen von Los Santos, dem fiktiven L.A., brettern, zählt zu den erfolgreichsten Spielen überhaupt. Dank der Darmstädter Forscher ist GTA nun auch Datenquelle für autonome Autos. Der Informatikprofessor Stefan Roth, Doktorand Stephan Richter und deren Team, haben eine Methode entwickelt, das dem Auto anhand der Bilddaten aus dem Spiel beibringt, Objekte zu erkennen und Situationen zu verstehen.

Daten, Daten, Daten

Wie bringt uns der digitale Chauffeur sicher ans Ziel? Diese Frage beschäftigt Entwickler weltweit. Während in den Laboren von Google virtuelle Fahrten simuliert werden, setzen Firmen wie Tesla mit Fleet Learning auf die Vernetzung ihrer Fahrzeuge. Die Bordcomputer sollen auf diese Weise voneinander lernen. Für alle jedoch gilt: Sie brauchen Daten, Daten und noch mehr Daten, um zum Beispiel Szenen zu verstehen und Objekte wie Zebrastreifen, Bürgersteig oder Passanten zu erkennen. Mit ihrem Programm ist es den Darmstädter Forschern gelungen, diese Daten zu gewinnen und zwar mit wesentlich weniger Aufwand als bei echten Bildern.

Die Software unterteilt das Bild semantisch

Um Informationen aus einem Bild zu gewinnen, unterteilen es die Forscher semantisch, also in Bedeutungseinheiten. Das heißt, jeder Bildpunkt wird einem Objekt, zum Beispiel einem Baum oder einer Mauer, zugeordnet. Bei einer realen Szene, einem einzigen Bild aus dem echten Straßenverkehr, dauert diese sogenannte Annotierung bis zu eineinhalb Stunden. Um möglichst viele Situationen abzudecken, sind aber tausende solcher Bilder nötig. „Der Aufwand ist enorm. Das können wir an der Universität nicht leisten. Und Unternehmen auch nicht“, sagt Professor Stefan Roth.

Pro Bild sieben Sekunden – statt eineinhalb Stunden

Für die 25.000 Bilder, die die Forscher als Screenshots aus dem Computerspiel gezogen haben, ging das wesentlich schneller. Denn die Umrisse der Objekte generiert das Programm automatisch aus dem Spiel. Hat der Anwender das Objekt einmal zugeordnet, erkennt die Software, wenn das gleiche Objekt in einem anderen Bild auftaucht, und markiert es automatisch. So konnte jedes Bild in durchschnittlich sieben Sekunden bearbeitet werden.

Software klinkt sich zwischen Rechner und Spiel ein

„Die größte Herausforderung bei der Programmierung war: Wie kommen wir an den internen Zustand des Spiels?“, erzählt Stefan Roth. Schließlich geben die Spielstudios, die Welten wie die von GTA erschaffen, ihre Daten nicht preis. Die Software, die die Darmstädter Forscher in Kooperation mit Intel Labs entwickelt haben, zeichnet die Kommunikation zwischen dem Spiel und der Grafikkarte auf, ohne direkt den Quellcode zu benötigen. Das Programm basiert auf mehreren Programmiersprachen, darunter C, C++ und Python.

Dass die Forscher für ihr Projekt GTA ausgewählt haben, liegt vor allem an der guten Grafik und der realistischen Umgebung, erklärt Roth. Die Methodik habe man aber auch bei anderen Spielen erfolgreich ausprobiert. „Natürlich entspricht ein Computerspiel nie hundertprozentig der Realität. Aber mehr Daten, die nicht perfekt sind, sind besser als wenige realistische Daten“, sagt Stefan Roth. Es gehe nicht darum zu erkennen, ob eine Figur im Spiel die gleiche Haltung wie eine echte Person hat, sondern darum, dass das Auto überhaupt erkennt, dass es sich um eine Person handelt. Die Forscher fanden zudem heraus, dass die Erkennungsgenauigkeit steigt, wenn man eine kleine Menge echter mit einer großen Menge synthetischer Bilder kombiniert.

Stefan Roth und sein Team sind nun damit beschäftigt, nicht nur Standbilder sondern auch Videosequenzen aus dem Spiel zu extrahieren, damit autonome Fahrzeuge auch Bewegungen erkennen lernen. Was das autonome Fahrzeug natürlich nicht von Spielen wie GTA lernen darf, ist die Fahrweise. Denn die Bewohner von Los Santos verwüsten mit ihren wilden Touren auch gerne mal Vorgärten oder überfahren unschuldige Passanten. Stefan Roth beruhigt: „Wir bringen dem Computer nicht bei, wie man sich im Verkehr verhält, wir bringen ihm nur bei, Szenen zu verstehen.“