Gehirn CPU Henrik5000
Technik

Licht in die Black Box

Wie Forscher dem Computer beim Denken zusehen

Lesezeit ca.: 4 Minuten

Rüdiger Voßberg

freier Journalist

Niemand weiß so genau, wie neuronale Netze bei der Analyse von Big Data eigentlich zu ihren Ergebnissen kommen. Deshalb haben Berliner Wissenschaftler eine Software entwickelt, mit der sie die Arbeitsweise von Netzwerken visualisieren und deren Resultate überprüfen können. Das könnte auch für die künftige Qualität von Produkten bedeutend sein.

19. Juni 2017

Ein Mensch kann den Pariser Eiffelturm sofort von einem texanischen Ölbohrturm unterscheiden, eine gute Bilderkennungs-Software vermutlich auch. Doch Algorithmen können vielmehr: Beispielsweise analysieren Banken seit geraumer Zeit die Kreditwürdigkeit von Bankkunden mithilfe neuronaler Netze. Aber wie machen sie das eigentlich? Höchste Zeit für ein aufhellendes Gespräch mit dem Leiter der Forschungsgruppe Maschinelles Lernen am Fraunhofer Heinrich-Hertz-Institut (HHI) in Berlin, Wojciech Samek. Er hat gemeinsam mit Kollegen eine Methode entwickelt, die sichtbar macht, nach welchen Kriterien neuronale Netze entscheiden. Die Forscher sehen dem Computer beim Denken zu.

Herr Samek, ist eine Kreditvergabe nach Big-Data-Analyse eigentlich leichtsinnig?

Ja, eine Kontrolle wäre unbedingt nötig. Aber es geht nicht nur um die Plausibilität der Ergebnisse, sondern auch um deren Nachvollziehbarkeit. Wenn man weiß, wie der Algorithmus zu seiner Entscheidung kommt, könnte man nicht nur Sicherheit gewinnen, sondern von vornherein die Menge der Daten reduzieren, indem man nur die relevanten Parameter auswählt.

Wie bringt Ihr Verfahren denn Licht in die Black Boxes?

Gemeinsam mit unserem TU-Berlin-Kollegen Professor Klaus-Robert Müller haben wir ein mathematisches Verfahren entwickelt, das uns erlaubt, den gesamten Rechenweg eines neuronalen Netzes, von der Eingabe bis zur Schlussfolgerung, zu analysieren. Damit können wir nachvollziehen „wieso“ das Netz zu dieser oder jener Entscheidung gekommen ist. Unsere Methode basiert auf der so genannten Taylor-Entwicklung, einem etablierten Werkzeug der Mathematik, mit dem man komplizierte nichtlineare Funktionen einander annähern kann.

Was haben Sie denn vereinfacht?

Neuronale Netze funktionieren, wie der Name schon andeutet, nach dem Prinzip des menschlichen Gehirns. So wie verschiedene Areale von Nervenzellen, die Neuronen, miteinander kooperieren, arbeiten im künstlichen Neuronalen Netz mathematische Einheiten miteinander. Wir verfolgen das Endergebnis quasi wieder zurück in dieses Berechnungssystem und schauen dabei auf die Verbindungen der neuronalen Netze: Je ausgeprägter diese Verbindungen sind, desto wichtiger ist ihr Beitrag zur Gesamtentscheidung. Der zweite wichtige Faktor ist die Aktivierung der Neuronen: Je stärker die Aktivierung ist, desto relevanter ist das Neuron. Für unsere Experimente haben wir unser Verfahren auf die im Internet verfügbaren neuronalen Netzen wie GoogleNet oder BVLC Reference CaffeNet getestet.

Sie haben Ihr Verfahren für die Bilderkennung verwendet … ?

… ja, wir wollten wissen: Was „sieht“ das Netzwerk eigentlich? Ein Foto, das für den Computer zunächst nur eine ungeordnete Wolke aus Pixeln ist, wird von diesen Gruppen aus künstlichen Neuronen systematisch analysiert. Manche Neuronen erkennen Kanten, andere Ecken. So ergibt sich für den Computer Stück für Stück das Bild. Letztlich sind die Ergebnisse dieser neuronalen Rechenoperationen aber nur Wahrscheinlichkeitswerte.

Wie funktioniert denn die Bilderkennung in den Netzen?

Will man einem neuronalen Netz etwa beibringen, Katzen zu erkennen, dann lernt man das System an, indem man es mit Tausenden von Katzenbildern füttert. Wie ein kleines Kind, das langsam versteht, Katzen von Hunden zu unterscheiden, lernt auch das neuronale Netz automatisch. Mit unserer Methode können wir jetzt aber genau sehen, an welcher Stelle eine bestimmte Gruppe von Neuronen eine bestimmte Entscheidung getroffen und wie stark diese zum Ergebnis beigetragen hat. Die Summe der Rechenaktivitäten visualisieren wir mit einer Heatmap.

Eine Landkarte der verschiedenen Rechenoperationen?

Genau. In dem Beispielfoto mit der Eisenbahn hat der Algorithmus gar nicht den Zug „erkannt“, sondern die Gleispixel zur Entscheidung „Zug“ berücksichtigt. Ein verblüffendes Ergebnis.

Gab es noch weitere Überraschungen?

Ja, beim Test mit Pferdebildern. Das erste Programm erkannte tatsächlich den Körper der Pferde. Das zweite aber orientierte sich an den Copyright-Zeichen der Fotos, welche Hinweise auf Foren für Pferdeliebhaber oder Reit- und Zuchtvereine gaben, sodass das Programm eine hohe Trefferquote erreichte, obwohl es gar nicht gelernt hatte, wie Pferde aussehen.

Also eigentlich eine Fehlentscheidung?

Richtig. Wir haben dieses Copyrightzeichen dann in ein Foto mit einem roten Ferrari eingebaut, und es wurde von dem Programm prompt als „Pferd“ erkannt. Ohne unser Verfahren wären wir dieser Fehlentscheidung nie auf die Spur gekommen, weil die Ergebnisse der Testreihen ja korrekt waren. Man sieht also, wie wichtig es ist, genau zu verstehen, wie ein solches Netzwerk arbeitet! Dann wäre es zum Beispiel auch möglich, aus den Betriebsdaten einer komplexen Produktionsanlage herauszulesen, welche Parameter die Qualität eines Produktes beeinflussen oder zu Schwankungen bei derselben führen.

Was ist das langfristige Ziel Ihrer Forschungsarbeiten?

Wir müssen die Black Box „neuronales Netz“ verstehen, um ihre Ergebnisse wirklich korrekt einzuordnen. Das ist beispielsweise für die Erkennung von Krankheiten wichtig. Ein neuronales Netzwerk analysiert, mit welcher Wahrscheinlichkeit der Patient eine bestimmte genetische Erkrankung hat. Viel interessanter wäre es aber, zu wissen, an welchen Merkmalen das Programm seine Entscheidungen festmacht. Das könnten bestimmte Gendefekte sein, die bei dem Patienten vorliegen – und die wiederum könnten ein möglicher Angriffspunkt für eine individuell auf den Patienten zugeschnittene Krebstherapie sein. Spätestens hier darf man sich Fehlentscheidungen nicht mehr leisten.

Wojciech Samek, Leiter der Forschungsgruppe für Maschinelles Lernen am Fraunhofer Heinrich-Hertz-Institut (HHI)

Dr. Wojciech Samek
ist Leiter der Arbeitsgruppe „Machine Learning“ am Fraunhofer Heinrich-Hertz-Institut HHI; er ist Mitglied im Berlin Big Data Center und war Stipendiant bei der Studienstiftung des deutschen Volkes und dem DFG Graduiertenkolleg „Sensory Computation in Neural Systems“.