Mit Wall-e wandern gehen

- Eine intuitive Einführung in erklärbare künstliche Intelligenz

Künstliche Intelligenz (KI) und ihre Erklärbarkeit sind eines der großen Themen, die derzeit die Gesellschaft bewegen.

In diesem Blogpost werden wir mit WALL-E eine Reise von den sonnenüberfluteten Lahnhöhen zu Integrated Gradients, einer der wichtigsten Methoden im Bereich der erklärbaren KI unternehmen. Los gehts!

Intuition

Stellt dir vor, du und WALL-E steht am Ufer der Lahn und wollt auf den Berg gehen. WALL-E hat dieses merkwürdige Hobby zu messen, ob ihr die Höhenmeter in Richtung Norden oder in Richtung Osten geht.

Wie würde er dies machen? Eine Möglichkeit wäre die Strecke, die ihr lauft auf einer Karte einzutragen. Dies könnte so aussehe:

In der Annäherung ist die Strecke in 5 Teilstücke zerlegt:

              Start→ t₁ (West → Ost)

              t₁→ t₂ (Süd → Nord)

              ...

              t₄ → Ziel (West → Ost)

In dem unterstehenden Plot sind in der linken Spalte die zurückgelegten Höhenmeter jeweils in West→Ost und Süd→Nord Richtung eingetragen. In der rechten Spalte ist die Steigung der Strecke für die jeweilige Himmelsrichtung angegeben.

Betrachten wir drei Stellen genauer.

 1. Fall: Wie viele Höhenmeter sind wir in Richtung West→Ost auf der Teilstrecke ( t₁ → t₂ ) gelaufen?

In dem Graph mit den Steigungen in Richtung West→Ost (oben-rechts in der oberen Abbildung) sehen wir, dass die Steigung sehr unterschiedliche Werte zwischen t₁ und t₂ annimmt. Doch wir haben Glück, wir müssen keine komplexe Mathematik betreiben, da wir in diesen Abschnitt nur nach Norden gehen, hat die West-Ost-Steigung keinen Einfluss auf die zurückgelegten Höhenmeter.

Die erste Teilstrecke geht vom Start aus nach Osten. Die Steigung wird immer stärker, daher steigt die Linie mit den zurückgelegten Höhenmetern immer stärker an. 

Wir halten fest:

Die Höhenmeter, die wir in eine Richtung laufen, sind das Produkt aus der Steigung in diese Richtung und der Distanz, die wir in diese Richtung laufen.

Wall-E kann aus den Plots die Höhenmeter, die wir nach Osten (h_O) bzw. Norden (h_N) laufen, ablesen und weiß jetzt, wie viele Höhenmeter wir in welche Richtung gelaufen sind.

Anwendung

Jetzt, da unsere Wanderstiefel eingelaufen sind, können wir betrachten, wie Wall-E uns die Lösung für sein Hobby aufschreiben würde. Er würde vielleicht die Integrated Gradienten Methode anwenden, die Formel dazu sieht wie folgt aus:

Auch wenn es nicht so aussieht, haben wir, um Wall-E zu helfen, bereits dass gemacht, was in der Formel beschrieben wird.

 Der erste Teil der Formel beschreibt die Distanz, die wir auf einem Weg zurückgelegt haben und der Teil mit der Integralrechnung beschreibt, wie stark die durchschnittliche Steigung auf diesem Wegstück ist.

Gehen wir einmal langsam die einzelnen Bestandteile der Formel durch, um zu sehen, wie wir Wall-Es Hobby mathematisch ausdrücken können:

 

F(x) ist unsere Modellfunktion. In unserem Beispiel ist diese Funktion eine Höhenkarte. Wenn diese Funktion als Eingabe Koordinaten bekommt, erhalten wir die Höhe für diesen Punkt zurück. Diese Modellfunktion kann aber auch eine Funktion sein, die als Input ein Bild bekommt und ausgibt, ob auf dem Bild eine Katze zu sehen ist.

 

x' +α ⋅ (x-x') beschreibt eine gerade Linie zwischen zwei Punkten. Probiere es mal aus! x' ist die Ausgangskoordinate z. B. (x₁ = 0, x₂ = 0) und x ist unser Zielpunkt (x₁ = 0, x₂ = 0). Mit α können wir auswählen, ob wir näher an x' oder x sein wollen. Bsp:

      

Grundsätzlich funktioniert die Integrated Gradient Methode mit jeder Art von Pfad (z. B. ein Gewundener, wie der, den wir mit WALL-E gelaufen sind). Allerdings ist die gerade Linie der mathematisch am einfachsten zu beschreibende Fall.

 

 beschreibt die Steigung in Richtung x_i der Modellfunktion entlang der direkten Linie zwischen x' und x.

 In unserem Wanderbeispiel wäre das z. B. wie stark ist die Steigung unseres Weges in Richtung x₀=West-Ost oder x₁=Nord-Süd ist.

 

Für unseren Zweck reicht es zu wissen, dass dieser Teil der Formel eine durchschnittliche Steigung in Richtung x_i für einen Weg zurückgibt.

Falls du dich für die Details interessierst, hier wird das Kurvenintegral über die partielle Ableitung nach x_i berechnet. Auf wikipedia gibt es eine schöne Animation, die zeigt, wie ein Kurvenintegral ausgerechnet werden kann.

 

(x_i - x'_i) ist der Abstand in Richtung _i zwischen Start und Zielort.

 

IG_i(x, x') ist also das Produkt aus einem Abstand und einer Steigung. In der Schule hatten wir für einen solchen Fall eine Formel ähnliche zu dieser hier: y = m * x

Der Wert von IG_i(x, x')  sagt uns, wie stark der Input_i die Änderung unserer Modellfunktion zwischen x' und x beeinflusst. Der Input_i kann ein Pixel sein, sodass du sehen kannst, welche Pixel für deine Katzenerkennung wichtig sind. In einem Datensatz zum Verkaufspreis von Häusern könntest du zum Beispiel herausfinden, ob für dein Modell die Fläche des Wohnzimmers wichtig ist.

 

Was hat Wandern mit künstlicher Intelligenz zu tun?

Im Bereich der künstlichen Intelligenz wüssten wir gerne, wie die Modellfunktion, die unseren KI ausmacht, aussieht. Diese Modellfunktion kannst du dir als den Berghang vorstellen, den wir mit Wall-E hochgelaufen sind. Allerdings hat der Berghang nicht nur zwei Dimensionen, sondern Tausenden, sodass die Modellfunktion nicht einfach zu visualisieren ist. Deshalb ist die Integrated Gradients Methode so nützlich. Sie sagt uns, welche Dimensionen ( z.B. West→Ost oder Nord→Süd) besonders viel Einfluss darauf haben, dass sich die Ausgabe (die Höhenmeter) unserer Modellfunktion (Berghang) ändern.

Damit wissen wir noch nicht, wie der Berghang insgesamt aussieht oder wie er entstanden ist, allerdings ist es ein erster Schritt, um KI besser zu verstehen.

Ich hoffe, du hast unseren Spaziergang genossen und eine spannende Methode aus dem Bereich Erklärbare Künstliche Intelligenz kennengelernt.