Zusammen mit einer Doktorandin und einem Postdoktoranden will Jan Dirk Wegner einen Indikator für Grünflächen im Kanton Zürich und darüber hinaus entwickeln. Das Innovative daran: Der Indikator ist multimodal, d.h. er integriert verschiedene Arten von Daten. Möglich macht dies Deep Learning. Wie das geht und wie er sich das Endprodukt vorstellt, erklärt Jan Dirk Wegner, Professor für Data Science for Sciences und Leiter des EcoVision Lab am Institut für mathematische Modellierung und Machine Learning (DM³L) der Universität Zürich, im Interview.

Jan, warum machst du mit beim Public Data Lab (PDL)?

Jan: Mich motiviert die Interdisziplinarität des Public Data Labs: Wir schauen eine einfache Frage, zum Beispiel «Was bedeutet Lebensqualität?», aus verschiedenen Blickwinkeln an. Die Frage ist simpel, aber sehr wichtig, und für mich ist es spannend, mit sehr fähigen Kolleg*innen darüber nachzudenken. Obwohl meine Herangehensweise mit Deep Learning, Machine Learning und Computer Vision etc. sehr technisch ist, kann ich grundsätzlich sehr viel dazu beitragen.

Kannst du die Begriffe Machine Learning, Deep Learning und Computer Vision kurz erklären?

Machine Learning oder maschinelles Lernen beschäftigt sich mit Algorithmen, die aus Daten lernen, um zum Beispiel Muster oder Gesetzmässigkeiten zu erkennen, Daten zu klassieren oder Vorhersagen zu treffen. Machine Learning ist der Oberbegriff für sämtliche traditionellen Algorithmen wie Random Forest, Support Vector Machines, Computer Vision, aber auch moderne Varianten wie Deep Learning. Der Unterschied zwischen den traditionellen und modernen Algorithmen besteht darin, dass man bei traditionellen Algorithmen Fachwissen braucht, um Merkmale zu extrahieren, während Deep Learning die Merkmale automatisch extrahiert. Wenn ich zum Beispiel die Gesundheit von Vegetation mit einem Random Forest Modell untersuchen will, muss ich erst Indikatoren wie den Normalized Difference Vegetation Index (NDVI) oder den Enhanced Vegetation Index (EVI) berechnen und prüfen. Diese Indikatoren gebe ich als Merkmale an den Random Forest Algorithmus. Deep Learning hingegen funktioniert direkt mit den Rohdaten und findet die besten Merkmale selbst, um einen Indikator herzuleiten. Genau das macht Deep Learning auch so erfolgreich.

Computer Vision umfasst Methoden, mit denen Bilder aufgenommen, prozessiert, analysiert, klassiert und Informationen daraus abgeleitet werden können. Die Bilder stammen aus unterschiedlichen Quellen wie Videoaufnahmen, Kameras, 3D-Scannern, Lasersensoren etc.

«Wenn wir uns als Expert*innen schwertun, Regeln für Schwammiges zu definieren, funktioniert maschinelles Lernen sehr gut.»

Jan Dirk Wegner

Was ist deine Rolle im PDL und dein Beitrag fürs PDL?

Ich bringe meine technische Kompetenz und Expertise im Bereich Machine Learning und Deep Learning ein. Gleichzeitig bin ich anschlussfähig, um auch mit Kolleg*innen aus anderen Disziplinen zu kommunizieren. Ich betreue zudem eines der vier Leuchtturmprojekte, bei dem wir untersuchen, wie Natur und Umwelt zur Lebensqualität beitragen. In diesem Zusammenhang entwickeln wir verschiedene Indikatoren und setzen maschinelles Lernen ein, um möglichst viele Pflanzen- und Tierarten sowie den Zusammenhang zur Lebensqualität zu bestimmen. Das Ganze basiert auf Monitoringsystemen, die wir selbst entwickelt haben. Wir haben zum Beispiel basierend auf Street-View-Panoramabildern die Vegetation kartiert. Ab hier wird es spannend: Wenn wir uns als Expert*innen schwertun, Regeln für Schwammiges zu definieren, zum Beispiel welche Pflanzenarten oder Grünumgebungen uns positiv beeinflussen, funktioniert maschinelles Lernen sehr gut. Denn es kann sehr viele Indikatoren gleichzeitig zusammenfassen, bestimmte Korrelationen erkennen, zwischen Datenpunkten interpolieren und mit einer spannenden Bewertung aufwarten. Letztere können oder sollten wir vielleicht nicht direkt nutzen, aber sie gibt uns einen gewissen Denkanstoss.

Du hast das dritte Leuchtturmprojekt soeben erwähnt, bei dem es um die Entwicklung von multimodalen Indikatoren für Grünflächen geht. Mit was für Input-Daten arbeitet das Projekt?

Wir tauschen uns als erstes mit dem Statistischen Amt aus, um zu erfahren, mit welchen Daten die Lebensqualität aktuell erfasst wird, ob sie direkt oder indirekt gemessen wird, was die räumliche Auflösung ist etc. Danach werden wir Umweltparameter messen und versuchen, mittels Deep Learning eine Korrelation zwischen den Umweltparametern und der Lebensqualität herzustellen. Für die Umweltparameter werden wir zuerst mit Bilddaten, später vielleicht mit Punktwolken arbeiten.
Danach werden wir im Austausch mit den Projektpartner*innen weitere Daten und Indikatoren suchen, die wir ins Modell integrieren können. Ich denke da an Klimadaten, aber auch Daten über die Bevölkerung könnten interessant sein. Vielleicht gibt es ja einen Happyness-Index, den wir verwenden könnten (lacht). Spannend könnte auch sein, Arbeitsdaten aus anderen Leuchtturmprojekten zu verwenden. Denn genau in der Multimodalität liegt das riesige Potenzial von Deep Learning: Wir können verschiedene Arten von Daten, wie Bild, Text, Ton etc., relativ einfach kombinieren, und das über lange Zeitreihen hinweg.

Dein Projekt soll räumlich explizite Indikatoren entwickeln. Was bedeutet räumlich explizit in diesem Zusammenhang?

Räumlich explizit meint, dass wir die Indikatoren pro Rasterzelle mit einer gewissen Auflösung, zum Beispiel 100 x 100 m, berechnen. Am Schluss haben wir für jeden Indikator einen Rasterlayer in einem GIS-System. Daraus können wir dann verschiedene Karten erstellen.

Was ist das Endprodukt deines Leuchtturmprojekts?

Die Idee wäre, dass wir letztendlich eine Karte mit Indikatoren haben, welche für die Lebensqualität wichtig sind. Plus eine weitere, höher aufgelöste Karte, die die Lebensqualität an sich darstellt und zeigt, welche Umweltindikatoren an welchem Ort entscheidend für das Ausmass an Lebensqualität sind. Gleichzeitig soll die Karte angeben, wie zuverlässig das Modell ist resp. wie gross die Unsicherheit ist. Am besten wäre, wenn das Modell Interpretierbarkeit ermöglicht, d.h. dass es eben keine Black Box ist, sondern aufgrund der Karte erklären kann, wie es zu diesem Schluss kommt.

Welches Gebiet deckt diese Karte ab?

Sicher den Kanton Zürich, weil wir das Projekt für den Kanton Zürich machen, aber maschinelles Lernen hat vor allem dann Vorteile, wenn man skalieren will. Deshalb ist es mir ein Anliegen, dass wir von Anfang an über den Kanton hinaus, d.h. schweizweit, denken, auch wenn wir nicht die gleichen Daten oder Daten in derselben Auflösung haben. Denn für kleine Gebiete wie zum Beispiel die Stadt oder den Kanton Zürich wäre maschinelles Lernen nicht unbedingt nötig. Viele Daten lassen sich in solchen Fällen manuell interpretieren. Der Mehrwert von dem, was wir machen, besteht darin, dass man hochkomplexe Muster in den Daten, die auf Lebensqualität hindeuten, erkennen, dass man skalieren und automatisieren kann.

Welches Ziel verfolgst du mit dem Public Data Lab und deinem Projekt?

Mein Ziel ist, dass wir eine automatisierte oder zumindest teilweise automatisierte Methode entwickeln können, die nachher vom Statistischen Amt oder anderen Stellen als Tool genutzt werden kann, um die Lebensqualität zu messen und langfristig zu verbessern.
Da es ein Forschungsprojekt ist, weiss ich nicht, wie weit wir kommen. Mein Anspruch ist aber, dass wir einerseits auf sehr technischer Ebene und in hoher Qualität forschen und publizieren, und andererseits diese Lücke zwischen akademischer Forschung und praktischer Anwendung schliessen können. Mein Ziel wäre eine Prototyp-Software, die dank höherer Auflösung eine sehr viel bessere Analyse als heute zulässt und aufzeigt, wo und wie man die Lebensqualität verbessern könnte, aber auch inwiefern Umweltfaktoren eine Rolle spielen.

Wo siehst du Herausforderungen?

Die grösste Herausforderung, die aber gleichzeitig auch anspornt und Spass macht, besteht darin, dass wir uns als Projektpartnerinnen und -partner aus verschiedenen Disziplinen auf eine gemeinsame Sprache einigen. Dass wir uns Zeit nehmen, um zu verstehen, welches aus gesellschaftlicher Sicht die wichtigsten Fragestellungen sind, die wir beantworten wollen. Wenn wir das nicht tun, entwickeln wir etwas, was zwar vielleicht ein tolles Paper ergibt, aber für die Praxis irrelevant ist. Ich sehe die Kommunikation wirklich als grösste Herausforderung, nicht nur innerhalb des Labs, auch darüber hinaus. Es ist wichtig, sich häufig zu treffen, sich auszutauschen, sich aufeinander einzulassen, den eigenen fachlichen Trott einmal zu verlassen, Geduld zu haben, sich gegenseitig den Raum und die Zeit geben, um alleine zu forschen, aber auch eine gemeinsame Vision zu verfolgen und als Team aufzutreten.

Jan Dirk Wegner ist Professor für Data Science for Sciences und leitet das EcoVision Lab am Institut für mathematische Modellierung und Machine Learning (DM³L) der Universität Zürich. Er forscht am liebsten an der Schnittstelle von Machine Learning, Computer Vision und Fernerkundung, um wissenschaftliche Fragestellungen in den Umwelt- und Geowissenschaften zu beantworten und so die Lebensqualität von Menschen, Tieren und Pflanzen zu verbessern. Jan ist Vater von drei Kindern, spielt gerne Gitarre und ist leidenschaftlicher Werder-Bremen-Fan.