• 3 months ago / Ulrike Stemmer & Stephan Clasen

Von Gesichtserkennung und Hühnern mit Azure

Gemeinsam mit unserem Partner Microsoft haben wir der Konferenz "Year of the X" einen Besuch abgestattet. Dieses Jahr lief in München alles unter dem Motto "Year of the Rooster"; das Jahr des Hahns. Unser Ziel: Die Cognitive Services von Microsoft Azure einfach, anfassbar und witzig darzustellen – und den Besuchern so ein tolles Erlebnis zu bieten.

Klingt erst einmal kompliziert. Im Endeffekt war es dann aber doch ganz einfach: Die Cognitive Services beinhalten eine Gesichts- und Emotionserkennung. Sie erstellen ein anonymisiertes Profil und analysieren dieses in verschiedenen Ebenen. Wir können mit Azure neben Alter und Geschlecht auch markante Merkmale – wie zum Beispiel Brillen oder Bärte – erkennen. Zudem erkennt die Software in Echtzeit Regungen und Emotionen der Person, die vor der Kamera steht: von Freude zur Wut in unter zwei Sekunden? Kein Problem für den Service, der die Echtzeit-Analyse über die Microsoft Cloud durchführt.

Die erste Echtzeit-Emotions-Videoinstallation

Um besonders intensiv auf das Potential der Echtzeit einzugehen, haben wir eine Videoinstallation konzipiert, die die Gesichter der Besucher der Konferenz durch die Kamera erfasst und direkt analysiert. Auf Basis dieser schnellen Analyse können wir die Besucher eindeutig identifizieren. Das musste nur noch sichtbar gemacht werden. Dafür haben wir eine Art Baukastensystem für Gesichter und deren gezeigten Emotionen gestaltet und in einer Datenbank hinterlegt. Somit wird bei jeder Analyse direkt ein individueller Smiley für den Nutzer generiert – natürlich passend abgestimmt auf Alter, Geschlecht und weitere Gesichtsmerkmale. Auf der Videoleinwand überlagern wir schließlich das Gesicht des Besuchers mit dem zu ihm passenden Smiley. Die ganze Aktion erfolgt in einem Zeitraum von ca. zwei Sekunden. Sobald man sich also in das Sichtfeld der Kamera bewegt, bekommt man automatisch seinen Smiley verpasst. Ein echter Hingucker für die Konferenzbesucher! Durch die Emotionserkennung ist der Smiley dann natürlich nicht statisch, sondern er verändert sich, je nachdem ob der Besucher freundlich, überrascht oder wütend aussieht. – Was für viele Lacher auf der Konferenz sorgte.

Cognitive Services über Umwege

Dabei sind die zwei Sekunden nur der Anfang: Da die Cognitive Services von Microsoft derzeit offiziell noch in der Preview-Phase sind und nur ausgewählten Partnern zur Verfügung stehen, müssen die Daten aktuell in die USA geschickt und dort analysiert werden. Sobald Cognitive Services offiziell gelauncht und dann auch in Deutschland verfügbar sind, wird das Echtzeit-Erlebnis deutlich besser werden.

Apropos Echtzeit-Erlebnis: Gerade weil die Server der Cognitive Services derzeit in den USA stehen, war der ein oder andere Kniff notwendig, um die Installation auf der Konferenz wirklich echtzeitfähig zu machen. So findet zum Beispiel die eigentliche Erkennung der Gesichter auf dem lokalen Rechner statt und nur die kleinen Bildteile, die wirklich ein Gesicht enthalten, werden zur Auswertung in die Cloud geschickt. Außerdem "verfolgt" unsere Anwendung die Gesichter und schätzt ab, wo sie sich als Nächstes hinbewegen könnten. Auch damit konnte die Anzahl der Service-Aufrufe auf ein Minimum reduzieren werden.

Und das hat‘s gebracht – unser Fazit

Wir wollten damit natürlich mehr erreichen als nur zu unterhalten: Die Installation zeigt, wie schnell Gesichts- und Emotionserkennung schon heute funktioniert und wie vielseitig man sie einsetzen kann. Wir haben viel darüber gelernt, welche Voraussetzungen man für diesen cloud-basierten Service schaffen muss. Neben einer schnellen Internetverbindung sind die Lichtverhältnisse zum Beispiel bei unserer Installation ein essentieller Faktor. Dieses Wissen können wir jetzt für alle kommenden Projekte nutzen und einsetzen. Und wer weiß, vielleicht öffnen wir unsere Bürotüren bald im wahrsten Sinne des Wortes mit einem Lächeln …

Mehr zu den Cognitive Services erfahrt ihr hier.