Show and Tell: Bilder die sich selbst beschreiben

von Sarah Schneller | 0 | 1281 Aufrufe

Anzeige Hier werben

Normalerweise kennt Google ja nur den Bildtitel oder den gesetzten ALT-Tag eines Bildes. Das soll sich bald ändern, denn unabhängig voneinander haben zwei Entwicklerteams aus den USA das sprechende Bild entwickelt. Ein Team kommt dabei von der Stanford University in Kalifornien, das andere kommt von Google. Aber beide arbeiten nach dem gleichen Prinzip. Software soll das Gehirn imitieren. Klingt verrückt und nicht machbar, dennoch haben sie es geschafft.

Neuronale Netze ist dabei das Zauberwort. Es gibt künstliche neuronale Netze, das sind Computerprogramme, die ähnlich dem menschlichen Gehirn arbeiten. Ein sogenanntes Convolutional Neural Network (CNN), mit dem es möglich ist Objekte auf Fotos zu erkennen, untersucht das jeweilige Bild und gibt diese Analyse an ein Recurrant Neural Network (RNN) weiter. Und das wiederum beschreibt das Bild in Worten. Generiert werden sehr einfach Beschreibungen, wie zum Beispiel „Mann im schwarzen T-Shirt spielt Gitarre“ oder „Mädchen in einem pinken Kleid springt in die Luft“, was allerdings bei einer Bildbeschreibung völlig ausreichend ist.

Bild zu Show and Tell: Bilder die sich selbst beschreiben
Bild aus der Sicht des Computerprogrammes - Quelle: Stanford University

Die Entwickler haben dem Computer das nach und nach beigebracht. So haben sie am Anfang mit nur wenigen Bildern und fertig generierten Beschreibungen den Computer beschäftigt. So konnte dieser die Muster auf den Bildern inklusive der Beschreibungen lernen. Nach und nach haben sie immer mehr Bilder, auch ohne Beschreibung, dem PC geliefert.

Weitere Beispiele und eine genauere Beschreibung gibt es auf der Seite der Stanford University.

Über den Autor: Sarah Schneller
Supervising Technician for Dynamic Frontend Development bei Team23 in Augsburg
Profilseite betrachten