Eric Steinberger und Benjamin Mörzinger,
Wissenschaftler, TU-Wien

smArt, der malende Roboterarm ist ein Showcase mit Vision. Eric Steinberger und Benjamin Mörzinger, Researchers TU-Wien, lehrten mittels künstlicher Intelligenz einem ganz normalen Industrieroboterarm das Malen. Er malt mit verschiedenen Techniken Bilder und bestellt über die Verbindung alleine Farbe sowie Wasser zur Reinigung seiner Pinsel.Bezahlt wird ebenfalls selbständig über die Kryptowährung IOTA.
Klingt schon spannend, hat aber ein weitaus größeres Problem gelöst. Nämlich die Anwendungseinschränkung der Industrieroboter, die sonst immer nur die gleiche Bewegung ausführen können. Bei Mass-customisation, der individuellen Produktgestaltung, ist die Flexibilität mittels AI und in Simulation dynamisch generierten Bewegungsabläufen eine Errungenschaft, die ein Spektrum neuer Möglichkeiten eröffnet.

Eric Steinberger und Benjamin Mörzinger, TU-Wien, sprechen am 16./17.5.2018 auf dem IoT Forum in Wien.

Was war der Anlass einen Industrieroboterarm mittels künstlicher Intelligenz zum Künstler zu machen?

Eric Steinberger: Unser Projekt heißt ‘smART’-  Smart für ‘smart’ und ‘Art’ für Kunst. Wir haben einem Roboterarm einen kreativen Task, das Malen beigebracht. Industrieroboterarme sind ja eigentlich ziemlich ‘dumm’, sie führen immer die gleiche Bewegung aus. Bei unserem Roboter gibt man dem Computer ein beliebiges Foto. Der Computer stilisiert dieses Foto in einem auswählbaren Stil. Das kann ein graphischer Stil oder auch der Stil von Van Gogh oder Picasso sein. Der Inhalt des Bildes wird in einem dieser Stile digital neu kreiert. Mittels eines weiteren Algorithmus lernte der Roboter mit Pinseln Striche zu erzeugen, die visuell ansprechend sind. Diese gelernten Bewegungspfade assoziiert er mit den resultierenden Strichen auf dem Papier und kombiniert sie in einer Simulation zu dem vorher generierten Bild. Diese Kombination kann je nach Belieben aus 1.000 bis 10.000 Pinselstrichen bestehen. Es resultiert dann tatsächlich in einem visuell ansprechenden Bild, das vom Roboter ohne jegliches Einschreiten eines Menschen mit Acrylfarbe und Pinseln gemalt wurde.

Eminem Acryl Simulation

Warum malt der Showcaseroboter ausgerechnet Bilder?

Eric Steinberger: Das Ziel war zu zeigen, dass Roboter nicht nur monotone Aufträge und Bewegungsabfolgen ausführen können, sondern auch gestalterische. Die Algorithmen dahinter, die Stilisierungsalgorithmen und die Pinselstrichapproximationsalgorithmen, die ich dafür entwickelt habe, stehen genau dafür. Der Roboter ist immer noch der ‘Sklave’, der nur Bewegungspfade ausführt, aber was ich damit zeigen möchte ist, dass man mit AI und Software, also mit einer Vielfalt von intelligenten Algorithmen und Simulationen sehr viele Anwendungsgebiete schaffen kann, auch mit eigentlich dummen Robotern. Sie sind eben nicht darauf beschränkt, immer dieselben Bewegungen zu machen, um Autos zusammenzubauen. Wir erweiterten den malenden Roboterarm auf den Maschine-to-Maschine Use-case um ein Ecosystem zu schaffen.

Benjamin Mörzinger: Üblicherweise kann der Roboter immer nur dieselbe Bewegungsabfolge ausführen, aber nicht situationsspezifisch anders reagieren. Das schränkt die Anwendung ein. Bei Mass-customisation möchte jeder Käufer sein individuelles Produkt haben. Das ist mit der klassische Serienfertigung nicht vereinbar. Das Malen verschiedener Bilder mit verschiedenen Techniken ist die bildhafte Darstellung davon, dass man individuelle Produkte zu einem Gutteil automatisiert generieren kann, wenn man künstliche Intelligenz einsetzt. Man kann dem Roboter ein Porträt von einem Menschen geben und er wird das genauso malen, als hätte er lebenslang nichts anderes gemacht und muss dafür nicht explizit neu programmiert werden.

Eric Steinberger: Es gibt eine einmalige Lernphase, da lernt der Roboter die Pinselstriche. Dieser Algorithmus ist auch für andere Use-cases außerhalb des Malens anwendbar.

Das klingt nach einem komplizierten Prozess.

Eric Steinberger: Tatsächlich ist der Prozess, der das Lernen der Pinselstriche ausmacht, sehr zeiteffizient. Es ist möglich alle Striche an einem Nachmittag zu lernen. Der Lernprozess muss allerdings unter speziellen Sicherheitsbedingungen ablaufen, da der Roboter buchstäblich viele Dinge ausprobiert.

Diesen Task konntet ihr einem herkömmlichen Roboterarm lehren?

Eric Steinberger: Ja. Wir verwendeten einen ABB Industrie-Roboterarm, in unserem Fall ist das der kleine IRB 120, es würde allerdings mit jedem Industrie-Roboterarm funktionieren.

Wenn dem Roboter die Farbe ausgeht, kann er sie selbstständig bestellen?

Benjamin Mörzinger: Ja. Unser Roboterarm steht als Showcase für eine gesamte Fertigungsanlage. Für die Vision einer vollautomatisierten Fabrik, die beispielsweise Autos baut. Als solches wird der Roboter in die Situation kommen mit seinem Umfeld interagieren zu müssen.
Wie du schon richtig gesagt hast, ist eine der Aufgaben, die unser Roboter ausführen muss, Farbe nachfüllen und auch Farbe bestellen. Zusätzlich muss er Wasser nehmen um seinen Pinsel zu säubern. Später wird er eventuell auch mit einem Föhn das Bild trocknen, damit er nicht warten muss, bis die Farbe getrocknet ist und er darüber malen kann.
Unser System besteht derzeit aus zwei Anlagen. Die eine Anlage ist der Roboter, die andere Anlage ist seine zusammengesammelte Peripherie, die wir als Farbfabrik bezeichnen. Sie wartet, bis jemand bei ihr Farbe bestellt. 
Der Roboter bestellt beispielsweise: ‘brauche 10 Einheiten rot, und 10 Sekunden lang den Wasserstrahl zum Pinsel säubern‘. Die Farbfabrik kann das physisch bereitstellen. Sie können miteinander kommunizieren, Daten austauschen und kooperieren.

Der Roboter bezahlt für die Dienste der Farbfabrik mittels Kryptowährung?

Benjamin Mörzinger: Ja. In der nächsten Ausbaustufe werden sie sich gegenseitig über das IOTA Netzwerk bezahlen. Mein Bild dafür sind smarte Maschinen, die context-aware sind und mit ihrer Umgebung reden.

Hast Du dafür ein Beispiel?

Benjamin Mörzinger: Der Roboter könnte beschließen, dass er gerne noch eine halbe Stunde wartet, bevor er die Farbe bestellt, weil er weiß, dass sie dann billiger wird.

Eric Steinberger: Derzeit arbeiten wir daran die Zahlungen und Bestellungen mittels IOTA abzuwickeln. Die Backgroundinformationen dafür haben wir bereits zusammengetragen und den nötigen Programmcode großteils geschrieben (das war einfacher als gedacht). Jetzt müssen wir das System verbinden das entscheidet, wann es was bestellt. So sammeln wir praktische Erfahrung und entdecken Vorteile sowie durchaus auch einige Nachteile von IOTA in IOT. Der Use-Case ist zwar keine tatsächliche Autofabrik, aber das System soll zeigen, wohin die Reise gehen kann und auch, was man heute mit Fertigungsrobotern und Technologien wie AI und Blockchain alles machen kann.

project-smart.org

www.iot-forum.at

About:

Eric Steinberger: Eric is a 19 years old, self-taught AI expert and researcher. He wants to take part in the research that makes general superhuman AI become reality in a safe and beneficial way; This is why Eric started self-studying AI and Mathematics at the age of 15. He now works at the Vienna University of Technology, where he researches in the fields of AI and Robotics.


Ben Mörzinger: Benjamin, Researcher at TU Vienna and PhD Candidate in the field of Industry 4.0 wants to push the boundaries of what is possible in industrial manufacturing. His mission is to accelerate the transition to Industry 4.0 with innovative methods.