Forschungsprojekte

IBMPP – Bildbasierte Medienproduktionskette

In der traditionellen Computergrafik-Verarbeitungskette werden virtuelle Welten typischerweise durch polygonbasierte 3D-Modelle beschrieben. Dieser Ansatz stellt einen „Industriestandard“ für 3D-Echtzeit-Anwendungen dar. Trotz technologischer Weiterentwicklungen im Hardware- und Rendering-Bereich stellt die gleichzeitige Erfüllung der folgenden Kernziele immer noch eine grundlegende Herausforderung in der interaktiven Computergrafik dar: fotorealistische Bildsynthese, ein hoher Interaktivitätsgrad, Speichereffizienz und eine kostengünstige sowie möglichst automatisierbare Medienproduktion.

Im Rahmen des Projektes „bildbasierte Medienproduktionskette“ soll anstelle der klassischen Computergrafik ein alternativer Lösungsansatz verfolgt werden. Durch die Verbindung von Verfahren aus der Computergrafik, Bildverarbeitung und Computer Vision werden Methoden und Techniken untersucht und software-technisch umgesetzt, welche die zukünftige Realisierung einer bildbasierten und möglichst geometrielosen Verarbeitungskette ermöglichen sollen. Das Ziel ist dabei Lösungen zu entwickeln, mit denen weitläufige fotorealistische 3D-Darstellungen direkt aus Bildinformationen (Foto-/Video-Aufnahmen) in Echtzeit generiert werden können, ohne den Einsatz spezieller 3D-Scanning-Hardware, zeitaufwendiger manueller Erstellung oder der Nachbearbeitung geometrischer Objekte.

Dieser Ansatz soll die „traditionelle“ 3D-Verarbeitungskette nicht ersetzen, sondern eher als eine Ergänzung verstanden werden, welche die Entwicklung spezieller fotorealistischer 3D-Anwendung in den Bereichen Games, virtuelle Besichtigungstouren für Kunst sowie Kultur, digitale Zwillinge für Architektur sowie Industrie und in der Fotogrammmetrie unterstützen soll.

Mitwirkende und Kooperationen:

  • Simon Seibt, M. Sc. (Doktorand)
  • Thomas Chang, M. Sc. (Doktorand)
  • Prof. Dr. Bartosz von Rymon Lipinski (Betreuer an der TH Nürnberg)
  • Prof. Dr. Marc Erich Latoschik (Betreuer an der Universität Würzburg)
  • Prof. Dr. Sebastian von Mammen (Co-Betreuer an der Universität Würzburg)

Es handelt sich dabei um eine Verbundpromotion des bayerischen Wissenschaftsforums (BayWISS) im Verbundkolleg „Digitalisierung“.

Gamebook 2.0 – KI-unterstützte Entwicklung „tief-interaktiver Spielbücher“

Mit fortschreitender Digitalisierung und einem täglichen Überangebot an multimedialen Inhalten wird die Sicherung der Attraktivität des Mediums Buch zu einer immer größer werdenden Herausforderung, insbesondere für Kinder, Jugendliche und junge Erwachsene. Eine Möglichkeit diesem Trend – zumindest teilweise – entgegenzuwirken könnten sogenannte Spielbücher darstellen. Diese ermöglichen dem Leser interaktiv zwischen unterschiedlichen Handlungsoptionen zu wählen, dadurch zu unterschiedlichen Textpassagen zu springen und so die erzählte Geschichte zu beeinflussen.
Leider bieten die „analogen“ Spielbücher, sowie deren digitalen Pendants (typischerweise mobile Apps), in der Regel nur einen minimalen Grad an Interaktivität und eine relativ starre Handlungsgeschichte mit stark eingeschränkten Verzweigungsmöglichkeiten.

Im Rahmen des Projektes „Gamebook 2.0“ wird daher ein Software-System entwickelt, welches Autoren und Game-Designern ermöglichen soll „tief-interaktive Spielbücher“ zu verfassen, bei denen – in Analogie zu einem Computerspiel – vielfältige Handlungsoptionen basierend auf einer zugrundeliegenden Spielweltsimulation realisiert werden können. Dazu zählen beispielsweise dynamische Weltzustände, zufällige sowie zeitkritische Ereignisse, interagierbare Objekten und KI-gesteuerte Nicht-Spieler-Charaktere. Einen Kernaspekt der Forschungsarbeiten stellt dabei die Untersuchung dar, inwieweit (komplexe) technischen Aspekte mittels KI-unterstützter Ansätze so weit abstrahiert werden können, dass auch „Nicht-Informatiker“ direkter an der Software-Umsetzung der zugrundeliegenden Weltsimulation mitwirken können. Unser Forschungsansatz basiert auf der Idee das software-technische Anwendungsgerüst – zusammen mit dem darin gekapselten Weltmodell – als eine Wissensbasis zu repräsentieren. Damit soll es möglich werden die darin enthaltenen Zusammenhänge einer virtuellen Welt auch ohne informatisches Fachwissen in natürlich-sprachlich-orientierter Textform zu beschreiben. Ein mögliches zukünftiges Ziel ist die Verwertung des Entwicklungssystems auch für komplexere interaktive 3D-Anwendungen und 3D-/VR-Computerspiele, die über den aktuell anvisierten digitalen Spiel- und Lernbücher hinausgeben.

Mitwirkende:

  • Senta Mandutz, M.Eng. (wissenschaftliche Assistentin)
  • Maximilian Fiedler, B.Sc. (wissenschaftlicher Assistent)
  • Prof. Dr. Bartosz von Rymon Lipinski (Betreuer an der TH Nürnberg)

Lehrprojekte

Homo Ludens – Technische Grundlagen „physischer Nicht-Spieler-Charaktere“

In den letzten Jahren verzeichneten autonome Robotersysteme eine enorme Entwicklung mit zunehmend tiefgreifenden Auswirkungen auf Wirtschaft und Gesellschaft. Bisherige Lösungen waren technisch eingeschränkt oder hochspezialisiert, beispielsweise im Bereich der Forschung oder industrieller Produktion. In naher Zukunft werden weiterführende Entwicklungen in der Robotertechnik mit direktem Einfluss auf den menschlichen Alltag erwartet, insbesondere im Hinblick auf Unterhaltung, Lernunterstützung sowie persönlicher Assistenz. Eine grundlegende technologische Aufgabe ist hierbei die Realisierung einfach zugänglicher und kontrollierbarer Ansätze zur effektiven Kollaboration mit autonomen Robotersystemen.

Auf diesem Hintergrund bekommen TH-Studierende die Möglichkeit sich im Rahmen von Lehrveranstaltungen, wie praktischen Projektarbeiten und Abschlussarbeiten, mit den (teil-)humanoiden Robotersystemen des Game Tech Labs auseinanderzusetzen. Einen besonderen thematischen Rahmen bildet dabei die Strategie, Methoden des „Game Engineerings“ von der virtuellen auf die physikalische Welt abzubilden: Neben den Grundlagen der Roboterprogrammierung sollen Studierende schwerpunktmäßig Verfahren aus dem Bereich der angewandten künstlichen Intelligenz (insb. „Game AI“) erarbeiten, insbesondere im Hinblick auf Wegfindung, physische Interaktion, Wissensrepräsentation, Verhaltenssteuerung und die Simulation emotionaler Zustände. Das Ziel ist dabei „roboterkompatible“ Ansätze auf dem Hintergrund des technischen Gamedesigns zu konzipieren, die die Realisierung künstlicher Persönlichkeiten – sog. „physische Nicht-Spieler-Charaktere“ – ermöglichen sollen.