Forschungsprojekte

Einsatz von AR/MR/VR/XR zur Evaluation von virtuellen Prototypen (Prof. Harms)

Bei der Entwicklung technischer Geräte und Maschinen steht neben deren Funktionalität auch die Nutzerschnittstelle im Fokus. Hier gilt es ein ansprechendes Design sowie eine gute User Experience und Usability zu erreichen. Dafür müssen die Nutzerschnittstellen im Entwicklungsprozess mit zukünftigen Anwenderinnen und Anwendern evaluiert werden. Hierfür werden häufig teure Prototypen individuell angefertigt. Um die Kosten dafür zu senken kann jedoch auch mit virtuellen Prototypen in AR/MR/VR/XR gearbeitet werden. Deren Erstellung ist aktuell jedoch noch aufwendig und bedarf entsprechender Programmierkenntnisse. Wir arbeiten daran, diesen Prozess zu vereinfachen und die Methodik der Evaluation mit virtuellen Prototypen weiterzuentwickeln. Dazu zählen folgenden Tätigkeiten: 

VR Modell eines Autoradios
VR Modell eines Autoradios
AR Modell eines Toasters auf dem Smartphone
AR Modell eines Toasters auf dem Smartphone

Remote UX und Usability Testing für technische Geräte (Prof. Harms)

Die Verwendung von virtuellen Prototypen in der Entwicklung von technischen Geräten und Maschinen und Evaluation der Nutzerschnittstellen bietet neue Evaluationsmöglichkeiten. Während mit realen Prototypen nur beim Hersteller vor Ort getestet werden kann, können virtuelle Prototypen auch zu den Anwendern gelangen und vor Ort evaluiert werden. Dieses Vorgehen bezeichnet man als Remote-Testing und wird bereits intensiv für Webseiten und Mobile Apps eingesetzt. Wir arbeiten daran diese Herangehensweise für virtuelle Prototypen zu etablieren und untersuchen dafür unterschiedlichste Fragestellungen:

  • Wie müssen entsprechende Apps für ein Remote-Testing gestaltet sein? Hier ist es wichtig, dass die Apps selbst keinen Einfluss auf die Güte der Evaluation haben um valide Ergebnisse zu erzielen.
  • Gibt es Unterschiede beim Remote-Testing bezogen auf die AR, MR oder VR?
  • Wie können zusätzliche Fragebögen in die Evaluationen integriert werden um zusätzliche Nutzerinformationen zu erhalten?
  • Wie können zusätzlich aufgezeichnete Interaktionsdaten ausgewertet werden, um weitere Hinweise auf Probleme mit der Nutzerschnittstelle der virtuellen Prototypen zu erhalten? Hier gibt es Überschneidungen zu unserem nächsten Forschungsbereich KI-basierte Interaktions- und Schnittstellenauswertung.
Interface der KI basierten Interaktionsauswertung am Beispiel eines Benutzertests für eine Kaffeemaschine.
Interface der KI basierten Interaktionsauswertung am Beispiel eines Benutzertests für eine Kaffeemaschine.

KI-basierte Interaktions- und Schnittstellenauswertung (Prof. Harms)

Künstliche Intelligenz (KI) ist aktuell ein Top-Thema in vielen Bereichen. In der Evaluation von Nutzerschnittstellen spielt sie schon länger eine große Rolle. So lassen sich z.B. Webseiten regelbasiert hinsichtlich bestimmter struktureller Auffälligkeiten untersuchen. Dies bezeichnet man als statische Analyse. Aber auch Nutzungsdaten von Schnittstellen können ausgewertet und hinsichtlich auffälliger Muster untersucht werden. Diese Muster, sogenannte Usability Smells, lassen Rückschlüsse auf Interaktionsprobleme der NutzerInnen zu. Wir treiben mit unserer Forschung in diesem Bereich die Erkennung von Usability Smells voran. Dabei konzentrieren wir uns auf neuere Schnittstellentechnologien, wie AR/MR/VR/XR, sowie auf die Auswertung von Interaktion mit virtuellen Prototypen (siehe vorheriger Abschnitt). Ebenso untersuchen wir Möglichkeiten der statischen Analyse von Nutzerschnittstellen technischer Geräte und Maschinen auf Basis von virtuellen Prototypen. In der Zukunft werden hier auch Algorithmen des Machine Learnings eine Rolle spielen, die in diesem Themengebiet bisher kaum Einsatz finden. Bisherige Ergebnisse unserer Arbeiten in diesem Forschungsfeld sind unter anderem:

Digitaler Verbraucherschutz (Prof. Jakobi)

Digitale Produkte und Dienstleistungen gehören mittlerweile zum Alltag aller Verbraucher und Verbraucherinnen. Die zugrunde liegenden Geschäftsmodelle von Unternehmen basieren dabei häufig auf der Sammlung von Daten über das Nutzerverhalten sowie deren Verwertung, etwa für Werbezwecke. Das ist zunehmend sogar bei kostenpflichtigen Produkten der Fall, die nicht primär werbefinanziert sind. Aufklärende AGB und Datenschutzhinweise sind dabei jedoch schwer verständlich und wenig zugänglich gestaltet. Maßnahmen wie Formulierungen von Zwecken der Datenverarbeitung, oder die Erklärung der Verbraucherrechte können ihre eigentliche Schutzfunktion dadurch nicht voll entfalten. 

Geschäftsmodelle basieren zunehmend auf der Erhebung und Verwertung von Daten der Nutzenden. Verbraucherinnen und Verbraucher müssen vermehrt zwischen Komfort und Schutz ihrer Privatsphäre abwägen, was aufgrund der Menge und Abstraktheit der Daten oft eine Überforderung darstellt. Dies kann dem Individuum neben einer Einschränkung in der Privatheit oder gesellschaftlicher Marginalisierung nicht zuletzt auch wirtschaftlich große Nachteile bringen. Dabei ist eine zunehmende Macht- und Informationsasymmetrie zwischen der Angebotsseite und Konsumierenden zu verzeichnen. 

Datenschutz als (Marken-)Mehrwert im Customer Experience Design (Prof. Jakobi)

Angesichts der zunehmenden Bedeutung der "Datenwirtschaft" ist das Datenschutzrecht ein zentrales rechtliches Element für die Nutzung datengesteuerter Innovationen und wird häufig als Einschränkung für Unternehmen und die Gestaltung von Dienstleistungen angesehen. Im Gegensatz zu dieser traditionellen Sichtweise generiert Jakobi durch UX Design unter Berücksichtigung rechtlicher Rahmenbedingungen Win-Win-Situationen für Kunden und Unternehmen. Vor dem Hintergrund neuer Vorschriften auf der ganzen Welt, demonstriert Jakobis Forschung im Bereich "Usable Privacy" wie UX Design im Datenschutz konzipiert werden kann, um innovative Datenschutzfunktionen für Kunden als Wettbewerbsvorteil in digitale Dienste einzubauen. Aufbauend auf diesen Erkenntnissen argumentiert Jakobi, dass ein gut durchdachter Prozess zum Schutz der Privatsphäre und/oder des Datenschutzes ein Schlüsselelement für das Kundenerlebnismanagement sein sollte. 

https://www.youtube.com/watch?v=7pMZ6QMWhmI

Legal Tech – Recht zugänglich, verständlich und effektiv gestalten (Prof. Jakobi)

Usable Privacy arbeitet oft an der Schnittstelle von Regulierung und sucht nach brauchbaren Lösungen für normative Bestimmungen wie beispielsweise denen des Datenschutzes. Die Rechtsvorschriften selbst oder die rechtlichen Standards für ihre Umsetzung bleiben jedoch im Designprozess in der Regel nicht hinterfragt. Auf diese Weise bleibt die das Feld der Mensch-Computer-Interaktion(MCI) hinter ihrem Potenzial zurück, Erkenntnisse über menschliche Erwartungen, Einstellungen und Verhaltensweisen in der realen Welt in die Regulierung einfließen zu lassen, um das Recht effektiver zu gestalten. Zur Zeit existieren vielfältige Impulse, die auch aus den Rechtswissenschaften selbst kommen, und die eine stärkere Zusammenarbeit von MCI und Rechtswissenschaften motivieren. Zum Beispiel im Bereich der Datenschutzgesetzgebung. Hier zeigt Jakobis Forschung, wie die Anforderung der GDPR an die "Effektivität" von technischen und organisatorischen Schutzmaßnahmen die Tür für eine intensivere Zusammenarbeit mit der HCI öffnet. Diese liegen auch darüber hinaus in der Adressierung abstrakter regulatorischer Anforderungen in Form von Konzepten wie "Transparenz" und "Fairness" in Bereiche des Verbraucherschutzes allgemein. 

Abgeschlossene Forschungsprojekte

Das Auto als Kommunikationsplattform der Zukunft (Prof. von Hoffmann)

In Kooperation mit

Prof. Markus Kaiser  (Technische Hochschule Nürnberg, Fakultät Angewandte Mathematik, Physik und Allgemeinwissenschaften)

Dieses Projekt wurde am Leonardozentrum für Kreativität und Innovation durchgeführt. Aktuelle Entwicklungen wie Elektroantrieb und autonomes Fahren werfen Fragen auf, wie zukünftig die Kommunikation zwischen Mensch, Fahrzeug und Umgebung aussehen wird. Ziel des Projekts ist es, neuartige Konzepte in anschaulicher und greifbarer Prototypenform zu entwickeln und zu erproben. Ergebnis des Projektes ist eine Fahrzeugholzsitzkiste mit VR-Umgebung zur virtuellen UX-Evaluation, die nun auch für weitere Projekte zur Verfügung steht.

https://youtu.be/2-GN1feCWYE

HEATED Holistic Engineering Approach: Free Tool for Energy-System-Dimensioning (Prof. Harms)

Mitarbeitende:
Katharina Kolb, Ohm-UX

In Kooperation mit dem Kompetenzzentrum Energietechnik:
Prof. Opferkuch, Leitung 
Maximilian Falk

Wer sich überlegt eine regenerative Energieanlage in das Eigenheim einzubauen, muss auch wissen, welche Anlagentypen in Frage kommen, wie groß eine Anlage sein muss, wie viel sie kostet und wie viel sie einspart. Mithilfe von HEATED wollen wir den Prototyp einer Webseite aufbauen, der fachlich fundierte Antworten auf diese essentiellen Fragen rund um das Thema erneuerbare Energien im Eigenheim gibt. Wir wollen den Nutzern die Möglichkeit geben sich kostenfrei und schnell in die wesentlichen Kernpunkte einzulesen und gleichzeitig eine erste bedarfsorientierte Auslegung zu tätigen, um damit unterschiedliche Anlagentypen hinsichtlich Kosten, Ersparnis und Autarkiegrad zu vergleichen.

Eine zentrale Herausforderung bei erneuerbaren Energien im Eigenheim stellt die Auslegung einer Anlage dar. Grund hierfür sind vor allem die Volatilität (zeitliche Schwankung) der Energieerzeugung und die hohen spezifischen Kosten der verfügbaren Speichertechnologien. Hinzu kommt eine größere Auswahl an Anlagentypen, wie z.B. Photovoltaik, Photothermie oder Wärmepumpen. Während Energieanlagen für fossile Energieträger wie Öl und Gas primär nach Spitzenlastanforderungen des Verbrauchers ausgelegt werden, fließen bei der Dimensionierung von Energieanlagen für regenerative Energien deutlich mehr zeitabhängige Faktoren, wie Beispielsweise das Wetter, in die Berechnung mit ein. Wer kein entsprechendes Fachknowhow besitzt, ist hier rasch überfordert und sucht womöglich Hilfe von außerhalb.

Die Beauftragung einer entsprechenden Fachkraft kann allerdings schnell kostenintensiv werden, vor allem, wenn die eigenen Wünsche noch nicht feststehen. Eine Recherche im Internet ist da zwar günstiger, aber auch anfällig für Halbwahrheiten und Fehlinformationen.

Im Gegensatz zu den meisten verfügbaren Webseiten die sich mit der Thematik befassen, wollen wir mit HEATED wissenschaftlich fundiert, nachvollziehbar und transparent arbeiten. Unsere Vision ist es, dass alle Nutzis der Webseite eine profunde Wissensgrundlage für Gespräche und Entscheidungen zusammen mit Fachplanern besitzen. Wir möchten zudem die Fachplaner von unseren Tools überzeugen, sodass mit den Kunden nicht nur auf ähnlicher Wissensgrundlage, sondern auch auf Basis gleicher Datengrundlage argumentiert werden kann. Mit HEATED beschleunigen wir den Findungsprozess, geben Verbrauchies die Möglichkeit sich vor potenziellem Betrug besser zu schützen und schaffen Sicherheit bei anstehenden Entscheidungen.

Heated Prototyp Dachausrichtung angeben
HEATED-Prototyp, Screen Dachausrichtung angeben

EMO-KI: Interaktions- und KI-basierte Emotionserkennung zur Bewertung der User Experience (Prof. Harms)

Mitarbeitende im Ohm-UX

Dominik Leppich
Carina Bieber
Marharyta Choloy
Ramona Pieger
Tomaz Kowalik

 

User Experience (UX) ist eine der wichtigsten Eigenschaften von Nutzerschnittstellen wie Webseiten oder Apps. Um sicherzustellen, dass Nutzerschnittstellen eine gute UX haben, müssen u.a. die Emotionen gemessen werden, die durch sie hervorgerufen werden. Nur so können Probleme identifiziert und gelöst werden. Doch das Messen von Emotionen der Nutzis ist aktuell nur personenbezogen im Labor mit wenigen Teilnehmenden unter Verwendung entsprechender Hardware, z.B. Armbändern, möglich. Des Weiteren werden die Probanden dabei aufgezeichnet, wobei die Aufzeichnungen einen Eingriff in die Privatheit der Nutzis darstellen, da sie nicht anonym erfolgen können und nutzerspezifisch ausgewertet werden müssen. Daher erarbeiten wir in diesem Projekt, inwiefern Emotionen, Stimmung und Arousal von Nutzis eines technischen Systems ohne zusätzliche Hardware, ohne Kameraaufzeichnungen und ohne eine explizite Befragung ermittelt werden können. Diese Analysen sollen dabei helfen auf negative Nutzererfahrungen direkt während der Interaktion reagieren zu können oder nachträglich die Nutzerschnittstelle zu verbessern. Dafür soll nach einem Zusammenhang zwischen technisch erhebbarem Nutzerverhalten und den tatsächlichen Emotionen, Stimmungen und Arousal der Nutzis gesucht werden. Um das Nutzerverhalten zu erheben, können grundlegendste Geräte- und Eingabedaten analysiert werden. Hierzu zählen Daten zur Bedienung von Tastatur, Maus oder Touchoberflächen genauso wie Daten von den in den Endgeräten verbauten Lage- und Beschleunigungssensoren zur Bewegungsmessung sowie Daten über die allgemeine Aufgabenbearbeitung mit einer Nutzerschnittstelle. Alle diese Daten werden heutzutage bereits gelesen und verarbeitet, um die eigentliche Interaktion der Nutzis mit einem System umzusetzen. In diesem Projekt wollen wir nun ermitteln, ob diese Daten weiteren Inhaltsgehalt mit Bezug zu Emotionen, Stimmung und Arousal haben. Darauf aufbauend liegt das Ziel des Projekts in der Erforschung einer Messmethode für Emotionen, welche jederzeit während der Bedienung einer Nutzerschnittstelle und damit außerhalb von Laboren eingesetzt werden kann, die Privatsphäre der Nutzis schützt und direkt zur Verbesserung von Nutzerschnittstellen beiträgt.

Gefördert durch die Staedtler-Stiftung

Preserving Sounds of Rare Musical Instruments (Prof. von Hoffmann)

Dieses Projekt wurde am Leonardozentrum für Kreativität und Innovation durchgeführt.

Wie kann der Klang historischer Musikinstrumente dauerhaft erhalten und über kreatives Soundprocessing weiterentwickelt werden? Am Beispiel eines historischen Tafelklaviers aus dem Jahr 1863 wird ein nachhaltiges System zur Virtualisierung von Instrumenten entwickelt. Durch die Erstellung eines detaillierten Sample-Sets soll differenziert die klangliche Vielfalt und Ausdrucksfähigkeit des Instrumentes erforscht und in Form eines virtuellen Instruments konserviert werden.

Veröffentlichung

Lehrforschung: DRUMACTOR – Auslegung, Aufbau und kreative Anwendung mechatronischer Aktoren für perkussive Instrumente (Prof. von Hoffmann)

Mitarbeiter:
Tom Schmid (Fakultät efi, TH-Nürnberg Georg Simon Ohm)

Anlässlich der  Feierlichkeiten zum Jubiläumsjahr hatte im Sommer 2023 die TH-Nürnberg den Pop-up-Store „Ohm City“ im Augustinerhof eingerichtet. Dieser Pop-up-Store wurde u.a. mit Ergebnissen aus diesem Lehrforschungsprojekt mit der in das Nürnberg Digital Festival 2023 eingebundenen Veranstaltung „Pegnitzwaves“ am 4. Juli 2023 bespielt. Die Veranstaltung war ausverkauft. Studierende und Mitarbeiter der TH-Nürnberg und Hochschule für Musik haben den Abend technisch und musikalisch gestaltet.

Für die „Robopercussion Performance“ wurde mit mechatronischen Komponenten ein Hardwareaufbau umgesetzt, mit dem die einzelnen Bereiche einer sogenannten Handpan durch Schlagroboter (oder Hubmagneten) computergesteuert gespielt werden können. Dabei konnte dankenswerterweise auf Arbeitsergebnissen des Projektes "Beat‘n‘Tech " aufgebaut werden. Unser besonderer Dank gilt Prof. Dr. Alexander Monz und Herrn Fabio May, beide Fakultät Maschinenbau und Versorgungstechnik der TH-Nürnberg, für die großartige Unterstützung beim Aufbau der Schlagroboter. Durch kleinere Modifikationen am ursprünglichen Hardwareaufbau konnten die Betriebsgeräusche, die sich dem eigentlich erzeugten Klang überlagern und bei einer Liveaufführung nachteilig sind, deutlich reduziert werden.
 

Handpan-Spiel: Bachelorarbeit im Rahmen des DRUMACTOR Projekts:
https://www.youtube.com/watch?v=y7P7BwB9aWk

Vorlaufforschung: CGF - Erzeugung affektiver Computer Generierter Filmmusik mittels Sprach-Emotionserkennung (Prof. von Hoffmann)

Mitarbeiter:
Tom Schmid, M. Eng. (Fakultät Elektrotechnik, Feinwerktechnik, Informationstechnik / Ohm-UX)

In Koopertion mit
Garri Steba, M. Eng. (Fakultät Design)

Im Rahmen von diesem Projekt wurden zwei verschiedene Implementierungen von Sprachemotionserkennungsmodellen verglichen. Im Fokus steht dabei die Bewertung ihrer Wirksamkeit bei der Erfassung und Charakterisierung von Dialogen, die von Schauspielern innerhalb einer Filmszene gesprochen werden, um dann geeignete Harmonien zu erzeugen. Das Ziel besteht darin, den Kompositionsprozess von Filmmusiken durch die Erkennung der Emotion in einer bestimmten Szene zu verbessern.

https://opus4.kobv.de/opus4-ohm/frontdoor/index/index/docId/1201?fbclid=IwAR3ybg4AYwGeNqCwefCE7e_w-o4UMhsbdQb4X7Mb-0ndJ5-y97E11gFwDoI

Emotion A.I. – Empathisch personalisierte Interaktion zwischen KI und Autofahrenden (Prof. von Hoffmann, Prof. Hahn, Prof. Zitzmann)

In Kooperation mit

Prof. Markus Kaiser, Technische Hochschule Nürnberg, Fakultät Angewandte Mathematik, Physik und Allgemeinwissenschaften (Technikjournalismus) 

Das Projekt wurde am Leonardozentrum für Kreativität und Innovation durchgeführt und ist Ausgangspunkt für vielfältige Fragestellungen, die am Ohm-UX weiterverfolgt werden.

Im Zentrum der Forschung steht die Frage, wie intelligente Technologie Autofahrende in unterschiedlichen Szenarien und Situationen unterstützen oder begleiten kann. Der Fokus liegt auf dem Erkennen und Interpretieren des Gemütszustandes der Autofahrenden durch eine KI und die optimale Maßnahmenergreifung. Dabei stehen die Warn- und Hinweistöne und deren Einfluss auf Komfort und Sicherheit, auch hinsichtlich der User Experience der Autofahrenden, im Zentrum. Denn eines ist jetzt schon klar: Das Auto der Zukunft geht auf die Bedürfnisse seiner Nutzenden ein und entwickelt sich zum persönlichen Assistenten mit passgenauen Angeboten und Unterstützung für Situationen aller Art.

Veröffentlichung