2021-04 E-BRAiN Newsletter - „Natürliche“ Sprachsynthese für den humanoiden Roboter

Sehr geehrte Damen und Herren,


mit diesem Newsletter, wollen wir Sie über einige der aktuellen Forschungsarbeiten am Institut für Visual and Analytic Computing (VAC) (Leitung Prof. Thomas Kirste) im Bereich Informatik der Universität Rostock informieren.

Im Rahmen des Projektes E-BRAiN soll ein mobiler Roboter mit der Fähigkeit ausgestattet werden, die Übungen im Rahmen einer neurorehabilitativen Therapie selbstständig zu bewerten und dem Patienten automatisch Hilfestellungen zu geben. Nachdem im zweiten Newsletter in 2020 auf die Bewegungsmessung eingegangen wurde, thematisiert dieser Newsletter die Sprachsynthese, um eine Patient-Roboter Kommunikation zu ermöglichen. Eine Illustration einer solchen Kommunikation zwischen dem Roboter „Pepper“ und einem Patienten ist in Abbildung 1 zu sehen.
 

Abbildung 1: Illustration der Patient-Roboter Interaktion

Während einer Therapiesitzung muss der Patient eine Reihe von Übungen absolvieren. Vor jeder Übung erklärt der Roboter dem Patienten, wie er diese Übungen ausführen soll. Auch während der Übung gibt der Roboter Feedback und Hilfestellungen. Um optimales Feedback geben zu können, müssen die Aussagen des Roboters auf den aktuellen Kontext und den Patienten angepasst sein. Hierfür nutzen wir demografische Informationen (Name, Alter, ...), medizinische Informationen (betroffene Seite, Schwere der Lähmung, …), kognitive und kommunikative Fähigkeiten (Verständnis der Sprache, etc.) und die Performance des Patienten während einer Übung. 


Um dies zu ermöglichen, haben wir einen Zustandsautomaten („Moore“-Automat) erstellt, der durch die einzelnen Schritte einer Therapie führt. Basierend auf diesen Zuständen werden Texte ausgegeben. Diese Texte wurden zuvor in einem Manual festgelegt. Die Texte werden in jedem Zustand mithilfe des Tools „RosaeNLG“ generiert. Um die Natürlichkeit der Texte zu erhöhen, nutzen wir linguistische Referenzen. Was ist damit gemeint? Bei unserer „natürlichen“ Sprache nutzen wir nicht immer wieder die gleichen Ausdrücke, sondern machen solche „Referenzen“. Zum Beispiel sprechen wir in einem ersten Satz von der „Neglect-Therapie“ und sagen dann im nächsten Satz nur noch von „diese“ (als Referenz). Auch die Kommunikation des Roboters soll möglichst „natürlich“ wirken, also nutzen wir auch bei der technisch implementierten Kommunikation solche Referenzen. Diese können sich auf Objekte des aktuellen Zustandes, als auch auf Objekte aus vorherigen Zuständen beziehen. Da RosaeNLG zuvor nur auf Objekte innerhalb eines Zustandes referenzieren konnte, haben wir das Tool so erweitert, dass auch Objekte aus vorherigen Zuständen referenziert werden können. Diese Referenzen sind allerdings nur innerhalb einer bestimmten Zustandsmenge und einer bestimmten Zeit möglich. Die Zustandsmenge, in der Referenzen möglich sind, nennen wir Sektionen („section“). Der zeitliche Raum wird „temporal scope of referring expression“ genannt. Die Abbildung 2 zeigt dieses Konzept.

Abbildung 2: Ein kleiner Ausschnitt unseres Zustandsautomaten

Zudem haben wir Sprachniveaus eingeführt, mit denen Menschen mit eingeschränktem Sprachverständnis geholfen werden soll. Angepasst an diese kommunikativen Fähigkeiten des Patienten weisen die generierten Texte unterschiedliche Komplexitäten auf. Aktuell nutzen wir zwei Sprachniveaus. Zum einen eine „elaborierte Sprache“ und zum anderen eine „leichte Sprache“. 


Da Texte im medizinischen Umfeld korrekt und fehlerfrei sein müssen, haben wir unser Tool RosaeNLG und unseren Zustandsautomaten erweitert, sodass diese alle möglichen Texte eines Dialoges ausgeben können. Alle Texte und weitere Ausgaben eines Zustandes werden dafür in eine PDF-Datei geschrieben, in der jede Seite einen einzelnen Zustand darstellt. Mithilfe dessen ist es möglich, dass Experten diese Dialoge auf ihre Korrektheit überprüfen können.

Die Umsetzung der Sprachsynthese wurde außerdem in einem Paper beschrieben und bei einem Workshop im Rahmen der NAACL 2021 eingereicht.

Ein Forschungsverbund der Universität und Universitätsmedizin Greifswald, Universität Rostock und Hochschule Neubrandenburg

Verbund-Koordinator

Prof. Dr. med. Thomas Platz
Universitätsmedizin Greifswald
AG Neurorehabilitation - E-BRAiN
Fleischmannstraße 44
17475 Greifswald

Ansprechpartnerin

Stefanie Tobschall
Mitarbeiterin Projektmanagement
Telefon: 03834 86-6966
Fax: 03834 86-6902

Impressum | Datenschutz | Newsletter abmelden
ebrain-science.de