Direkt zum Inhalt wechseln
Projekt

SCOBES-AR

Smart Cognition and Behavior Screening powered by Augmented Reality

Durch die Zusammenarbeit verschiedener gesundheitswissenschaftlicher und technischer Studiengänge der FH JOANNEUM wurde der multimodale Prototyp eines Screening-Instruments zur Früherkennung neurokognitiver Defizite entwickelt. Mithilfe von Augmented Reality (AR) wird die erlebte Realität um virtuelle Objekte und Aufgaben erweitert. Virtuelle Realität (VR) erlaubt es, immersiv Tätigkeiten des alltäglichen Lebens unabhängig von Zeit und Ort zu durchleben.

Eine Studie mit über 100 Proband:innen lieferte aussagekräftige Resultate. Der ständig präsente User Centered Design Prozess stellte sicher, dass alle Aktivitäten und Entwicklungen aus der Sicht der Zielgruppen betrachtet und auf deren Bedürfnisse ausgelegt wurden. Zielgruppengerechte User Experience wurde gestaltet und mittels Usability Tests evaluiert.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Gesund altern – Utopie oder Zukunftsvision?

Durch verbesserte Lebensbedingungen und Gesundheitsversorgung werden Menschen in Österreich immer älter. Daten der OECD zeigen aber, dass das Älterwerden mit einer im Vergleich zu anderen EU-Mitgliedstaaten niedrigen Lebensqualität verbunden ist. Ein Einflussfaktor ist die individuelle Funktionalität auf körperlicher und kognitiver Ebene. Körperliche Funktionalität ist offensichtlich, der kognitiven Einschränkung geht jedoch eine lange Latenzphase voraus. Die Früherkennung von dementiellen Erkrankungen mittels Screening und entsprechend frühzeitiger Intervention kann zu einem günstigeren Therapieverlauf beitragen. Derzeitige Strategien zielen jedoch primär auf die Stabilisierung neurokognitiver Defizite ab. Maßnahmen zur Früherkennung und Prävention rücken somit in den Fokus.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Früherkennung für mehr Lebensqualität

Risikofaktoren für die Entwicklung funktionaler oder neurokognitiver Einschränkungen sind vielseitig. So spielen beispielsweise kardiovaskuläre, verhaltens- und lebensstilbezogene sowie psychosoziale Faktoren eine Rolle in der Krankheitsentstehung. Defizite, die auf die Entwicklung funktionaler oder neurokognitiver Einschränkungen hinweisen können, sind oft schon in alltäglichen Handlungen erkennbar. Die Abnahme der sensorischen Wahrnehmung, insbesondere die der Riechleistung, das persönliche Ernährungsverhalten, ein verändertes Gangbild, verminderte kardiorespiratorische Fitness und Reaktionsfähigkeit sowie Veränderungen in der Sprachfähigkeit werden in der aktuellen Literatur als solche prädiktiven Faktoren gewertet. Eine Zusammenfassung und anschließende Erhebung dieser Faktoren an asymptomatischen Menschen könnte einen Mehrwert in der Früherkennung bieten.

 

Hauptziel des fünfjährigen Projekts war es daher, ein multimodales Screening-Instrument zur Früherkennung von funktionalen Einschränkungen im höheren Lebensalter (60+) für den ambulanten Versorgungsbereich zu entwickeln. Die Potenziale von Augmented-Reality- und Virtual-Reality-Technologien werden dabei genutzt. Diese Technologien stellen eine innovative Basis zur Entwicklung von Assessmentverfahren dar. Reale Orte und Objekte werden um virtuelle Objekte und Aufgaben erweitert. Immersives Eintauchen in virtuelle Welten macht Tätigkeiten des alltäglichen Lebens unabhängig von Zeit und Ort für Assessments und Trainings verfügbar. Kognitive Funktionalitäten können darauf basierend mit dem Assessment erfasst und ausgewertet werden. Zusätzlich liefern Messungen von verschiedenen Parametern eine automatische Handlungsaufzeichnung und teilautomatisierte Auswertungen detaillierte Resultate. Das Tool kann somit ein umfassendes funktionales Zustandsbild der Getesteten geben.

Von der Idee zum finalen Produkt

Das Screening-Instrument besteht aus einem Tablet-PC, einem Smartphone mit AR-App und Kopfhalterung sowie einem VR-Headset und ist als mobiles Set konzipiert. In allen Entwicklungsschritten wurden sowohl die Angehörigen der Gesundheitsberufe als auch die zu screenenden Personen aktiv eingebunden. Der User Centered Design-Prozess stellte die zukünftigen Nutzer:innen in den Mittelpunkt und garantierte eine gute Usability.

Technisches Know-how & Public-Health-Strategien – eine erfolgsversprechende Kombination

SCOBES-AR stellt ein exzellentes Beispiel interdisziplinärer Zusammenarbeit der medizinisch-technischen Berufe und der Pflege dar, die mittels User Centered Design gemeinsam mit Expert:innen für User Experience und Softwareentwicklung ermöglicht wurde. Das Institut Diätologie der FH JOANNEUM leitet das Projekt und forscht gemeinsam mit den Instituten Logopädie, Ergotherapie, Physiotherapie, Gesundheits- und Krankenpflege, Gesundheits- und Tourismusmanagement, Wirtschaftsinformatik und der Abteilung Forschungsorganisation und -services. Begleitet wird das Projekt durch das Austrian Institute of Technology und Expert:innen von JOANNEUM RESEARCH. Das Projekt wurde aus Mitteln der Österreichischen Forschungsförderungsgesellschaft (FFG) im Programm COIN gefördert.

Photo: © Robert Strohmaier / FH JOANNEUM

Abbildung 1: Konzept von SCOBES-AR

Testverfahren von SCOBES-AR

SCOBES-AR kombiniert mehrere Testverfahren zu einem Screening Instrument. Für jedes Testverfahren wurde die dafür geeignete Modalität – Augmented Reality, Virtual Reality oder herkömmliche Smartphone-Applikationen – verwendet. Das Monitoring Tool wurde als Smartphone-Applikation auf einem Tablet-Computer realisiert. Nachfolgend werden die einzelnen Testverfahren im Detail beschrieben.

 

Erlangen Test of Activities of Daily Living in Persons with Mild Dementia or Mild Cognitive Impairment (ETAM)

Herkömmliches Testverfahren

Der sogenannte ETAM (Erlangen Test of Activities of Daily Living in Persons with Mild Dementia or Mild Cognitive Impairment) erfasst die korrekte Durchführung von komplexen alltagspraktischen Fähigkeiten, die für alleinlebende ältere Menschen von besonderer Relevanz sind.

Die für das Screening-Tool ausgewählten Testverfahren des ETAM kommen aus den Bereichen Mobilität und Umgang mit Finanzen.

Im Zuge der ursprünglichen analogen Testung muss die Testperson Fragen zu sechs Verkehrssituationen beantworten, die auf Fotos abgebildet sind, sowie in einer fiktiven Einkaufssituation Lebensmittel auf Fotos auswählen und das benötigte Münzgeld dafür abzählen.

Adaptiertes Testverfahren

In der digitalisierten Variante des Testverfahrens findet sich die Testperson in einer fotorealistischen Verkehrssituation wieder und muss bei ihrem Weg zur Apotheke entscheiden und begründen, wann, wo und warum sie sich fortbewegt. Die Umsetzung erfolgte als Virtual Reality (VR) Applikation. Dieses Screening benötigt die Oculus Quest 2 VR-Brille.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Ebenfalls in einer rein virtuellen, dreidimensionalen Welt muss die Testperson in einem Supermarkt einige Tätigkeiten ausüben, die beim Einkaufen wichtig sind, wie beispielsweise das Auswählen bestimmter Lebensmittel laut Einkaufsliste, das Erkennen von günstigen Lebensmitteln und das Zählen des Geldes.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Das Testverfahren „ETAM” wird über die VR-Brille Oculus Quest 2 durchgeführt und kann über einen Tablet-Computer in Echtzeit mitverfolgt werden. Auch können Auffälligkeiten annotiert werden. Die Antworten auf Kontrollfragen werden zudem über den Tablet-Computer dokumentiert.

Dual Task Assessment

Herkömmliches Testverfahren

Dual-Task beschreibt die Fähigkeit, zwei Aufgaben gleichzeitig auszuführen. Diese Fähigkeit nimmt im Alter üblicherweise ab. Ein überdurchschnittlich starker Verlust dieser Fähigkeit kann auf kognitive Veränderungen, wie zum Beispiel Demenz, hindeuten.

Das im Projekt SCOBES-AR durchgeführte Dual-Task-Assessment misst den Einfluss einer kognitiven Aufgabe auf das Gangbild, wobei die kognitive Aufgabe aus Rückwärtszählen in dreier Schritten besteht. Die Ganganalyse wird einmal ohne und einmal mit kognitiver Aufgabe durchgeführt, um Unterschiede erkennen zu können. Erhoben werden unter anderem die Gehgeschwindigkeit, die Schrittlänge und die Dauer der Gangphasen. Beeinträchtigte Menschen zeigen eine stärkere Veränderung der Gangparameter, wenn während des Gehens gleichzeitig gerechnet wird.

Die Ergebnisse werden sowohl mit dem freien Auge und einer Stoppuhr als auch mit Sensoren gemessen, die mittels eines Gurtes am Fußrücken befestigt werden.

Adaptiertes Testverfahren

Das Dual Task Assessment findet in der digitalisierten Variante auf derselben Gehstrecke statt, wie das herkömmliche Verfahren. Für die adaptierte Variante dieses Testverfahrens wird ein Smartphone mit der eigens entwickelten App in einer Kopfhalterung montiert. Mittels Augmented Reality (AR) Technologien wird dabei die Gehstrecke automatisch vermessen und örtlich bezogene Anweisungen ausgegeben. Die:der Testleiter:in kann über ein Tablet das Testverfahren starten und überwachen. Auch eine Dokumentation ist über das Tablet möglich. Die Testperson führt das Testverfahren mit der Kopfhalterung durch und alle Parameter werden automatisch über das Smartphone erhoben.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Die Daten des Dual-Task-Assessments werden automatisiert erfasst und gespeichert. Über einen Tablet-Computer können zusätzliche Informationen während des Testverfahrens ergänzt werden.

Trail Making Test

Herkömmliches Testverfahren

Der Trail Making Test besteht aus zwei Teilen. Im ersten Teil müssen die Zahlen von 1 bis 25, die scheinbar zufällig verteilt sind, so schnell wie möglich in aufsteigender Reihenfolge verbunden werden. Im zweiten Teil müssen Zahlen und Buchstaben abwechselnd in aufsteigender bzw. alphabetischer Reihenfolge verbunden werden. Dieses Testverfahren wird üblicherweise mit Stift und Papier oder auf einem Computer durchgeführt.

Um dieses Testverfahren erfolgreich zu bearbeiten, sind mehrere kognitive Prozesse notwendig, wie beispielsweise die visuelle Aufmerksamkeit, die Verarbeitungsgeschwindigkeit, die kognitive Flexibilität und die allgemeine kognitive Fähigkeit. Das Testverfahren kann für die Untersuchung diverser neurologischer Erkrankungen herangezogen werden, so auch bei Demenz.

Adaptiertes Testverfahren

Beim digitalisierten Trail Making Test müssen mit Zahlen und Buchstaben beschriftete Kugeln in der richtigen Reihenfolge ausgewählt werden. Die Anwendung läuft als Augmented Reality (AR) Applikation auf einem Smartphone. Das Smartphone wird in eine Kopfhalterung geschoben, damit die Testpersonen die Kugeln dreidimensional im realen Raum wahrnehmen können. Um Kugeln auszuwählen, bewegen die Testpersonen ein Fadenkreuz durch Drehen und Neigen ihres Kopfes über die Kugel, die ausgewählt werden soll. Überlappen beide, muss ein Knopf mit der Hand gedrückt werden.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Der Trail-Making-Test in der augmentierten Umgebung erfordert neben einem Smartphone mit entsprechender App auch eine gut sitzende Kopfhalterung sowie einen Flic-Button.

 

Reaktionstest

Herkömmliches Testverfahren

Der Talent Diagnose System-Reaktionstest ermittelt die Auge-Hand- und Auge-Bein Reaktion sowie die komplexe Reaktionsfähigkeit. Erhoben wird die benötigte Zeit für die Absolvierung des Testverfahrens.

Das Testsystem ist auf einem Tisch aufgebaut. Auf dem Tisch befinden sich Kontaktplatten für die rechte und linke Hand und unter dem Tisch befindet sich die Bodenkontaktplatte für den rechten und linken Fuß. Ebenfalls auf dem Tisch steht ein Laptop, der über den Bildschirm optische Signale anzeigt. Es können auch mehr als ein Signal gleichzeitig angezeigt werden. Die Testperson steht vor dem Tisch und muss nun mit Hand und/oder Fuß die dazugehörigen Kontaktplatten berühren. Dann wird ein neues optisches Bewegungssignal auf dem Computerbildschirm angezeigt. Der Kontakt der Hände und Füße mit der Bodenkontaktplatte muss nach jedem Signal wieder gelöst werden.

Adaptiertes Testverfahren

Der Reaktionstest findet in der adaptierten Version am Smartphone statt, auf dessen Bildschirm weiße und schwarze Flächen aufleuchten. Je nach Frage und Position müssen einer oder mehrere Flic Buttons gedrückt werden. Dieses Setting hat den Vorteil, deutlich handlicher und niederschwelliger zu sein.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

Der adaptierte Reaktionstest benötigt ein Smartphone in einer Halterung und der entsprechenden App sowie vier Flic-Buttons mit Abdeckkappen.

Steuerung, Monitoring und Annotation

Zur Steuerung, Monitoring und Annotation der einzelnen Testmethoden wurde eine maßgeschneiderte mobile Applikation für Tablet Computer entwickelt. Aktivitäten der Proband:innen werden in Echtzeit visualisiert. Testleiter:innen sind damit in der Lage, den Fortschritt aus der Sicht der ProbandInnen zu begutachten. Besonders bei den VR- und AR-Testverfahren, offenbart dies wertvolle Einblicke. Durch die Augen der Proband:innen können hierbei die virtuellen Szenen betrachtet werden. Zudem können deren Handlungen mit virtuellen Objekten nachvollzogen werden.

Mit dem Laden des Videos stimmen Sie der Datenschutzerklärung von YouTube zu.

This site is registered on wpml.org as a development site. Switch to a production site key to remove this banner.