HMI für die Zukunft : Kontaktlose Bedienung: Technologien und Einsatzmöglichkeiten

Das Auslösen von Aktionen ohne Berührung ist etwas, was man sich im Alltag manchmal wünscht: Den Kofferraum des Autos mit vollen Händen öffnen, einen Anruf entgegennehmen, während man den Abwasch erledigt, oder einfach nur die wenig appetitliche Türklinke auf der öffentlichen Toilette drücken.

Die Situation "keine freien Hände" gibt es auch im professionellen Bereich. Vielleicht stecken Ihre Hände in Schutzhandschuhen, weil Sie mit gefährlichen Substanzen hantieren, oder Sie dürfen aus hygienischen und gesundheitlichen Gründen nichts mit den Händen anfassen. Dafür gibt es entsprechende Vorschriften: In der Lebensmittelindustrie müssen Handschuhe viel getragen werden. Im medizinischen Bereich, wo Sterilität gefordert ist, darf nichts Unsteriles angefasst werden, ohne anschließend die Handschuhe zu wechseln.

Auch die Corona-Situation lenkte das Interesse auf die Bedienung von Geräten, die keinen direkten Körperkontakt erfordern. Laut einer Studie von UltraLeap, einem Hersteller von berührungslosen Interfaces, ist die Akzeptanz von Touchscreens zurückgegangen. Im Folgenden analysieren wir jene Technologien, die an der Spitze der Interaktion ohne direkten Kontakt zwischen Bediener und Gerät stehen. Eine gewisse Komplexität vorausgesetzt (also nicht die des Näherungssensors eines Seifenspenders), gibt es hierfür verschiedene Möglichkeiten, wobei wir uns nur jene vornehmen, die für den industriellen Bereich relevant und bereits marktreif sind.

Die Technik von Infrarot-Touchscreens ist bekannt: Ein Vorhang aus Infrarotlicht wird durch ein in den Strahlengang eingebrachtes Objekt unterbrochen; diese Unterbrechung wird ausgewertet und als Berührungsereignis an die Steuerung zurückgegeben. Dabei muss sich der Touchscreen nicht direkt über dem Bildschirm befinden, sondern kann auch in einiger Entfernung montiert werden. Dies ist besonders bei vandalismusgefährdeten Geräten, wie zB Automaten und Geldautomaten, von Vorteil, da der Bildschirm durch eine starke Glasscheibe vor mechanischen Einwirkungen geschützt werden kann. Bei Anwendungen, die eine optimale optische Wiedergabe erwarten, wie in der medizinischen Bildgebung oder der Druckvorstufe, kann die Glasscheibe weggelassen werden. Der Infrarot-Touchscreen funktioniert prinzipiell auch ohne ein darunter liegendes Display, so dass er auch vor einer bedruckten Platte montiert werden könnte. Seine gutartige EMV macht ihn zu einem robusten Eingabemedium.

Der Nachteil ist die Parallaxe, die durch den Abstand zwischen Sensor- und Bildebene entsteht; Standard-Infrarot-Touchscreens unterstützen keine MultiTouch-Bedienung und Gestenerkennung. Sie müssen mit IR-Filtern vor Fremdlicht geschützt werden und sind leicht zu sabotieren, etwa mit einem Kaugummi. Abhilfe schafft die neue Generation von Infrarot-Touchscreens, die statt der Unterbrechung eines Lichtgitters die Reflexion eines im Strahlengang befindlichen Objekts auswertet.

Durch geschickte Anordnung von Sende- und Fotodioden können gleichzeitig zwei Berührungsereignisse und Gesten im Lichtfeld erkannt werden. Das Reflexionsprinzip erlaubt die Montage auf nur einer Seite des Gehäuses, was für die Integration sehr vorteilhaft ist. Ein intelligenter Abtastalgorithmus verhindert einfache Sabotage wie oben beschrieben. Eine hohe Abtastfrequenz von 200Hz sorgt für eine verzögerungsfreie Erkennung. Die optimierte Optik mit engem Lichtaustritt sorgt für eine hohe Fremdlichtresistenz. Der weite Temperaturbereich von -40°C bis +80°C garantiert den Einsatz in allen Applikationen. Beispiele sind Industrieanlagen, Landmaschinen und Sonderfahrzeuge, medizinische Großgeräte und Lifestyle-Anwendungen wie moderne Küchen- und Wohnmöbel.

Basierend auf dem Prinzip des Infrarot-Touchscreens ist der Flying Touch sehr ähnlich. Der Unterschied besteht darin, dass der Infrarotsensor wie ein Vorhang mit einem Abstand zur Oberfläche montiert ist. Das Touch-Ereignis wird immer dann erkannt, wenn ein Objekt den Lichtweg kreuzt. Es ist nicht notwendig, die darunter liegende Oberfläche zu berühren. Es liegt im Ermessen des Benutzers, die Fingerbewegung zu stoppen, bevor er die Oberfläche vollständig berührt. Die Funktionalität ist die gleiche wie beim Infrarot-Touchscreen.

Der Infrarot-Touchscreen der neuen Generation spielt eine wichtige Rolle bei der berührungslosen Bedienung. Das System besteht aus zwei Teilen: dem Touchscreen, der Touch-Ereignisse und Gesten mit einem unsichtbaren IR-Vorhang erkennt, und einem Bild, das holografisch in die Luft projiziert wird. Im physikalischen Sinne handelt es sich bei der Darstellung des virtuellen Bildes nicht um ein Hologramm, da hier weder monochromatisches, kohärentes Licht verwendet wird, noch sich das Bild in Abhängigkeit vom Betrachtungswinkel darstellt. Vielmehr wird hier eine besondere Materialeigenschaft genutzt, die die diffus austretenden Lichtstrahlen am Ort des virtuellen Bildes konvergent bündelt und so den Eindruck einer frei schwebenden Darstellung erzeugt. Hierfür wird der Begriff "Holografie" verwendet.

Das holografische Bild erscheint frei in der Luft stehend. Dies wird durch eine optische Platte verursacht, die das von der Quelle erzeugte Bild ablenkt und nach den Gesetzen der Optik projiziert. Ähnlich wie bei einem Head-up-Display im Auto sieht der Fahrer durch die Windschutzscheibe ein Bild, das ihm in Augmented Reality zusätzliche Informationen wie Geschwindigkeit, Verkehrsschilder und Navigationsanweisungen anzeigt. Die Aufmerksamkeit des Fahrers bleibt dabei nach vorne auf die Straße und das virtuelle Bild gerichtet. Die abgesetzte Anzeige entlastet die Augen des Fahrers, die sich nicht zwischen nah - dem Blick auf die Instrumententafel - und fern - dem Blick auf die Straße - akkomodieren müssen. Das Bild selbst wird von einem Display oder Projektor im Fußraum erzeugt und durch eine Linseneinheit auf die Windschutzscheibe projiziert, die in diesem Bereich eine teilreflektierende Beschichtung aufweist.Bei dem vorliegenden System sieht der Aufbau sehr ähnlich aus. Die 3D-Platte erzeugt ein virtuelles Bild, das sich "greifbar" in der Nähe des Benutzers befindet. Das virtuelle Bild wird an dem Punkt erzeugt, der den gleichen Abstand zum Spiegel hat wie das Display selbst.Montiert man nun anstelle der Bildebene einen Infrarotsensor, der die Bildfläche überblickt, kann man Berührungsereignisse und Gesten, die "in der Luft" gezeichnet werden, erkennen und auswerten, ohne irgendwelche Teile berühren zu müssen. Da es eine feste Winkelbeziehung zwischen dem Display, der Projektionsplatte und dem Endbild gibt, bestimmt die Installationsgeometrie des Displays und der Projektionsplatte die Ausrichtung des virtuellen Bildes.

Der HY-gienische Touchscreen basiert auf der Tatsache, dass UV-C-Strahlung eine abtötende Wirkung gegen Keime und Viren hat. Das ist ein Pro und ein Contra: UV-C-Strahlung tötet zwar unerwünschte Kulturen ab, ist aber auch schädlich für Organismen. Eine Bestrahlung des menschlichen Körpers oder von Körperteilen ist in jedem Fall zu vermeiden. Da sie unsichtbar ist, muss äußerste Vorsicht walten. Die Wirksamkeit hängt von der Dosis ab, die sich aus der Intensität multipliziert mit der Belichtungszeit ergibt. Wenn eine Oberfläche eines Touchscreens für jeden Benutzer hygienisch sauber bleiben soll, muss sie gereinigt werden, bevor sich der nächste Benutzer dem Terminal nähert. Da die Einwirkungszeit erheblich ist, ist ein Dauerbetrieb nur schwer zu realisieren. Außerdem sollte für einen Dauerbetrieb kein Verbrauchsmaterial verwendet werden, und die Technologie sollte viele Berührungen ohne Abnutzung überstehen können.

Die Idee, die hinter der vorgeschlagenen Lösung steckt, ist ein abwechselnder Betrieb und eine desinfizierende Belichtung, und keine Unterbrechung während des Betriebs. Für eine "verschleißfreie" Lösung ist es wünschenswert, einen Kontakt zwischen Bediener und Oberfläche für die Funktion selbst zu vermeiden. Diese Anforderung kann durch die Implementierung eines IR-Touchscreens für die Touchfunktion gelöst werden. Dieser sollte in einem Abstand zum Deckglas montiert werden, so dass es nicht berührt werden muss. Falls es dennoch passiert, muss das Deckglas desinfiziert werden. Die Anforderung, dass das Terminal jederzeit verfügbar sein und vor dem nächsten Benutzer gereinigt werden muss, kann durch ein Deckglas gelöst werden, das nach jedem Benutzer in eine Reinigungsstation gefahren wird. Wenn das Deckglas die doppelte Größe des benötigten Sichtbereichs bietet, kann ein Teil verdeckt und desinfiziert werden, während der Benutzer den sichtbaren Teil bedient.

Das Deckglas ist bei dieser Lösung doppelt so groß wie der aktive Anzeigebereich. Während also ein Teil für die Bedienung zugänglich ist, ist der zweite Teil verdeckt und wird im UV-Bereich dekontaminiert. Da der IR-Sensor in einer Ebene vor dem Deckglas montiert ist, ist kein physischer Kontakt zwischen dem Bediener und dem Deckglas erforderlich. Nachdem der Bediener den Vorgang beendet hat, wird der offene, potenziell kontaminierte Teil des Deckglases in den UV-Bereich auf der gegenüberliegenden Seite gebracht. Eine klinische Studie ist im Gange. Die Technologie wurde zum Patent angemeldet.

Es gibt ein breites Spektrum an Anwendungen. Zielmärkte sind öffentliche Terminals wie Verkaufsautomaten, Point of Sales, Geldautomaten, Check-In/Check-Out-Terminals in Hotels und Flughäfen oder Mensch-Maschine-Schnittstellen in Gesundheitssystemen.

Im Gegensatz zur qualitativen Steuerung eines CAD-Systems ist bei der Steuerung eines HMIs über Gesten nur eine qualitative Steuerung möglich. Dazu werden keine absoluten Koordinaten benötigt, sondern relative Positionen.

Mit der Steuerung kann das Gerät bei Annäherung aus dem Standby-Modus aufgeweckt werden, und es können quasi-analoge Einstellungen wie die Lautstärke mit einer Drehbewegung vorgenommen werden. Horizontales Wischen wird als Scroll-Bewegung interpretiert, und die statische Position kann auch zeitgesteuerte Ereignisse auslösen, wie sie auch von Touchscreens mit Touch bekannt sind: "Hover" zeigt weitere Informationen an oder löst ein Ereignis aus, zB rechte Maustaste.

Zwischen zwei Elektroden eines Kondensators wird ein Feld aufgespannt. Im Fall des 3D-Touch ist dieser so ausgerichtet, dass er nach außen (zum Bediener/Betrachter hin) herausragt. Bei der Kalibrierung wird die Kapazität dieses Kondensators als Referenz gemessen. Jedes Objekt, das in das Feld eintritt, beeinflusst die Feldlinien und damit die Kapazität zwischen den beiden Elektroden. Das Messverfahren wertet die Änderung aus und rechnet sie in einen Abstand des Objekts sowohl von jeder der beiden Elektroden als auch von beiden zusammen um. Die erste Auswertung ergibt eine Position zwischen den beiden Elektroden, die zweite weist in die dritte Dimension. Ordnet man ein zweites Elektrodenpaar orthogonal zur ersten an, so lässt sich auf die gleiche Weise die Position in der anderen Achse ermitteln.

So elegant und einfach die beschriebene Methode in der Theorie klingt, so komplex ist die Umsetzung in der Praxis. Die gemessenen Feldstärken variieren in Abhängigkeit von äußeren Einflüssen, sei es Temperatur, Luftfeuchtigkeit oder mechanische Toleranzen innerhalb einer Reihe von Geräten. Der Touch-Controller nutzt Methoden der künstlichen Intelligenz, um durch Auswertung der Messwerte auf das ursprüngliche Signal zu schließen. Demnach funktioniert die Erkennung von Gesten ganz ähnlich wie Sprache und Handschrift. Der hohe Integrationsgrad des ICs macht es für den Anwender einfach zu bedienen, da er sich nicht mit dem theoretischen Hintergrund auseinandersetzen muss.

Die 3D-Touch-Technologie kann überall dort eingesetzt werden, wo Gesten vor dem Touchscreen erkannt werden sollen und die Auflösung und Genauigkeit keine Rolle spielt. In vielen Anwendungen wird der 3D-Touchscreen durch einen darunter liegenden zweidimensionalen unterstützt, der die Position in der x/y-Ebene bestimmt. Der große Vorteil der Technologie ist, dass Gesten "blind" ausgeführt werden können, ohne auf den Touchscreen zu schauen. In Situationen wie im Kraftfahrzeug trägt dies zur Verkehrssicherheit bei. Mit einer Wischgeste kann der nächste CD-Titel oder Radiosender ausgewählt werden, eine kreisförmige Bewegung regelt die Lautstärke. Die Rückmeldung erfolgt über das Ohr des Bedieners, nicht über das Auge.Neben Consumer-Produkten wie Notebooks und Audio (z. B. Bluetooth-Kopfhörer) spielt auch das Smart Home eine Rolle. Bei weißer Ware, Klima- und Jalousiesteuerungen oder Lichtschaltern kann die dritte Dimension genutzt werden, um Funktionen zu aktivieren. Statt mit dem Finger genau auf das Sensorfeld zu zielen, genügt die grobe Bewegung einer Hand vor dem Sensor, um die "Default"-Funktion auszulösen, die z. B. beim Verlassen des Raumes alle Lampen ausschaltet.In der Medizintechnik kann die 3D-Technik die Bedienung medizinischer Geräte erleichtern, weil Aktionen berührungslos ausgeführt werden können und der Bediener steril bleibt. Als Beispiel sei eine OP-Leuchte genannt, bei der Position, Helligkeit und Lichtfarbe ohne Berührung eingestellt werden können.Die 3D-Touch-Technologie kann auch ohne ein Display verwendet werden. Das Feld ist stark genug, um Tischplatten aus Holz oder Küchenarbeitsplatten zu durchdringen, was interessante Anwendungsfelder eröffnet.

Gerade dort, wo keine Hand frei oder sauber genug ist, um ein Bedienelement zu bedienen, oder wo die Augen nicht vom gerade betrachteten Objekt abgewandt werden können, wie bei einer Operation oder dem Arbeiten unter einem Mikroskop oder einer Lupe, spielt die sprachbasierte Steuerung ihre Vorteile aus. Nicht zu unterschätzen ist die Möglichkeit, Befehle und Parameter gleichzeitig mit einem einzigen Satz einzugeben, anstatt sich durch das Menü im GUI zu hangeln, um Funktionen und Werte einzeln einzustellen. Alle Befehle und Einstellungen, die in einem herkömmlichen GUI zu finden sind, können gleichzeitig von der „Hauptebene“ aus aktiviert werden. Dies geht mit einer deutlichen Effizienzsteigerung einher.

Grundsätzlich wird zwischen Online- und Offline-Sprachsteuerung unterschieden. Geräte, die tendenziell online mit anderen vernetzt sind, wie Unterhaltungselektronik, Hausautomation und Mediensteuerung, können durch die Vernetzung andere Geräte steuern. Andere Geräte, die autark sind, nutzen die Vorteile des Offline-Betriebs: Auch in Gebieten ohne Netzabdeckung ist die Funktion gewährleistet, die Daten sind durch den Privacy-by-Design-Ansatz sicher und die feste Installation garantiert eine lange Verfügbarkeit unabhängig vom Internet-Provider.

Auch für Investitionsgüter in der Industrie wird die Sprachsteuerung interessant, da sie weitere Bedienvarianten und erhöhte Flexibilität ermöglicht. Durch die lange Lebensdauer einer Maschine und das erhöhte Sicherheitsbedürfnis in der Produktion hat der potenzielle Anwender weitere Anforderungen: Die Lösung für die Spracheingabe muss über einen langen Zeitraum zur Verfügung stehen und bei Bedarf erweiterbar sein. Das Aktivierungswort, auch „Wake Word“ genannt, muss frei wählbar sein. Es müssen viele internationale Sprachen verfügbar sein, von denen eine bei der Installation oder Wartung ausgewählt wird.

Die Sprachsteuerung beschleunigt komplexe Bedienaufgaben, indem sie Befehle und Parameter in einem Schritt kombiniert. Die Unterstützung kann kontextbezogen sein, was besonders bei Augmented Reality wichtig ist. Die Datenabfrage in Expertensystemen wird vereinfacht, digitale Assistenten und Kollaborationswerkzeuge optimieren die Arbeitsabläufe.

Ein Aspekt ist auch die prozessbegleitende Protokollierung. Bestimmte Routineaufgaben können ohne die Hand eines Bedieners durchgeführt werden, und die Maschine kann die Vollständigkeit des Protokolls automatisch überprüfen. Dies spielt eine besondere Rolle bei der qualitätssichernden Dokumentation während der Wartung von Maschinen oder der Inspektion von Flugzeugen. Die Befunde können direkt in das System eingegeben werden, das die Daten direkt an die richtige Stelle im Protokoll einträgt, unabhängig von der Reihenfolge.

Mit Hilfe einer webbasierten Entwicklungsumgebung sind nur wenige Schritte notwendig, um ein System für die eigene Anwendung zu definieren. Der Sprachdialog, d. h. das Aktivierungswort, mit dem die Aufmerksamkeit des Systems auf Eingaben hergestellt wird, die zulässigen Befehle und deren Parameter, werden im Webtool als Texteingabe zusammengestellt. Der erste Verarbeitungsschritt findet bereits während der Eingabe statt: Grapheme, also die eingegebenen Zeichen, werden in Phoneme, also die kleinsten akustischen Bestandteile der Sprache, umgewandelt.

Sobald alle Wörter definiert sind, werden maschinelles Lernen und KI-basierte Algorithmen verwendet, um die definierten Sprachressourcen in ein statistisches und ein semantisches Modell für den Download zu übersetzen. Das Ergebnis wird auf die Zielplattform heruntergeladen und gestartet. Dann kann der Netzwerkstecker gezogen werden - das Endprodukt läuft autonom.

Der Bedarf an Ressourcen zur Laufzeit ist moderat. Daher ist das System auch für die kollaborative Integration geeignet, bei der die Sprachsteuerung parallel zur Anwendungssoftware läuft. Anwendungen für die Offline-Sprachsteuerung sind Haushalts- und Küchengeräte, Bestellautomaten in Fast-Food-Restaurants, Informationssäulen in Einkaufs- und Reisezentren, in der Prüf- und Messtechnik und in der sterilen Umgebung der Medizintechnik.

Neben den genannten Technologien gibt es weitere Technologien, die keinen direkten Kontakt mit Oberflächen erfordern.

• Eye Tracking wertet die Bewegung der Pupillen und Augenlider aus, um den Cursor zu steuern und Aktionen durch Klicken = Blinzeln auszulösen. Für den ungeübten Benutzer ist die Bedienung eher schwierig. Die starre Fokussierung der Augen führt zur Ermüdung, so dass diese Eingabemethode nur zeitlich begrenzt durchführbar ist.
• Micro-Radar kann die Position von Objekten, die in seinem Sichtfeld liegen, erkannt und ausgewertet werden. Für den Betrieb von Geräten und Maschinen hat diese Technik noch keine Bedeutung.
• LiDAR/ToF basiert auf einem Lichtfeld, mit dem Objekte und Gesten räumlich erfasst werden können. Die Auflösung ist höher als bei Radar. Das Lichtlaufzeitverfahren misst die Zeit, die das von einem Sender ausgesendete Licht benötigt, um nach der Reflexion durch ein Objekt den Empfänger zu erreichen. Anwendungen hierfür sind Mobiltelefone (Abstandsmessung der Kamera, Gesichtserkennung) und Fahrzeuge (autonomes Fahren).
• BCI (Brain Computer Interface) wertet als direkte Schnittstelle vom Gehirn zum Computer Gehirnströme aus, um elektrische Nervenströme als beabsichtigte Aktionen in Bewegungen eines Roboters umzusetzen. Anwendungen sind Exoskelette, die Menschen bei körperlichen Aktivitäten unterstützen, oder Prothesen, die Gliedmaßen oder deren fehlende Funktionen ersetzen oder unterstützen. Die Technologie ist noch nicht ausgereift, da für die richtige Interpretation der erfassten Spannungen eine Software mit künstlicher Intelligenz benötigt wird.

Für die Bedienung eines Gerätes ohne direkte Berührung kann je nach Anwendung, Einbauort und Benutzergruppe eine der vielen Möglichkeiten gewählt werden. Der abgesetzte Infrarot-Touchscreen neuer Technologie, wie das holografische Touch-Display, ermöglicht eine exakte Positionierung der Eingabe, während der 3D-Touchscreen mit Gestensteuerung für qualitativere Eingaben "mehr/weniger" geeignet ist. Stehen die Hände nicht zur Verfügung, eröffnet die Offline-Sprachsteuerung eine Alternative zum herkömmlichen GUI.