Erweiterte Realität (Augmented reality)

Augmented Reality (AR), auch Mixed Reality (MR) genannt, stellt eine Form der dreidimensionalen Mensch-Computer-Interaktion dar. Es funktioniert, indem es in Echtzeit 3D-gerenderte Computergrafiken auf die physische Welt überlagert, typischerweise über ein Anzeigegerät wie ein Handgerät oder ein am Kopf getragenes Display. Diese Integration ist so nahtlos konzipiert, dass der digitale Inhalt als intrinsischer und immersiver Bestandteil der tatsächlichen Umgebung wahrgenommen wird. Folglich verändert AR die kontinuierliche Wahrnehmung einer realen Umgebung durch eine Person, im Gegensatz zur virtuellen Realität, die darauf abzielt, die physische Umgebung des Benutzers vollständig durch eine simulierte Umgebung zu ersetzen. Während Augmented Reality in erster Linie visuell ist, kann es verschiedene sensorische Modalitäten umfassen, einschließlich auditiver, haptischer und somatosensorischer Erfahrungen.

Augmented Reality (AR), auch bekannt als Mixed Reality (MR), ist eine Form der 3D-Mensch-Computer-Interaktion, bei der 3D-gerenderte Computergrafiken in Echtzeit über ein Display, z. B. ein Handgerät oder ein am Kopf montiertes Display, in die reale Welt eingeblendet werden. Dieses Erlebnis ist nahtlos mit der physischen Welt verwoben, sodass es als immersiver Aspekt der realen Umgebung wahrgenommen wird. Auf diese Weise verändert Augmented Reality die fortlaufende Wahrnehmung einer realen Umgebung im Vergleich zur virtuellen Realität, die darauf abzielt, die reale Umgebung des Benutzers vollständig durch eine simulierte zu ersetzen. Augmented Reality ist in der Regel visuell, kann jedoch mehrere sensorische Modalitäten umfassen, darunter auditive, haptische und somatosensorische.

Die ersten operativen Augmented Reality (AR)-Systeme, die immersive Mixed-Reality-Erlebnisse ermöglichten, entstanden in den frühen 1990er Jahren. Ein bemerkenswertes Pionierbeispiel war das Virtual Fixtures-System, das 1992 im Armstrong Laboratory der US-Luftwaffe entwickelt wurde. Kommerzielle Anwendungen von Augmented Reality fanden zunächst im Unterhaltungs- und Gaming-Bereich Anklang. Im Laufe der Zeit haben AR-Technologien ihre Reichweite in verschiedenen Branchen ausgeweitet, darunter Bildung, Kommunikation, Medizin und Unterhaltung im Allgemeinen.

Bekannte Augmented-Reality-Frameworks umfassen ARKit und ARCore. Zu den im Handel erhältlichen Augmented-Reality-Headsets gehören Magic Leap 1 und HoloLens. Darüber hinaus haben mehrere Unternehmen das Konzept von Smartglasses vorangetrieben, die mit Augmented-Reality-Funktionalitäten ausgestattet sind.

Augmented Reality bezeichnet Erfahrungen, die künstlich erzeugt werden und dazu dienen, eine bestehende Realität zu erweitern. In einer AR-Umgebung können Daten über die Umgebung und ihre Objekte in die physische Welt eingeblendet werden. Diese Informationen können entweder virtuell sein oder aus realen Erfassungen stammen, beispielsweise durch die Visualisierung elektromagnetischer Radiowellen, die genau auf ihre tatsächlichen räumlichen Standorte ausgerichtet sind. Darüber hinaus verspricht Augmented Reality große Chancen, den Erwerb und die Verbreitung von implizitem Wissen zu erleichtern.

Augmented Reality wird formal als ein System charakterisiert, das drei grundlegende Eigenschaften vereint: die Verschmelzung realer und virtueller Umgebungen, interaktive Fähigkeiten in Echtzeit und präzise dreidimensionale Registrierung zwischen virtuellen und physischen Objekten. Die überlagerten Sinnesdaten können entweder konstruktiv sein, das heißt, sie ergänzen die natürliche Umgebung, oder destruktiv, was bedeutet, dass sie Elemente der natürlichen Umgebung maskieren.

Hardware- und Anzeigetechnologien

Visuelle Augmented-Reality-Inhalte werden entweder auf Handheld-Geräten mithilfe einer Video-Passthrough-Methode oder auf am Kopf montierten Displays gerendert, die optische Durchsichts- oder Video-Passthrough-Technologien verwenden können. Diese Systeme integrieren ein Display mit verschiedenen Sensoren wie Kameras und Trägheitsmesseinheiten (IMUs), um virtuelle Inhalte in der physischen Umgebung genau zu registrieren. Die laufende Forschung untersucht weiter fortgeschrittene Anzeigemodalitäten, darunter augennahe Optik, projektionsbasierte AR und experimentelle Designs wie Kontaktlinsen- oder Netzhaut-gescannte Displays.

Kopfmontierte Displays

Head-Mounted Displays (HMDs) mit Augmented Reality projizieren virtuelle Bilder in das Sichtfeld des Benutzers, indem sie entweder optische Durchsichts- oder Video-Passthrough-Techniken nutzen und die Kopfbewegungsverfolgung integrieren, um eine stabile Registrierung virtueller Inhalte zu gewährleisten.

Handheld-Geräte

Augmented-Reality-Anwendungen auf Smartphones und Tablets nutzen die Rückkamera für Video-Passthrough und nutzen geräteinterne Simultaneous Localization and Mapping (SLAM) oder Visual-Inertial Odometry (VIO) für die Positionsverfolgung.

Projektionszuordnung

Beim Projection Mapping werden Projektoren verwendet, um Grafiken auf physische Objekte oder Umgebungen zu legen und so räumliche Augmented Reality zu erreichen, ohne dass am Kopf getragene Displays erforderlich sind.

Augmented-Reality-Brille

Near-Eye-Displays im Brillenstil sollen ein leichteres, freihändiges Augmented-Reality-Erlebnis ermöglichen. Die für diese Geräte verwendeten Methoden weisen Unterschiede in ihren optischen Systemen, Tracking-Mechanismen und ihrem Stromverbrauch auf.

Dreidimensionales Tracking

Augmented-Reality-Systeme bestimmen die Pose des Geräts und die Geometrie der Szene, um sicherzustellen, dass virtuelle Grafiken genau an der physischen Welt ausgerichtet bleiben. Zu den Standardmethoden gehören visuelle Trägheits-Odometrie und Simultaneous Localization and Mapping (SLAM) für markerloses Tracking sowie die Verwendung von Referenzmarkern, wenn vordefinierte Muster vorhanden sind. Darüber hinaus werden Bildregistrierung und Tiefenhinweise wie Okklusion und Schatten eingesetzt, um den Realismus des erweiterten Erlebnisses zu verbessern.

Software und Standardisierung

Augmented-Reality-Laufzeiten erleichtern die Erfassung, Verfolgung und Darstellung von Pipelines, die für AR-Operationen unerlässlich sind. Mobile Plattformen bieten Software Development Kits (SDKs) an, die Zugriff auf Kamerafunktionen und räumliche Trackingfunktionen ermöglichen. Darüber hinaus legen Austausch- und Geodatenformate wie die Augmented Reality Markup Language (ARML) Standards für Anker und Inhalte in AR-Umgebungen fest.

Interaktions- und Eingabemodalitäten

Eingabemechanismen integrieren typischerweise Kopf- oder Blickverfolgung mit Touch-Schnittstellen, externen Controllern, Sprachbefehlen oder Handverfolgung. Die Integration von akustischem und haptischem Feedback kann die visuelle kognitive Belastung verringern. Untersuchungen zu menschlichen Faktoren zeigen, dass diese Systeme zwar Leistungsvorteile bieten, aber auch Kompromisse hinsichtlich der Arbeitsbelastung und Sicherheit der Benutzer mit sich bringen, die je nach spezifischer Aufgabe und betrieblichem Kontext variieren.

Designüberlegungen

Zu den entscheidenden Usability-Faktoren für Augmented-Reality-Systeme gehören eine stabile Registrierung, eine angemessene Kontrastlesbarkeit bei verschiedenen Lichtverhältnissen und eine minimale Latenz von Bewegung zu Photon. Bei der visuellen Gestaltung werden häufig Tiefenhinweise wie Okklusion und Schatten einbezogen, um die räumliche Beurteilung zu erleichtern. Bei sicherheitskritischen Anwendungen liegt der Schwerpunkt auf der Bereitstellung leicht verständlicher Eingabeaufforderungen und einer minimalen Benutzerinteraktion.

Vergleichende Analyse von Mixed Reality und Virtual Reality

Augmented Reality (AR) wird häufig mit Mixed Reality (MR) gleichgesetzt und weist in seiner Terminologie auch Gemeinsamkeiten mit der erweiterten Realität und der computergestützten Realität auf. Dennoch gewannen die Unterscheidungen zwischen AR und MR in den 2020er Jahren an Bedeutung.

In Augmented Reality können Benutzer digitale Inhalte sowohl in ihrer physischen Umgebung wahrnehmen als auch mit ihnen interagieren, als wären sie ein greifbarer Bestandteil der realen Welt. Diese Fähigkeit wird durch Geräte wie Meta Quest 3S und Apple Vision Pro ermöglicht, die mehrere Kameras und Sensoren verwenden, um die Echtzeitinteraktion zwischen virtuellen und physischen Komponenten zu ermöglichen. Mixed Reality, die haptisches Feedback integriert, wird gelegentlich als visuell-haptische Mixed Reality bezeichnet.

In der virtuellen Realität (VR) ist die Wahrnehmung des Benutzers vollständig computergeneriert, während es sich bei der erweiterten Realität (AR) um eine Mischung aus computergenerierten und realen Elementen handelt. In architektonischen Kontexten ermöglicht VR beispielsweise immersive begehbare Simulationen von Innenräumen neuer Gebäude, während AR die strukturellen und systemischen Elemente eines Gebäudes in eine Live-Ansicht überlagern kann. Utility-Anwendungen bieten ein weiteres anschauliches Beispiel. Bestimmte AR-Anwendungen wie Augment ermöglichen es Benutzern, digitale Objekte in reale Umgebungen zu integrieren, sodass Unternehmen mithilfe von Augmented-Reality-Geräten eine Vorschau ihrer Produkte in realen Umgebungen anzeigen können. Ebenso dient es dazu, das Erscheinungsbild von Produkten in der Umgebung eines Kunden zu demonstrieren, wie beispielsweise Unternehmen wie Mountain Equipment Co-op und Lowe's, die AR nutzen, um Kunden die Visualisierung von Produkten in ihren Häusern zu ermöglichen.

Augmented Reality (AR) unterscheidet sich von Virtual Reality (VR) durch die Aufrechterhaltung einer realen Umgebung, zu der lediglich virtuelle Objekte hinzugefügt werden. Im Gegensatz dazu ist in VR die gesamte Umgebung virtuell und computergeneriert. Augmented-Reality-Spiele veranschaulichen anschaulich, wie AR virtuelle Objekte in die physische Welt überlagert. WallaMe, eine Augmented-Reality-Spielanwendung, ermöglicht es Benutzern beispielsweise, Nachrichten in realen Umgebungen zu verbergen und mithilfe von Geolokalisierungstechnologie die Platzierung von Nachrichten überall auf der Welt zu erleichtern.

Die Begriffe „gemischte Realität“ und „Interrealität“ haben in der Physik unterschiedliche Definitionen, obwohl ihre Interpretationen in anderen Disziplinen unterschiedlich sein können. Dennoch werden sie allgemein als „Brücke zwischen der physischen und der virtuellen Welt“ verstanden.

Jüngste Fortschritte in der AR- und VR-Headset-Technologie haben die Anzeigequalität verbessert, das Sichtfeld erweitert und die Genauigkeit der Bewegungsverfolgung verbessert, wodurch die Immersivität erweiterter Erlebnisse erhöht wird. Darüber hinaus haben Verbesserungen bei der Sensorkalibrierung, der leichten Optik und der drahtlosen Konnektivität zu mehr Mobilität und Komfort für den Benutzer beigetragen.

Historischer Kontext

Vorläufer der Augmented Reality

• 1901: In seinem Science-Fiction-Roman The Master Key führte der Autor L. Frank Baum das Konzept eines elektronischen Displays oder einer Brille ein, die in der Lage ist, Daten über Ansichten der realen Welt, insbesondere von Einzelpersonen, zu überlagern. Dieses Gerät wurde als „Zeichenmarker“ bezeichnet.
• Heads-up-Displays (HUDs), eine Vorläufertechnologie für Augmented Reality, kamen in den 1950er Jahren in der Luftfahrt auf und projizierten wichtige Flugdaten direkt in die Sichtlinie der Piloten. Diese Innovation ermöglichte es den Piloten, eine „Augen nach vorne“-Haltung beizubehalten, sodass sie ihre Aufmerksamkeit nicht mehr auf die Instrumententafeln lenken mussten. HUDs zeichnen sich durch ihre transparente Darstellungsfunktionalität aus.

Erste Entwicklungen

• 1968: Ivan Sutherland entwickelt das erste optische, durchsichtige, am Kopf montierte Display mit computergerenderten Grafiken.
• 1975: Myron Krueger entwickelt Videoplace, das die Benutzerinteraktion mit virtuellen Objekten ermöglicht.
• 1980: Eine von Gavan Lintern an der University of Illinois durchgeführte Forschung stellt die erste veröffentlichte Arbeit dar, die die Wirksamkeit eines Heads-up-Displays bei der Vermittlung realer Flugfähigkeiten demonstriert.
• 1980: Steve Mann entwickelte den ersten tragbaren Computer, ein Computer-Vision-System mit Text- und Grafiküberlagerungen, die einer fotografisch vermittelten Szene überlagert wurden.
• 1986: Ron Feigenblatt beschrieb bei IBM die heute am weitesten verbreitete Form von AR – das „Magic Window“-Konzept, das durch Smartphone-basierte Anwendungen wie Pokémon Go veranschaulicht wird – und die Verwendung eines kleinen, intelligenten Flachbildschirms beinhaltet, der von Hand manipuliert wird.
• 1987 entwickelten Douglas George und Robert Morris einen funktionalen Prototyp eines auf astronomischen Teleskopen basierenden „Heads-up-Display“-Systems, ein grundlegendes Konzept für Augmented Reality. Dieses System überlagerte Stern- und Himmelskörperbilder mit mehreren Intensitäten sowie andere relevante Daten mit tatsächlichen Himmelsansichten im Teleskopokular.
• 1988 präsentierten Paul Milgram, David Drascic und Julius Grodski einen funktionalen Prototyp eines interaktiven stereoskopischen Videosystems. Dieses System verfügt über überlagerte stereoskopische Grafiken, die es Benutzern ermöglichen, bestimmte Punkte im Video-Feed für Anwendungen wie Pfadplanung, Zielerfassung oder virtuelle Messung auszuwählen.
• Der Begriff Augmented Reality wurde 1990 von Thomas P. Caudell, einem ehemaligen Forscher bei Boeing, geprägt.
• 1992 entwickelte Louis Rosenberg im United States Air Force Research Laboratory – Armstrong – Virtual Fixtures, eines der ersten betriebsbereiten Augmented Reality (AR)-Systeme. Dieses System hat greifbare Vorteile für die menschliche Wahrnehmung gezeigt.
• Ebenfalls 1992 stellten Steven Feiner, Blair MacIntyre und Doree Seligmann auf der Graphics Interface-Konferenz eine frühe Forschungsarbeit vor, in der ein AR-System-Prototyp namens KARMA detailliert beschrieben wurde.
• Im Jahr 1993 dokumentierten Mike Abernathy und Kollegen die erste Anwendung von Augmented Reality zur Identifizierung von Weltraummüll. Dies wurde mithilfe von Rockwell WorldView erreicht, das geografische Flugbahnen von Satelliten über Live-Teleskop-Video-Feeds überlagerte.
• Eine viel zitierte Version des oben genannten Papiers wurde 1993 in einer Sonderausgabe von Communications of the ACM veröffentlicht, die sich auf computergestützte Umgebungen konzentrierte und von Pierre Wellner, Wendy Mackay und Rich Gold herausgegeben wurde.
• Im Jahr 1995 charakterisierten Paul Milgram und seine Mitarbeiter Augmented Reality als eigenständige Komponente innerhalb des breiteren Realität-Virtualität-Kontinuums.
• Ebenfalls 1995 haben S. Ravela et al. an der University of Massachusetts stellte ein visionsbasiertes System vor, das für Augmented Reality entwickelt wurde. Dieses System nutzte monokulare Kameras, um Objekte, insbesondere Motorblöcke, aus verschiedenen Perspektiven zu verfolgen.
• Im Jahr 2004 präsentierten Trimble Navigation und das Human Interface Technology Laboratory (HIT-Labor) ein am Helm montiertes Outdoor-AR-System.

Smartphone AR und moderne Headsets

• Im Jahr 2009 portierte Saqoosha ARToolkit auf Adobe Flash und schuf FLARToolkit, das Augmented-Reality-Funktionen auf Webbrowser erweiterte.
• Im Jahr 2015 stellte Microsoft das Augmented-Reality-Headset HoloLens vor. Dieses Gerät integriert mehrere Sensoren und eine Verarbeitungseinheit, um virtuelle Bilder in die reale Welt zu projizieren.
• Im Juli 2016 brachte Niantic Pokémon Go für iOS- und Android-Plattformen auf den Markt. Dieses Spiel erfreute sich bei Smartphone-Anwendungen schnell großer Beliebtheit und steigerte die Bedeutung von Augmented-Reality-Gaming deutlich.
• Im Jahr 2018 stellte Magic Leap das Augmented-Reality-Headset Magic Leap One vor. Gleichzeitig kündigte Leap Motion sein Augmented-Reality-Headset Project North Star an und veröffentlichte es anschließend unter einer Open-Source-Lizenz.
• Im Jahr 2019 kündigte Microsoft HoloLens 2 an, das bemerkenswerte Verbesserungen im Sichtfeld und im ergonomischen Design bietet.
• Im Jahr 2022 veröffentlichte Magic Leap das Magic Leap 2-Headset.
• Im Jahr 2023 entwickelte Reality Labs, ein Geschäftsbereich von Meta Platforms, das Meta Quest 3, ein Mixed-Reality-VR-Headset. Gleichzeitig veröffentlichte Apple das Apple Vision Pro.
• Im Jahr 2024 stellte Meta Platforms den Prototyp der Orion AR-Brille vor.

Anwendungen

Augmented Reality wurde für eine Vielzahl von Anwendungen untersucht, darunter Bereiche wie Bildung und Wirtschaft. Zu den ersten dokumentierten Beispielen gehören der Nutzen von AR bei der chirurgischen Unterstützung, bei dem virtuelle Overlays Ärzten als Leitfaden dienen, und seine Anwendung in der Astronomie und beim Schweißen. Spezifische Anwendungsbereiche umfassen Archäologie, Architektur, Handel und Bildung.

Bildung und Schulung

In Bildungs- und Schulungskontexten erleichtert AR die Überlagerung von 3D-Modellen und die sequentielle Führung in realen Umgebungen, beispielsweise für anatomische Studien oder Wartungsverfahren. Systematische Überprüfungen weisen auf Lernvorteile hin, obwohl die Überlegungen zu Design und Implementierung je nach spezifischem Kontext und Aufgabe variieren.

Navigation und Kartierung

Augmented-Reality-Navigationssysteme überlagern Routenanweisungen oder Gefahrenwarnungen in Live-Umgebungsansichten, üblicherweise über „Live View“-Schnittstellen von Smartphones oder Head-up-Displays im Fahrzeug. Untersuchungen zeigen, dass AR die Orientierungsfähigkeiten und das Situationsbewusstsein des Fahrers verbessern kann; Für sicherheitsrelevante Anwendungen sind jedoch Überlegungen zu menschlichen Faktoren wie Ablenkungspotenzial, erhöhter kognitiver Belastung und visueller Okklusion von entscheidender Bedeutung.

Handel

Commerce

Im Jahr 2021 wurde iBite zu einer der ersten iOS-Anwendungen, die Apples ARKit- und RealityKit Swift-Frameworks enthielten und so interaktive digitale Augmented-Reality-Bestellungen ermöglichten. Diese Plattform ermöglicht es Benutzern, vor dem Kauf eine Vorschau von 3D-Modellen ihrer Lebensmittelauswahl anzuzeigen, und ermöglicht es Händlern auch, proprietäre USDZ-Dateien hochzuladen, die mit der patentierten Photogrammetrie-Software von iBite generiert werden können.

Im Jahr 2018 führte Apple USDZ ein, ein von Pixars Universal Scene Description abgeleitetes Dateiformat, das die Visualisierung von 3D-Objekten in Augmented Reality auf iPhones und iPads mit iOS 12 ermöglichen soll. Gleichzeitig entwickelte Apple eine AR QuickLook Gallery, Bereitstellung einer zugänglichen Möglichkeit für Benutzer, Augmented Reality über ihre Apple-Geräte zu erleben.

Im Jahr 2018 kündigte Shopify, das kanadische E-Commerce-Unternehmen, die Integration von AR Quick Look an. Diese Funktionalität ermöglicht es ihren Händlern, 3D-Modelle von Produkten hochzuladen, sodass Benutzer direkt im Safari-Browser auf ihren iOS-Geräten mit diesen Modellen interagieren und sie in ihrer tatsächlichen Umgebung visualisieren können.

Augmented-Reality-Technologie wird von Möbelhändlern wie IKEA, Houzz und Wayfair umfassend genutzt. Diese Unternehmen bieten spezielle Anwendungen an, die es Verbrauchern ermöglichen, Produkte in ihrem eigenen Zuhause zu visualisieren, bevor sie einen Kauf tätigen.

Im Jahr 2017 brachte Ikea die Ikea Place-Anwendung auf den Markt, die einen Katalog mit über 2.000 Produkten enthält, der nahezu die gesamte Kollektion an Sofas, Sesseln, Couchtischen und Aufbewahrungseinheiten umfasst. Mit dieser Anwendung können Nutzer mit ihrem Smartphone maßstabsgetreue 3D-Modelle von Möbeln virtuell an einer beliebigen Stelle im Raum platzieren. Mit dieser Innovation wurde IKEAs Beobachtung Rechnung getragen, dass Kunden seltener physische Geschäfte aufsuchten oder direkt kauften. Darüber hinaus zielt die Übernahme von Primer, einer AR-Anwendung durch Shopify, darauf ab, interaktives AR-Shopping für kleine und mittlere Verkäufer zu erleichtern, indem es eine benutzerfreundliche AR-Integration und ein verbessertes Erlebnis für Händler und Verbraucher bietet. Die Implementierung von AR trägt zur Senkung der Betriebskosten im Einzelhandel bei, da Händler Produktinformationen in AR-Systeme hochladen können und Verbraucher mobile Geräte nutzen können, um nach 3D-Visualisierungen zu suchen und diese zu erstellen.

Chirurgie

Augmented Reality fand seine ersten Anwendungen im Gesundheitswesen und unterstützte insbesondere die Planung, Durchführung und Schulung chirurgischer Eingriffe. Bereits 1992 wurde bei der Entwicklung der ersten Augmented-Reality-Systeme in den Labors der US-Luftwaffe das formale Ziel formuliert, die menschliche Leistungsfähigkeit bei Operationen zu verbessern. AR-Systeme versorgen Chirurgen mit Patientenüberwachungsdaten, die ähnlich wie das Heads-up-Display eines Kampfpiloten dargestellt werden, und ermöglichen den Zugriff und die Einblendung von Bildaufzeichnungen des Patienten, einschließlich Funktionsvideos. Anschauliche Beispiele hierfür sind eine virtuelle Röntgenansicht, die aus einer vorherigen Tomographie oder Echtzeitbildern von Ultraschall- und konfokalen Mikroskopiesonden abgeleitet wurde, die Visualisierung von Tumorpositionen in Endoskopvideos oder die Bewertung von Strahlenbelastungsrisiken durch Röntgenbildgeräte. AR bietet auch eine verbesserte Visualisierung eines Fötus im Mutterleib. Insbesondere haben Siemens, Karl Storz und IRCAD gemeinsam ein AR-basiertes System für die laparoskopische Leberchirurgie entwickelt, das die Visualisierung von Tumoren und Gefäßen unter der Oberfläche erleichtert.

Führungsüberlagerungen und Bildfusionsfunktionen bieten wesentliche Unterstützung für die Planung und intraoperative Visualisierung in verschiedenen chirurgischen Fachgebieten; Aktuelle Überprüfungen weisen jedoch auf anhaltende Herausforderungen im Zusammenhang mit Genauigkeit, Registrierungsbeschränkungen und Workflow-Integration hin.

Das HoloLens-Gerät ist in der Lage, Bilder für bildgeführte chirurgische Eingriffe anzuzeigen. Da die Augmented-Reality-Technologie immer weiter voranschreitet, nehmen ihre Anwendungen im Gesundheitswesen erheblich zu. Augmented Reality und analoge computerbasierte Hilfsmittel werden zunehmend für die Ausbildung medizinischer Fachkräfte eingesetzt. Im Gesundheitswesen kann AR eine entscheidende Orientierungshilfe bei diagnostischen und therapeutischen Eingriffen, wie etwa chirurgischen Eingriffen, sein. Beispielsweise haben Magee et al. haben die Anwendung von Augmented Reality in der medizinischen Ausbildung zur Simulation der ultraschallgeführten Nadelplatzierung dokumentiert. In jüngerer Zeit hat die Einführung von Augmented Reality in der Neurochirurgie begonnen, einem Bereich, der durch umfangreiche Anforderungen an die Bildgebung vor dem Eingriff gekennzeichnet ist.

Smartglasses können in Operationssäle integriert werden, um chirurgische Eingriffe zu unterstützen, indem sie möglicherweise Patientendaten anzeigen und dem Chirurgen präzise visuelle Leitlinien überlagern. Augmented-Reality-Headsets wie die Microsoft HoloLens sollen einen effizienten Informationsaustausch zwischen Medizinern ermöglichen und eine Plattform für Fortbildungen bieten. In bestimmten Situationen, beispielsweise wenn ein Patient an einer ansteckenden Krankheit leidet, kann diese Technologie die Sicherheit des Arztes erhöhen und den Bedarf an persönlicher Schutzausrüstung (PSA) minimieren. Trotz seines erheblichen Potenzials zur Verbesserung der Gesundheitsversorgung weist Mixed Reality auch gewisse Einschränkungen auf. Eine vollständige Integration dieser Technologie in Szenarien der direkten Patientenversorgung kann durch ethische Überlegungen behindert werden, insbesondere hinsichtlich der Fähigkeit eines Arztes, direkten Sichtkontakt mit dem Patienten aufrechtzuerhalten. Darüber hinaus erweist sich Mixed Reality in der Gesundheitsausbildung als wertvoll. Beispielsweise ergab ein Bericht des Weltwirtschaftsforums aus dem Jahr 2022, dass 85 % der Medizinstudenten im ersten Jahr an der Case Western Reserve University Mixed Reality für den Anatomieunterricht entweder als „gleichwertig“ oder „überlegen“ gegenüber traditionellen Präsenzkursen empfanden.

Flugtraining

Forscher am Aviation Research Laboratory der University of Illinois in Urbana-Champaign nutzten umfangreiche wahrnehmungsmotorische Forschungen im Rahmen der experimentellen Psychologie und setzten Augmented Reality, insbesondere eine simulierte Flugbahn am Himmel, ein, um Luftfahrtstudenten in einem Flugsimulator die Landevorgänge von Flugzeugen beizubringen. Ein adaptiver Augmentationsplan, bei dem die Schüler nur dann visuelle Hinweise erhielten, wenn sie von der vorgesehenen Flugbahn abwichen, erwies sich als Trainingsintervention im Vergleich zu einem konstanten Augmentationsplan als wirksamer. Studenten, die darauf trainiert wurden, im Simulator mithilfe adaptiver Augmentation zu landen, erlangten die Fähigkeit, ein Leichtflugzeug schneller zu landen, als diejenigen, die den gleichen Umfang an Simulatortraining mit konstanter oder keiner Augmentation erhalten hatten.

Militär

Das bahnbrechende Augmented-Reality-System zur Integration haptischer 3D-Eingaben war die Virtual Fixtures-Plattform, die 1992 von Louis Rosenberg in den Armstrong Laboratories der United States Air Force konzipiert wurde. Dieses System erleichterte menschlichen Bedienern die Steuerung von Robotern in realen Umgebungen über eine haptische Steuerung. Forschungspublikationen zeigten, dass die Integration virtueller Objekte in die physische Umgebung zu erheblichen Leistungssteigerungen für menschliche Bediener führte.

Eine bemerkenswerte frühe Anwendung von Augmented Reality umfasste die Entwicklung von Videokarten-Overlays durch Rockwell International, die die Flugbahnen von Satelliten- und Orbitaltrümmern darstellen, um Weltraumbeobachtungen am Air Force Maui Optical System zu unterstützen. In ihrer Veröffentlichung „Debris Correlation Using the Rockwell WorldView System“ aus dem Jahr 1993 beschrieben die Autoren detailliert die Implementierung von Kartenüberlagerungen, die Videoübertragungen von Weltraumüberwachungsteleskopen überlagert werden. Diese Überlagerungen zeigten die Flugbahnen verschiedener Objekte anhand geografischer Koordinaten an. Diese Fähigkeit ermöglichte es Teleskopbetreibern, Satelliten zu identifizieren sowie potenziell gefährlichen Weltraumschrott zu erkennen und zu katalogisieren.

Seit 2003 hat die US-Armee das Augmented-Reality-System SmartCam3D in das Shadow Unmanned Aerial System integriert, um Sensorbediener zu unterstützen, die Teleskopkameras verwenden, um Personen oder Orte von Interesse zu lokalisieren. Dieses System integrierte statische geografische Daten wie Straßennamen, Sehenswürdigkeiten, Flughäfen und Eisenbahnen mit Echtzeit-Videofeeds vom Kamerasystem. Es wurde ein „Bild-in-Bild“-Modus bereitgestellt, der die Anzeige einer synthetischen Darstellung der Region unmittelbar außerhalb des Sichtfelds der Kamera ermöglicht. Diese Funktion geht auf die Herausforderung ein, die durch ein übermäßig enges Sichtfeld entsteht, das wichtige Kontextinformationen verdecken kann, ähnlich wie beim „Blick durch einen Limonadenstrohhalm“. Darüber hinaus präsentiert das System Echtzeitmarkierungen, die Freund, Feind oder neutrale Einheiten anzeigen, nahtlos in Live-Video integriert, wodurch das Situationsbewusstsein des Bedieners verbessert wird.

Kampfszenarien können durch komplexe, geschichtete Daten und visuelle Hilfsmittel simuliert und dargestellt werden, wobei hauptsächlich Head-Mounted Displays (HMDs) verwendet werden, bei denen es sich um jede auf dem Kopf des Benutzers getragene Anzeigetechnologie handelt. Militärische Trainingssysteme nutzen häufig kommerzielle Standardtechnologien (COTS), darunter die Plattform für synthetische Umgebungen von Improbable, Virtual Battlespace 3 und VirTra. Die beiden letzteren sind bei der US-Armee beschäftigt. Bis 2018 wurde VirTra sowohl von zivilen als auch von militärischen Strafverfolgungsbehörden für die Personalschulung in verschiedenen Szenarien übernommen, beispielsweise bei Zwischenfällen mit aktiven Schützen, häuslicher Gewalt und militärischen Verkehrsverboten.

Die US-Armee begann 2017 mit der Entwicklung der Synthetic Training Environment (STE) und stellte sich dabei eine Technologiesuite für die Ausbildung vor, die voraussichtlich Mixed Reality integrieren wird. Bis 2018 befand sich STE noch in der Entwicklung, ohne dass ein Zeitplan für die Fertigstellung festgelegt wurde. Zu den dokumentierten Zielen von STE gehörten die Verbesserung des Realismus, die Erweiterung der Simulationstrainingskapazitäten und die Erweiterung der Kompatibilität mit anderen Systemen.

Befürworter behaupteten, dass Mixed-Reality-Umgebungen wie STE die Trainingsausgaben senken könnten, insbesondere durch die Verringerung des Munitionsverbrauchs während der Übungen. Berichten aus dem Jahr 2018 zufolge würde STE eine globale Geländedarstellung für umfassende Trainingsszenarien bieten. Darüber hinaus wurde STE entwickelt, um vielfältige Trainingsmodalitäten für Trupps, Brigaden und Kampfteams bereitzustellen, darunter Stryker-, Panzer- und Infanterieeinheiten.

Eine von Forschern des USAF Research Lab (Calhoun, Draper et al.) durchgeführte Studie zeigte eine ungefähre Verdoppelung der Geschwindigkeit, mit der Bediener von Sensoren unbemannter Luftfahrzeuge (UAV) interessante Punkte identifizierten, wenn sie diese Technologie nutzten. Diese verbesserte Fähigkeit zur Aufrechterhaltung des geografischen Bewusstseins verbessert nachweislich die Missionseffizienz. Derzeit wird das System auf den unbemannten Flugsystemen RQ-7 Shadow und MQ-1C Gray Eagle der US-Armee eingesetzt.

In Kampfszenarien fungiert Augmented Reality (AR) als vernetzte Kommunikationsplattform, die wichtige Informationen über das Schlachtfeld in Echtzeit auf die Brille eines Soldaten projiziert. Aus der Sicht des Soldaten können Personen und Objekte durch gezielte Indikatoren hervorgehoben werden, um ihn auf mögliche Bedrohungen aufmerksam zu machen. Darüber hinaus können virtuelle Karten und 360°-Kamerabilder angezeigt werden, um Soldaten bei der Navigation und Lageerkennung zu unterstützen, wobei diese Informationen gleichzeitig an militärische Kommandozentralen weitergeleitet werden. Die Integration der 360°-Kameravisualisierung mit AR kann auch in Kampffahrzeugen und Panzern implementiert werden und als umfassendes zirkuläres Überprüfungssystem dienen.

Augmented Reality bietet eine effektive Methode zur virtuellen Kartierung der dreidimensionalen Topologien von Munitionslagern innerhalb eines bestimmten Geländes. Dazu gehört die Visualisierung der Anordnung von Munitionskombinationen in Stapeln, der Abstände zwischen ihnen und der zugehörigen Risikozonen. Darüber hinaus erstrecken sich AR-Anwendungen auf die Anzeige von Daten, die von eingebetteten Munitionsüberwachungssensoren stammen.

Navigation

Die NASA-Raumsonde X-38 nutzte während ihrer Flugtests von 1998 bis 2002 ein hybrides synthetisches Sichtsystem, das Kartendaten mit Video-Feeds überlagerte, um die Navigationsfähigkeiten zu verbessern. In dieses System war die LandForm-Software integriert, die sich besonders in Zeiten eingeschränkter Sicht als nützlich erwies, beispielsweise bei einem Vorfall, bei dem das Fenster der Videokamera zugefroren war und Astronauten gezwungen waren, sich ausschließlich auf die Kartenüberlagerungen zu verlassen. Die LandForm-Software wurde 1999 auch auf dem Army Yuma Proving Ground getestet. Das nebenstehende Bild zeigt Kartenmarkierungen, darunter Start- und Landebahnen, den Flugsicherungsturm, Rollwege und Hangars, die auf dem Videodisplay eingeblendet sind.

Industrielle Umgebungen

Augmented Reality zeigt in industriellen Umgebungen einen erheblichen Einfluss mit Anwendungen, die sich über den gesamten Produktlebenszyklus erstrecken, vom ersten Design und der Einführung neuer Produkte (NPI) über Herstellung, Service und Wartung bis hin zur Materialhandhabung und -verteilung. AR kann beispielsweise Etiketten auf Systemkomponenten anzeigen und den Mechanikern, die die Wartung durchführen, klare Betriebsanweisungen geben. Auch Montagelinien haben von der AR-Integration profitiert. Neben Boeing haben vor allem Unternehmen wie BMW und Volkswagen diese Technologie in ihre Montageprozesse übernommen, um Verbesserungen zu überwachen und zu verbessern. Die Komplexität großer Maschinen, die oft durch mehrere Schichten oder komplizierte Strukturen gekennzeichnet sind, macht die Wartung zu einer Herausforderung. AR ermöglicht eine „virtuelle Röntgen“-Funktion, die es dem Personal ermöglicht, interne Komponenten zu visualisieren und Probleme schnell zu identifizieren.

Funktionales Mockup

Augmented Reality ermöglicht die Erstellung von Modellen, die sowohl physische als auch digitale Komponenten integrieren. Durch den Einsatz der SLAM-Technologie (Simultaneous Localization and Mapping) können diese Modelle mit der physischen Umgebung interagieren und dadurch realistischere Sinneserlebnisse ermöglichen, beispielsweise die Objektpermanenz. Ohne den kombinierten Einsatz digitaler und physischer Hilfsmittel wären solche Interaktionen in der Regel unpraktisch oder äußerst schwierig zu überwachen und zu analysieren.

Übersetzung

Augmented-Reality-Anwendungen, am Beispiel von Word Lens, sind in der Lage, fremden Text auf Schildern und Speisekarten zu interpretieren und ihn anschließend in der Muttersprache des Benutzers in ihrer erweiterten Ansicht erneut anzuzeigen. Ebenso kann gesprochene Fremdsprache übersetzt und dem Benutzer als Untertitel auf dem Bildschirm präsentiert werden.

Human-in-the-Loop-Betrieb von Robotern

Die jüngsten Fortschritte bei Mixed-Reality-Technologien haben das wissenschaftliche und industrielle Interesse an der Erforschung alternativer Kommunikationsparadigmen für die Mensch-Roboter-Interaktion wiederbelebt. Menschliche Bediener, die mit Augmented-Reality-Headsets wie HoloLens ausgestattet sind, können Robotersysteme und Hebemaschinen in einer digitalen Fabrikumgebung effektiv steuern und überwachen. Diese spezifische Anwendung erfordert einen Echtzeit-Datenaustausch zwischen der Mixed-Reality-Schnittstelle und der Maschine, dem Prozess oder der Anlage, eine Anforderung, die durch die Integration der Digital-Twin-Technologie optimal erfüllt wird.

Real-World Content Filtering

Eine Umfrage ergab, dass über ein Drittel der fortgeschrittenen Internetnutzer den Wunsch äußerten, unerwünschte Elemente wie Müll oder Graffiti digital aus ihrer Umgebung zu entfernen. Darüber hinaus zeigten diese Benutzer Interesse daran, ihre Umgebung zu verändern, indem sie Straßenschilder, Plakatwerbung und uninteressante Ladenauslagen digital löschten. Verbraucher möchten Augmented-Reality-Brillen nutzen, um ihre physische Umgebung in ein personalisiertes Spiegelbild ihrer individuellen Vorlieben zu verwandeln. Ungefähr zwei Fünftel der Befragten wünschten sich auch, das visuelle Erscheinungsbild ihrer Umgebung und sogar die Wahrnehmung von Personen darin zu verändern.

Anwendungen

Snapchat-Benutzer haben Zugriff auf integrierte Augmented-Reality-Funktionen. Im September 2017 führte Snapchat „Sky Filters“ ein, eine Funktion, die Augmented Reality nutzt, um das Erscheinungsbild des Himmels in Fotos zu verändern, analog zu der Art und Weise, wie Benutzer Filter auf andere Bilder innerhalb der Anwendung anwenden. Benutzer können aus verschiedenen Himmelsfiltern auswählen, darunter Optionen wie Sternennacht, stürmische Wolken, malerische Sonnenuntergänge und Regenbögen.

Google hat in Google Maps für Pixel-Telefone eine Augmented-Reality-Funktion implementiert, die den Standort eines Nutzers identifiziert und Wegweiser und Pfeile auf dem Gerätebildschirm einblendet, um Navigationshilfen bereitzustellen.

Bedenken

Unfälle

Eine wissenschaftliche Arbeit mit dem Titel „Tod durch Pokémon GO“, verfasst von Forschern der Krannert School of Management der Purdue University, geht davon aus, dass das Spiel zu „einem unverhältnismäßigen Anstieg von Fahrzeugunfällen und den damit verbundenen Fahrzeugschäden, Personenschäden und Todesfällen in der Nähe von Orten, sogenannten PokéStops, beitrug, an denen Benutzer das Spiel während der Fahrt spielen können.“ Unter Verwendung von Daten einer einzelnen Gemeinde extrapolierte das Papier diese Ergebnisse landesweit und kam zu dem Schluss, dass „der Anstieg der Unfälle, der auf die Einführung von Pokémon GO zurückzuführen ist, 145.632 beträgt, mit einem damit verbundenen Anstieg der Zahl der Verletzungen um 29.370 und einem damit verbundenen Anstieg der Zahl der Todesfälle um 256 im Zeitraum vom 6. Juli 2016 bis zum 30. November 2016.“ Die Autoren schätzten die finanziellen Kosten dieser Unfälle und Todesfälle im gleichen Zeitraum auf 2 bis 7,3 Milliarden US-Dollar.

Datenschutzbedenken

Augmented-Reality-Geräte, die Kameras für 3D-Tracking oder Video-Passthrough verwenden, sind von Natur aus auf ihre Fähigkeit angewiesen, die Umgebung in Echtzeit aufzuzeichnen und zu analysieren. Diese Betriebseigenschaft wirft potenzielle rechtliche Probleme in Bezug auf den Datenschutz auf.

Jüngsten Untersuchungen zufolge sind Benutzer besonders besorgt, dass Augmented-Reality-Datenbrillen die Privatsphäre anderer gefährden könnten, was möglicherweise dazu führen könnte, dass Gleichaltrige bei sozialen Interaktionen Unbehagen oder verminderte Offenheit verspüren.

Bemerkenswerte Forscher

• Ronald Azuma ist ein angesehener Wissenschaftler und Autor, der für seine Beiträge zur Augmented-Reality-Literatur bekannt ist.
• Steve Mann war in den 1970er und 1980er Jahren Pionier einer frühen Konzeptualisierung der vermittelten Realität und nutzte Kameras, Prozessoren und Anzeigesysteme, um die visuelle Realität zu modifizieren. Seine Arbeit zielte darauf ab, das menschliche Sehvermögen durch dynamisches Bereichsmanagement zu verbessern, was zur Entwicklung computergestützter Schweißhelme und „Augmediated Reality“-Sichtsystemen für den täglichen Gebrauch führte. Er fungiert auch als Berater von Meta.
• Dieter Schmalstieg und Daniel Wagner entwickelten 2009 Marker-Tracking-Systeme speziell für Mobiltelefone und PDAs.
• Ivan Sutherland wird die Erfindung des ersten Augmented-Reality-Systems zugeschrieben, das häufig als „Damoklesschwert“ an der Harvard University bezeichnet wird.

Referenzen

Referenzen

Medien zum Thema Augmented Reality sind auf Wikimedia Commons verfügbar.

• Medien zum Thema Augmented Reality bei Wikimedia Commons