Entwicklung und Evaluation eines Projected-AR-Overlay-Frameworks für Objekte auf Tischoberflächen

Augmented Reality beschreibt die Überlagerung der realen Umgebung mit virtuellen Objekten. Diese Überlagerung kann entweder auf einem Display passieren oder durch Projektion virtueller Objekte auf die reale Umgebung. Hierbei müssen in der Regel die überlagerten Objekte dynamisch an die Perspektive des Benutzers Ein bisher kaum verfolgter Ansatz ist, modifizierte Fotos/Videos eines Objekts deckungsgleich wieder auf dieses selbst zu projizieren.

Ziel der Arbeit ist die Entwicklung eines Frameworks und prototypischer Demo-Anwendungen für die Aufnahme eines Objekts/Raums und die Re-Projektion darüber.

Dadurch sollen die optischen Eigenschaften des Objekts/Raums subtil verändert werden:

• Realität überhöhen - Sättigung, Kontrast erhöhen, Glow hinzufügen
• Realität abschwächen - matter, dunkler
• Subtile Effekte - zittern, Glanzlichter oder Eidechsen, die über das Objekt huschen

Außerdem kann man durch Re-Projektion des Objekts zu früheren Zeitpunkten weitere interessante Effekte erzeugen:

• Wenn man lange auf ein Erinnerungsstück starrt, werden im Raum frühere Erinnerungen wieder hergestellt, die man damit verbindet - z.B. sitzen frühere Gäste wieder auf der eigenen Couch.
• andere Trigger: Märchenwald über die Realität blenden, wenn man das Märchenbuch aufschlägt.
• Serendipitous Room - Blende kurze Zeitfetzen früherer Aktivitäten ein - z.B. frühere Objekte, die auf dem Tisch lagen

In der Arbeit sollen folgende Fragen untersucht werden:

• wie stark kann man die Realität durch Reprojektion verändern? Welche Objekte und Oberflächen sind besonders gut geeignet?
• wie langsam/subtil muss man die Veränderung machen, damit sie nicht auffällt?
• (erhöht Reprojektion die Immersion?)
• (wie kann ich Objekte auf einer 2D-Oberfläche so anzeigen, dass sie aus verschiedenen Richtungen akzeptabel aussehen? Evtl. 3D-Hints von verschiedenen Richtungen mergen. Wie macht man das?)

Im Rahmen einer Bachelorarbeit beschränkt man sich auf eine oder mehrere Teilfragen.

• Bau einer Kamera/Projektor-Kombination inkl. Kalibrierung (1 Woche)
• Implementierung eines Toolkits zum selektiven Aufzeichnen/Verändern/Mischen/Wiedergeben von Realität, inkl. UI dafür, z.B. auf Basis von OpenCV und Python (2 Wochen)
  • Filter: invertieren, Helligkeit, Kontrast, Umriss/Kantenerkennung, Weichzeichner (Lowpass), Schärfen (Highpass), Comic, Textur (Holz, …), Highlighting einzelner Objekte, Farbverschiebung, Partikeleffekte
• Implementierung einer Demo-Anwendung bzw. Finden sinnvoller Use Cases (1 Woche)
• Durchführung einer qualitativen Studie um zu untersuchen, welche Effekte von Benutzern bemerkt werden und einen Nutzen bringen (1 Woche)
• Schreiben der Ausarbeitung (1-2 Wochen)

Hilfreich sind Kenntnisse im Bereich Videoverarbeitung (z.B. OpenFrameworks, libavg, VTK)

• Microsoft Research: IllumiRoom
• MobiSpray
• Raskar et al.: Shader Lamps: Animating Real Objects With Image-Based Illumination
• Wimmer, R. und Echtler, F. „VIGITIA: Unterstützung von alltäglichen Tätigkeiten an Tischen durch Projected AR“, Proceedings of the Mensch und Computer 2019 Workshop on Virtual and Augmented Reality in Everyday Context (VARECo), Hamburg, Deutschland. ACM, New York, NY, USA, https://doi.org/10.18420/muc2019-ws-620