Anwendungen der Augmented Reality

by Prof. Gudrun Klinker
Supervisors: Frieder Pankratz and Christian Waechter
SWS: 2
Programs: Informatics (Bachelor), Informatics (Diploma)
ECTS: 4 Credits

The course will be conducted in English.

About the Seminar

Augmented Reality (AR) is a new technology which superimposes virtual information onto the real environment. The information is displayed in 3D and seamlessly integrated in the user's view of the scene.

This proseminar shall provide students with an overview on "classical" approaches and applications of Augmented Reality. In each session papers which are representative for different aspects of AR are discussed. Each participant has to prepare such a talk (~45 min), present it and discuss it with the group.

Erweiterte Realität (Augmented Reality, AR) ist eine neue Technologie, die die reale Umgebung mit virtuellen Informationen anreichert. Die Informationen werden hierbei 3-dimensional und lagegerecht in das Sichtfeld des Benutzers eingeblendet.

In diesem Proseminar sollen Studierende einen Überblick über "klassische" Ansätze und Anwendungen von AR gewinnen. Hierzu wird bei jedem Veranstaltungstermin ein oder mehrere repräsentative Papers zu verschiedenen Aspekten der AR besprochen. Die Aufgabe jedes Teilnehmers besteht dabei darin, einen solchen Vortrag (ca. 45 min) zu halten und mit der Gruppe zu diskutieren.

Organisation

• Ein Seminar besteht aus ca. 12 (oder mehr) Vorträgen über eine Auswahl der unten aufgeführten Themen
• Das Seminar wird als Blockveranstaltungen abgehalten.
• Blockveranstaltungen sind vor oder zu Beginn des Semesters. Der Termin wird nach Absprache der Teilnehmer festgelegt.
• Raum: 03.13.010

• Jeder Teilnehmer hält einen ca. 3-minütigen Kurzvortrag (den wir auf Video aufnehmen und dann gemeinsam besprechen) und dann am nächsten Seminartag einen Langvortrag.

Termine

• Raum 03.13.010
• 13.02. : Einsendeschluss Themenwahl
• 19.-20.4 : 1.-2. Blockveranstaltungen: Kurzvorträge, Genaues Datum wird noch festgelegt
• 26.-28.4 : 3.-5. Blockveranstaltungen: Vorträge

Anforderungen für einen Schein

• Gut vorbereiteter Vortrag (~45 Min) mit anschließender Diskussion
• Ausarbeitung (2-6 Seiten)
• Anwesenheit bei allen Vortragsterminen (schriftliche Entschuldigung bei notwendiger Abwesenheit)
• Lebhafte Beteiligung an der Diskussion zu den Vorträgen (Anmerkung: Die Fähigkeit zur kritischen und interessierten Aufnahme und Diskussion neuer Ideen ist ein Lernzeil dieser Veranstaltung. Es gibt keine dummen Fragen. Es ist auch ok, zu einem Vortragsthema Bedenken zu äußern.)
• Sprache für Vortrag, Folien und Ausarbeitung: Deutsch oder (gerne auch!) Englisch

Zeitplanung zur Vorbereitung auf den eigenen Vortrag

• Checklisten zur Vor- und Nachbereitung vom Vortrag
• 4-6 Wochen vor dem Vortrag: Gliederung und Literaturliste
• 1 Woche vor dem Vortrag: Kurzvortrag (3 Minuten) zur Einstimmung der gesamten Gruppe auf das eigene Thema. Diese Präsentation wird auf Video aufgenommen und anschließend in der Gruppe angeschaut und diskutiert (damit man aus möglichen Fehlern lernen und seinen Stil verbessern kann).
• 2 Wochen vor dem Vortrag: Folien (Beispiel)
• 1 Woche vor dem Vortrag: ausformulierte Ausarbeitung (2-6 Seiten) (Beispiel)

Termine

Termin	Thema	Vortragende(r)	Supervisor	Termin Kurzvortrag	Folien
19.-20.4 09:00-12:00	Kurzvorträge
26.4. 10:00-11:00	AR for medical applications	Maximilian Jakasovic	Christian Waechter	19.4.
26.4. 13:00-14:00	Displays and projectors - visualization techniques	Andreas Fuchs	Christian Waechter	19.4.
26.4. 14:00-15:00	AR for military applications	Philipp Kopp	Christian Waechter	19.4.
28.4. 10:00-11:00	AR in entertainment: Exhibits & Museums, Movies & TV	Sabine Küng	Christian Waechter	19.4.
28.4. 11:15-12:15	Tabletop Mixed Reality Interfaces	Matthias Schwab	Christian Waechter	20.4.
28.4. 14:00-15:00	AR supporting Sports Analytics	Markus Bauer	Christian Waechter	20.4.
26.4. 09:00-10:00	AR for production and planning	Seán Labastille	Frieder Pankratz	19.4.
26.4. 11:15-12:15	Emergency Assistance Applications	Daniel Baumann	Frieder Pankratz	19.4.
26.4. 15:15-16:15	AR for education and training	Gerhardt Mesch	Frieder Pankratz	20.4.
28.4. 09:00-10:00	Acceptance of AR applications	Simon Mießler	Frieder Pankratz	20.4.
28.4. 13:00-14:00	AR for service and maintenance	Tobias Wolff	Frieder Pankratz	20.4.
28.4. 15:15-16:15	AR for design and construction	Alejandro Rueda	Frieder Pankratz	20.4.

Informationen zu Literaturrecherche, Vortrag und Ausarbeitung

Auf ParticipateInASeminar findet ihr Informationen über die Teilnahme an einem Seminar. Die Informationen auf der Seite beschreiben die Teilname an einem Seminar im allgemeinen. Von euch wird nicht so viel verlangt. Die Vorträge und Ausarbeitung sind kürzer.

Themen

Anmerkungen:

• Da Augmented Reality ein sehr international geprägtes Gebiet ist, sind die bereitgestellten Unterlagen überwiegend in Englisch.
• Das aufgeführte Material reicht für mehr als einen Vortrag pro Thema. Der Umfang einzelner Vorträge wird in der Vorbesprechung, bzw. in Einzelbesprechungen während der Vorbereitungsphase festgelegt.
• Es wird erwartet, dass sich Vortragende selbstständig weitergehend zum ausgewählten Themabereich informieren und neuestes Material (z.B.: Videos oder Bilder) hinzu fügen.

Introduction to AR (general reading for everybody)

• R. Azuma,
  A Survey of Augmented Reality
• R. Azuma, Y. Baillot, R. Behringer, S. Feiner, S. Julier, B. Macintyre,
  Recent Advances in Augmented Reality

1. Displays and projectors - visualization techniques

• first Head-Mounted Display by Ivan Sutherland (1968)
• J. Rolland and O. Cakmakci The past, present, and future of head-mounted display designs. Proc. SPIE, 5638:368–377, 2004.
• O. Cakmakci and J. Rolland,
  Head-worn displays: A review.
  IEEE Journal of Display Technologies, 2(3):199–216, 2006.
• Viirre, E., Pryor, H., Nagata, S., Furness, T. A. (1998),
  The Virtual Retinal Display: A New Technology for Virtual Reality and Augmented Vision in Medicine
• Aktuell verfügbare HMDs
• O. Bimber, R. Raskar; Spatial Augmented Reality: Merging Real and Virtual Worlds; A. K. Peters, Ltd., Natick, MA, USA, 2005, Kapitel 8

2. Tracking and calibration - how to get those objects in the right place

• Rolland, J.P., L. Davis, and Y. Baillot, A Survey of Tracking Technology for Virtual Environments, in Augmented Reality and Wearable Computers, Ch. 3, Ed. Barfield and Caudell, Mahwah, NJ., 2001.
• Gary Bishop, Greg Welch, and B. Danette Allen, Tracking: Beyond 15 Minutes of Thought, SIGGRAPH 2001 Course Notes
• Greg Welch, Eric Foxlin, Motion Tracking: No Silver Bullet, but a Respectable Arsenal IEEE Computer Graphics and Applications, 22 (6), Nov/Dec 2002

3. AR for medical applications: Surgery

3.1 Port Placemnet using medical AR methods

• M. Feuerstein, S.M. Wildhirt, R. Bauernschmitt, N. Navab,
  Automatic Patient Registration for Port Placement in Minimally Invasive Endoscopic Surgery
  Proceedings of Medical Image Computing and Computer-Assisted Intervention (MICCAI 2005), Palm Springs, USA, October 2005
• R. Bauernschmitt, M. Feuerstein, E.U. Schirmbeck, J. Traub, G. Klinker, S.M. Wildhirt, R. Lange
  Improved Preoperative Planning in Robotic Heart Surgery
  IEEE Proceedings of Computers in Cardiology (CinC^? 2004), pp. 773 - 776, Chicago, USA, September 2004
• J. Traub, M. Feuerstein, M. Bauer, E.U. Schirmbeck, H. Najafi, R. Bauernschmitt, G. Klinker
  Augmented Reality for Port Placement and Navigation in Robotically Assisted Minimally Invasive Cardiovascular Surgery
  Proceedings of Computer Assisted Radiology and Surgery (CARS 2004), pp. 735 - 740, Chicago, USA, June 2004
• Publikationen auf http://campar.in.tum.de/Chair/ProjectCamC

3.2 Ultrasound for medical AR

• G. Stetten, D. Shelton, W. Chang, V. Chib, R. Tamburo, D. Hildebrand, L. Lobes, J. Sumkin,
  Towards a clinically useful Sonic Flashlight,
  IEEE International Symposium on Biomedical Imaging 2002
• G. Stetten, V. Chib,
  Overlaying Ultrasound Images on Direct Vision,
  Journal of Ultrasound in Medicine, vol. 20, no. 3, pp. 235-240, 2001
• G. Stetten, V. Chib, R. Tamburo,
  Tomographic Reflection to Merge Ultrasound Images with Direct Vision,
  IEEE Proceedings of the Applied Imagery Pattern Recognition (AIPR) annual workshop, 2000, pp. 200-205.

4. AR in entertainment: Exhibits & Museums, Movies & TV

• O. Grau, A 3D production pipeline for special effects in TV and film, Proc. of Mirage 2005 conference, Computer Vision/Computer Graphics Collaboration Techniques and Applications. INRIA Rocquencourt, France, March 2005.
• O. Grau, 3D sequence generation from multiple cameras, Proc. of IEEE, International workshop on multimedia signal processing 2004, (Siena, Italy), September 2004.
• O. Grau, T. Pullen, G.A. Thomas, A combined studio production system for 3D capturing of live action and immersive actor feedback, IEEE Trans. on Circuits and Systems for Video Technology, March 2004.
• O. Grau, A studio production system for dynamic 3D content, Proceedings of Visual Communications and Image Processing 2003, Proceedings of SPIE Vol. 5150 (2003).
• G.A. Thomas, M. Koppetz and O. Grau, New methods of image capture to support advanced post-production, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2003.
• O. Grau, R. Koch, F. Lavagetto, M. Milne, E. Murphy, M. Price, O. Razzoli, A. Sarti, L. Spallarossa, S. Tubaro, J. Woetzel, New production tools for the planning and the on-set visualisation of virtual and real scenes, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2003.
• M. Price, J. Chandaria, O. Grau, G.A. Thomas, D. Chatting, J. Thorne, G. Milnthorpe, P. Woodward, L. Bull, E-J. Ong, A. Hilton, J. Mitchelson, J. Starck, Real-time production and delivery of 3D media, Proc. International Broadcasting Convention, Amsterdam, Netherlands, September 2002.
• BBC Research: http://www.bbc.co.uk/rd/projects/virtual/publications.shtml

5. Tabletop Mixed Reality Interfaces

• one of the first: P. Wellner,
  Interacting with paper on the DigitalDesk
• very widely known: J. Han,
  Low-cost multi-touch sensing through FTIR
• J. Rekimoto,
  SmartSkin: an infrastructure for freehand manipulation on interactive surfaces
• H. Ishii, B. Ullmer,
  Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms
• S. Greenberg, C. Fitchett,
  Phidgets: easy development of physical interfaces through physical widgets
• M. Kaltenbrunner, R. Bencina,
  reacTIVision: a computer-vision framework for table-based tangible interaction

6. AR for design and construction

• ARVIKA
  Friedrich, Wolfgang (Hrsg.)
  ARVIKA - Augmented Reality in Entwicklung, Produktion und Service
• D. Reiners, D. Stricker, G. Klinker, and S. Mueller,
  Augmented Reality for Construction Tasks: Doorlock Assembly
• A. Webster, S. Feiner, B. MacIntyre^?, W. Massie, T. Krueger,
  Augmented Reality in Architectural Construction, Inspection and Renovation
• G. Klinker, A. Dutoit, M. Bauer,
  Fata Morgana - A Presentation System for Product Design
• M. Fiorentino, R. de Micis, G. Monno, A. Stork,
  Spacedesign: A Mixed Reality Workspace for Asthetic Industrial Design
  IEEE and ACM International Symposium on Mixed and Augmented Reality 2002
• P. Santos, A. Stork, T. Gierlinger, A. Pagani
  IMPROVE: An innovative application for collaborative mobile mixed reality design review
  Proceedings of Virtual Concepts 2006

7. AR for military applications

• M. Livingston et al.,
  An Augmented Reality System for Military
• S. Julier, Y. Baillot, M. Lanzagorta, D. Brown et al.,
  BARS: Battlefield Augmented Reality System
• J. Hicks, R. Flanagan, P. Petrov, A. Stoyen,
  Eyekon: Distributed Augmented Reality for Soldier Teams

8. AR for service and maintenance

• ARVIKA und ARTESAS
  Friedrich, Wolfgang (Hrsg.)
  ARVIKA - Augmented Reality in Entwicklung, Produktion und Service
• S. Feiner, B. Macintyre, D. Seligmann,
  Knowledge-based Augmented Reality
• A. Janin, D. Mizell, T. Caudell,
  Calibration of head-mounted displays for augmented reality
• J. Platonov, H. Heibel, P. Meier, B. Grollmann
  A mobile markerless AR system for maintenance and repair

9. AR for product presentation and sales

• X. Zhang, N. Navab, S.-P. Liou,
  E-commerce direct marketing using augmented reality
• K. Dempski,
  Context-Sensitive eCommerce
  Conference on Human Factors in Computer Systems 2000
• Online product presentation demo

10. AR for education and training

• X. Zhong, P. Boulanger, N. Georganas,
  Collaborative Augmented Reality: A Prototype for Industrial Training
• B. Schwald, B. de Laval,
  An Augmented Reality System for Training and Assistance to Maintenance in the Industrial Context
• P. Boulanger,
  Application of Augmented Reality to Industrial Tele-Training
• R. Bischoff, A. Kazi,
  Perspectives on augmented reality based human-robot interaction with industrial robots
• C. Hughes, C. Stapleton, D. Hughes, E. Smith,
  Mixed Reality in Education, Entertainment and Training
• H. Kaufmann,
  Collaborative Augmented Reality in Education
• M. Billighurst,
  Augmented Reality in Education

11. Handheld AR

• M. Moehring, C. Lessig, and O. Bimber
  Video See-Through AR on Consumer Cell Phones
  In proceedings of International Symposium on Augmented and Mixed Reality (ISMAR'04), 2004
• M. Moehring, and C. Lessig, and O. Bimber
  Optical Tracking and Video See-Through AR on Consumer Cell Phones
  In proceedings of Workshop on Virtual and Augmented Reality of the GI-Fachgruppe AR/VR, 2004
• Siemens AG,
  Virtual Mosquito Hunt
• Ojom GmbH,
  Augmented Reality Games
• Kiriakos N. Kutulakos and James R. Vallino
  Calibration-Free Augmented Reality
  IEEE Transactions on Visualization and Computer Graphics, vol. 4, no. 1, pp. 1-20, 1998
• Kiriakos N. Kutulakos and James R. Vallino
  Affine Object Representations for Calibration-Free Augmented Reality
  Proceedings of IEEE Virtual Reality Annual International Symposium (VRAIS), pp. 25-36, 1996

12. AR for production and planning

• ARVIKA
  Friedrich, Wolfgang (Hrsg.)
  ARVIKA - Augmented Reality in Entwicklung, Produktion und Service
• F. Echtler, F. Sturm, K. Kindermann, G. Klinker, J. Stilla, J. Trilk, H. Najafi,
  The Intelligent Welding Gun: Augmented Reality for Experimental Vehicle Construction
• F. Doil, W. Schreiber, T. Alt, C. Patron,
  Augmented reality for manufacturing planning
  ACM Proceedings of the Eurographics Workshop on Virtual Environments 2003
• T. Alt
  Augmented Reality in der Produktion
• K. Pentenrieder, F. Doil, C. Bade, P. Meier,
  Augmented Reality based factory planning - an application tailored to industrial needs
  The Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality, Nara, Japan, Nov. 13 - 16, 2007

13. Acceptance of AR applications

• H. Regenbrecht,
  Industrial Augmented Reality Applications
• N. Navab,
  Industrial Augmented Reality: Challenges in Design and Commercialization of Killer Apps
• N. Navab,
  Developing killer apps for industrial augmented reality

Vorbesprechung

• Do. 10. Februar 2011, 11-12 Uhr
• Raum 03.013.010

Registrierung

• geschlossen/closed
• Interessierte können trotzdem zur Vorbesprechung kommen, für den Fall, dass es Nachrückplätze gibt.
• Interested persons still can join the preliminary meeting, in the case someone else droppes the seminar.
• Aufgrund einiger Irritation: Die Anmeldung über TUMOnline bleibt gültig. Es ist keine erneute Anmeldung via Email mehr nötig.
• Due to some confusion: The registration via TUMOnline is still valid. There is no need for a registration via email anymore.
• Registrierung per Email an Christian Waechter.
• Plätze werden auf "first-come-first-served" Basis vergeben.