Eyetracking könnte für VR-Brillen sehr wichtig werden. Ich denke das wird quasi die zweite Generation von Virtual Reality.
Hier einige Gründe:
1. Foveated-Rendering
Das menschliche Auge löst nur einen sehr kleinen Bereich des FoV(FieldOfView) tatsächlich hoch auf.
Ca. 2°.(Oculus und Morpheus haben bei um die 90° insgesamt)
Kann man die Pulille nun genau tracken, dann kann das Bild so rendern, dass es nur da scharf ist wo auch das Auge scharf ist, sprich es werden nur für sehr kleine Bereiche am Bildschirm viele Ressourcen benötigt, der Rest kann in LowRes gerendert werden ohne, dass es auffällt.(niedrig aufgelöste Cubemaps
Das nennt sich foveated-rendering (
Wikipedia: Foveated imaging )
Hier eine Grafik die zeigt wieviele Pixel man rendern muss um bei einem bestimmten FoV ein scharfes Bild zu erzeugen.
Man sieht wie die nötigen Pixel exponentiell ansteigen bei der herkömmlichen Technik, mit foveated-rendering bleiben die nötigen Pixel aber sehr gering. Bei einem 70° FoV wird nur ein 1/100 der Rendering Power benötigt im Vergleich zu der herkömmlichen Technik.
Somit könnte man schon mit recht wenig Hardwarepower sehr aufwändige Grafik in extrem hoher Auflösung darstellen. Es würde wohl schon ein Smartphone ausreichen um extrem detailreiche Grafik in 8k zu berechnen.
2. Eye-relative motion blur.
Unsere Augen sehen temporal-aliasing Artefakte selbst bei einer Framrate von 10000 FPS noch.
Eye-relative motion blur eliminiert diese Artefake schon bei einer Framerate von nur 120FPS, das Bild sieht damit aus wie die Realität für uns. Selbst sehr schnelle Objekte, wie bspw. Felgen von Fahrenden Autos, sehen dann realitisch aus.
3. Erweiterte Interaktivität:
Da das Spiel nun Daten hat wo wir hingucken eröffnen sich neue Möglichkeiten der Interaktion.
Hier eine Techdemo von Sony auf der GDC vor einigen Tagen:
Controlling a PlayStation with your eyes: 'Infamous: Second Son' | GDC 2014
Externer Inhalt
Durch das Abspielen werden Daten an Youtube übermittelt und ggf. Cookies gesetzt.
Was brauchen wir:
Das Auge hat zwei Arten der Bewegung.
1. Smooth Pursuit Eye Movement: Bis zu 30°/sek.
2. Saccades: Bis zu 800°/sek.
Man muss ein verwaschenes Bild während den saccades haben und ein scharfes Bild während den smooth pursuits. Da man sowieso ein verwaschenes Bild ausserhalb des 2° breiten Fokuspunktes hat sollten die Saccades kein Problem sein.
Der Eyetracker muss also nur schnell genug für Smooth Pursuit sein.
Der Tracker aus Sonys Demo hatte folgende Specs:
0.03° resolution
0.4° acuracy
500 Hz sampling rate
4ms latency (1/2 frame @120Hz)
http://www.smivision.com/en/gaze-and-eye-tracking-systems/products/red-red250-red-500.htmlDas wäre bereits mehr als geeignet. Jetzt müssen sie den nur noch in ein Headset mit 8k und 120FPS Screen einbauen.
Was bekommt man?
-Knackscharfe Grafik mit einem realitätsechten motion blur.
-neue Interaktionsmöglichkeiten. Das Spiel weiß zu jeder Zeit wo man hinguckt.
-enorme Performanceeinsparung.
@mayday Das geht aber in die Richtung von Sonys HMZ. Damit hast du den Eindruck als würde vor dir eine Leinwand schweben auf die du guckst, während du mit Oculus Rift und Morpheus nicht das Gefühl hast auf eine Leinwand oder einen Screen zu schauen sondern das was du siehst ganz normal wie deine reale Umwelt siehst.