S3D & WibbleWobble

For den nysgjerrige spilleren
En beskrivelse av teknologien på populærnivå, hvordan den er bygget opp og hvordan den fungerer. Hvis du ikke er interessert, er det ikke nødvendig å lese det - det er tørt stoff.

Slik tegner et spill 3D
Den vanlige måten å produsere et 3D-bilde i et spill på er å gjengi scenen to ganger - separat for venstre og høyre øye, ved å virtuelt flytte kameraet i forhold til midten av scenen. Dette er ressurskrevende og krever innebygd støtte fra spillmotoren. Ikke alle spill kan gjøre dette. WibbleWobble tilbyr to forskjellige veier, og forskjellen mellom dem er grunnleggende - den bestemmer både bildekvaliteten og settet med bildeartefakter.

Veien én: ReShade Client - syntetisering av stereo fra en flat ramme
Spillet gjengir en enkelt vanlig visning. SuperDepth3D ReShade-effekten tar den rammen sammen med scenens dybdebuffer og rekonstruerer et andre synspunkt fra den ved å forskyve piksler i henhold til dybde. Spillmotoren vet ingenting om stereo. Dette er billig når det gjelder ytelse og fungerer med nesten alle DX11/DX12-spill. Avveiningen er artefaktene som er iboende i selve metoden. De er beskrevet nedenfor, i avsnittene "Ulemper".

Veien to: OpenVR Client - ekte 3D-gjengivelse
WibbleWobble registrerer seg selv i SteamVR som et virtuelt VR-headset. Et VR-kompatibelt spill, eller et med en VR-mod, gjengir scenen to ganger fra to kameraer adskilt av pupillavstanden, akkurat som et ekte headset gjør. IPD, oppløsning per øye og brennvidde settes i VR Config. Her syntetiserer WibbleWobble ingenting: den tar det ferdige stereoparet og sender det til skjermen rammesekvensielt, og synkroniserer lukkerbrillene. Dette koster mer i ytelse, men 3D-geometrien er helt korrekt. Ingen hull langs konturer, ingen "papp"-effekt; hvert øye får sine egne refleksjoner og høylys. I hovedsak er dette en måte å spille VR-spill på en vanlig skjerm med 3D-briller, men uten et headset.

Reprojeksjon - mekanismen for utvidelse av synsfelt
Reprojeksjon fungerer i begge moduser, inkludert monokulær. En høyytelses shader tar spillrammen og kartlegger den på geometrien til ditt arbeidsområde: på en enkelt skjerm, eller fire skjermer, eller en buet skjerm. Gjennom hodesporing (OpenTrack) forskyves bildet for å følge hodet ditt, og skjermene begynner å fungere som et vindu inn i en virtuell verden - "VR-fisketank"-effekten. Hensikten med reprojeksjon er å oppnå riktig verdensskala og riktig synsfelt (FOV) for bruk av flere skjermer. Reprojeksjon kan slås helt av (Client Config -> Reprojection: Disabled) og du kan bare bruke stereoutgangen, BFI og oppskaleringen - det vanlige scenariet for en enkelt skjerm.
* Det må sies at prosjektets forfatter var altfor optimistisk med tanke på ideen om å "utvide verden" over flere paneler. Selv kraftige grafikkort har ikke nok ytelse til dette. Du er heldig hvis hastigheten er nok for en enkelt 4K-skjerm. Det vil ikke fungere med flere skjermer...

FOV (Field of View): synsvinkelen. Den bestemmer hvilken sektor av verden det virtuelle kameraet fanger i rammen. Det måles i grader, separat for vertikal og horisontal. En liten FOV (40-50°) ser ut som et teleobjektiv: en smal sektor med store objekter. En stor FOV (100-120°) er vidvinkel, som et actionkamera. Du ser mye til sidene, men kantene er strukket og objekter virker fjernere og mindre. Dette er en nøkkelparameter i WibbleWobble. Programmet må vite vinkelen som spillet tegnet rammen med for å kunne projisere den riktig på din fysiske skjerm. Derfor har Game Config to felt, FOV Vertical og FOV Horizontal, med ett krav: verdien må samsvare med den som er satt i selve spillet. Endre en verdi og den andre beregnes automatisk på nytt for å matche vinduets sideforhold.

Hvis FOV er:
for stor ser verden lekeaktig ut og skalaen til objekter er forvrengt
for lav virker verden gigantisk og alt tårner seg over deg
i 3D brytes dybden sammen med skalaen, og anstrengelse for øynene oppstår

Hodesporing som et "vindu inn i verden"
Ved å bruke OpenTrack-metoden sporer applikasjonsbehandleren posisjonen til hodet og forskyver projeksjonen slik at skjermen gjengir et virtuelt vindu inn i 3D-scenen. Dette skaper en parallakseeffekt. Når du beveger hodet, forskyves bildet litt, som om du virkelig så gjennom et vindu.

Rammesekvensiell stereoutgang
Applikasjonen mottar rammer fra spillet med en variabel hastighet etter hvert som de blir klare, "uansett hvordan de kommer." Klienten justerer deretter bildefrekvensen for avspilling ved 60 Hz. Kilden til stereoparet kan være SuperDepth3D, en VR-mod, eller ferdig 3D-innhold. WibbleWobble aksepterer det i side-by-side- eller sjakkbrettformat (Client Config -> Source Format) og dekoder det i FrameBufferDecode. Rendereren konverterer det deretter til en 120 Hz rammesekvensiell strøm mens den synkroniserer lukkerbrillene. Følgende sendere støttes: NVIDIA 3D Vision, Open3DOLED, DLP-projektorer, 3D Ready, og en hjemmelaget Arduino/VESA IR-sender.

Bekjempelse av bevegelsesuskarphet og overhøring
Bevegelsesuskarphet er uskarphet produsert av skjermen. Moderne LCD- og OLED-paneler holder en piksel tent i løpet av rammens varighet - sample-and-hold-modusen. Mens pikselen forblir tent og fast i én posisjon, følger øynene instinktivt det bevegelige objektet. Som et resultat "smøres" bildet på selve netthinnen, selv om hver enkelt ramme på skjermen er perfekt skarp. Jo lenger en piksel forblir tent, desto sterkere er smøringen. Defekten skjuler fine detaljer og forringer i tillegg bildet i 3D-modus.

For å redusere pikselens tente tid, gir WibbleWobble to verktøy:
Black Frame Insertion - innsetting av en svart ramme mellom de nyttige (parameteren Black Frame Insertion Interval i Client Config).
CRT Beam Simulator av Blur Busters - en shader som imiterer sveipet til en CRT-elektronstråle: den slukker bildet linje for linje i stedet for som en hel ramme. Det gir et bedre resultat, men er krevende for skjermen: det trenger gamma 2.2 eller 2.4, ABL/APL deaktivert, og OLED i SDR-modus. På FALD- og MiniLED-paneler fungerer det dårlig på grunn av baklysets treghet.

Disse to modusene må ikke aktiveres samtidig. Når du bruker CRT Sim, må parameteren Black Frame Insertion Interval i Client Config være null. Det er verdt å understreke separat at spillet kan kjøre med en lavere hastighet enn skjermen sender ut rammer, og programmet fyller inn de manglende rammene opp til skjermens hastighet. Men dette er ikke generering av nye mellomliggende bilder - det er en gjentakelse av ferdige. Med andre ord er det ingen av glattheten som en resamplingsmetode gir.

Overhøring er effekten der bildet beregnet for ett øye delvis når det andre øyet. Som et resultat ser betrakteren doble konturer eller semi-transparente "spøkelser" ved siden av objekter. Dette forringer kvaliteten på 3D-bildet og reduserer følelsen av dybde. For å bekjempe dette er støtte for Black Frame Insertion og Blur Busters CRT-strålesimulatoren innebygd. For omfattende overhøringsundertrykkelse brukes en smart modus: spillbildet tegnes ved 60 Hz, brillene mottar synkronisering ved 120 Hz, og utgang til skjermen kjører ved 240 Hz med rammegjentakelse.

For alle sine fordeler har denne metoden begrensninger som bør nevnes separat. De stammer ikke fra noen ufullkommenhet i programmet, men fra det valgte driftsprinsippet. Det andre stereosynspunktet gjengis ikke fra scenemodellen, men rekonstrueres fra en allerede ferdig ramme og et dybdekart. Hvis det ikke finnes data om hva som er skjult bak forgrunnsobjekter i kilderammen, er det ingen steder å hente det fra.

Hull ved objektkanter - disokklusjon
Dette er metodens hoveddefekt. Når programmet forskyver synspunktet for det andre øyet eller for en hodevending, bør en del av bakgrunnen som var skjult av en forgrunnsobjekts kant i kilderammen bli synlig. Men ingen gjengav de pikslene - de eksisterer fysisk ikke. Programmet har ingenting å fylle gapet med, så det enten strekker kantpikslene, og produserer en "gummiaktig" smurt glorie langs konturene, eller erstatter med en "sannsynlig" men vanligvis feil lapp. Jo sterkere synspunktsforskyvningen er, desto bredere er glorien. Dette er ikke en implementeringsfeil, men en begrensning av selve metoden: du kan ikke trekke ut fra et enkelt bilde det som er skjult bak objekter og ikke synlig i det.

Hodebevegelse forsterker forvrengningene
I vanlig stereo er avstanden mellom synspunktene liten og konstant - lik avstanden mellom pupillene. Men med et "vindu inn i verden" beveger hodet seg titalls centimeter i forskjellige retninger, så den relative synspunktsforskyvningen er mange ganger større enn den naturlige, og hullene og smøringen vokser. Det fungerer slik: sitt stille, og det er nesten ingen artefakter, men 3D-effekten er også svak; beveg deg mye, og effekten er der, men alt langs kantene av objekter er smurt og flytende.

Grafikken er avhengig av dybdekartet
Programmet trenger korrekt informasjon om avstanden til hvert punkt i scenen. Spillet gir det ikke alltid, eller ikke alt. Gjennomsiktige overflater - vann, glass, røyk, ild, løvverk - har vanligvis ingen detaljert dybde, eller motoren lager den ikke i det hele tatt. Som et resultat havner objekter på feil avstand: vann sitter på feil sted, røyk dobles, partikler henger i luften på forskjellige steder. På toppen av det, gir ikke alle spill ut et kompatibelt dybdebuffer i det hele tatt - i noen er det invertert, i andre er det beskyttet og kan ikke leses.

Refleksjoner og høylys brytes mest
Speil, vann, våt asfalt og metall er definert av dybden til sin egen overflate, ikke av bildet som reflekteres i dem. Når synspunktet forskyves, driver refleksjonen av gårde til hvem vet hvor. Hvis et høylys er "malt" på overflaten, oppfører det seg ikke slik det burde i den virkelige verden. Det er nettopp det mest slående blanke innholdet som ser flatt og feil ut i stereo.

Grensesnitt, siktemiddel og HUD
Todimensjonale elementer på toppen av rammen - helsebarer, menyer, siktemiddelet - er tegnet på null dybde, så etter behandling havner de på feil stereoavstand. Grensesnittet stikker enten inn i skjermen eller dingler foran scenen. Siktemiddelet er en hodepine i seg selv; dens dybdeposisjon må nesten alltid justeres for hånd.

Én ramme for begge øyne
Begge øyne ser det samme bildet, bare forskjøvet. Med ærlig stereogjengivelse får hvert øye sine egne korrekte høylys, skygger og refraksjoner; her vil det ikke skje. På grunn av dette fremstår objekter som flate lag kuttet ut av kryssfiner og arrangert etter dybde, i stedet for som volumetriske legemer. På engelsk kalles denne effekten "cardboard cutout"-effekten.

Per-spill-justering
Synsfeltet, dybdeområdet og konvergens settes for hånd for hvert spill separat. En bom gir enten anstrengelse for øynene fra overdreven konvergens, eller feil skala, der verden ser lekeaktig eller gigantisk ut, eller til og med invertert dybde. Dette er en "still inn og finn ut av det"-løsning, ikke en "installer og spill"-løsning.

Latens og ujevne rammer
Spillet gjengir rammer ujevnt, og klienten tilpasser dem til skjermens stabile fps ved å gjenta ferdige rammer. Gjentakelsen i seg selv introduserer ingen forvrengning, men latensen mellom handling og bilde akkumuleres: rammefangst, behandling, utgang. For hodesporing, føles enhver slik latens som en "flyting" av scenen. Game Config har en Frame Capture Delay-parameter for dette, for å stille inn fangstøyeblikket.

Resterende overhøring og høye skjermkrav
Programvareteknikker - svart ramme-innsetting og 60/120/240-modusen - undertrykker spøkelsesbilder, men fjerner det ikke fullstendig, fordi overhøring bestemmes av mange faktorer: fysikken til skjermpanelet og brillene i seg selv. Det avhenger av pikselresponstid, svitsjehastighet, kontrasten til brillenes linser og skjermens vertikale tegnehastighet. I tillegg krever den mest aggressive modusen et raskt 240 Hz-panel med kort pikselpersistens, som ikke alle brukere har. I motsetning til NVIDIA 3D Vision, gjengir ReShade ikke et ferdig volum, men syntetiserer det fra en flat ramme. Det er derfor hull langs konturer, feilaktige refleksjoner og flytende kanter er stabile artefakter av metoden, ikke en midlertidig mangel.

Stereogeometrien her er ærlig, og ingen av bildesyntese-artefaktene - disokklusjon, "papp", ødelagte refleksjoner - er til stede her. Men denne metoden har sin egen kostnad også, og den er en annen.

Spillet må støtte VR
Dette er hovedbegrensningen. Metoden fungerer ikke med et hvilket som helst spill: den krever enten innebygd VR-støtte eller en VR-mod. Hvis ingen ferdig mod eksisterer, vil OpenVR-veien ikke fungere, og bare ReShade med alle sine artefakter gjenstår. Med andre ord, den brede kompatibiliteten som den første veien eksisterer for er fullstendig tapt her.

Dobbel belastning på grafikkortet
Scenen blir virkelig gjengitt to ganger, fra to kameraer. Det er ingen av besparelsene som reprojeksjon av en enkelt visning gir: ytelsen faller akkurat som i ekte VR. Dette kompenseres delvis av oppløsningsinnstillingen i VR Config - oppløsning per øye kan senkes, og WibbleWobble vil skalere bildet opp til skjermens oppløsning.

Kompleks installasjon
SteamVR må være installert. Driveren registreres via Install.bat med administrator rettigheter, hvoretter to linjer må legges til manuelt i config\steamvr.vrsettings-filen: "forcedDriver": "WibbleWobbleVR" og "activateMultipleDrivers": "true". Deretter fullfører du Room Setup i STANDING ONLY-modus. En feil på et hvilket som helst trinn, og i stedet for stereo, får du en svart skjerm uten en klar melding om årsaken.

Begrensninger i OpenVR i seg selv
Noen innstillinger kan ikke endres mens du kjører. Hvis du endrer oppløsningen eller utgangshastigheten, kreves en omstart av SteamVR. Dette er en plattformbegrensning, ikke en programbegrensning, men det bremser justering av spill merkbart.

Gjengivelsesoptimalisering ødelegger noen spill
VR Config har en Optimise Single Eye-parameter som tillater gjengivelse av bare ett øye eller begge ved halv FOV. Prosjektets forfatter advarer direkte: "Both"-modusen er den mest problematiske - vignettering og øyedessynkronisering er mulig, og bildet kan "forskyve seg." I noen spill må optimaliseringen slås helt av.

Kamp om vindusfokus
Noen spill gir ikke fokus til WibbleWobble-grensesnittet: tastekombinasjonen SHIFT + END utløses ikke, eller UI-en tegnes, men kan ikke kontrolleres. Du må bytte manuelt via ALT + TAB. Et separat problem: WibbleWobble-vinduet må ikke lukkes - programmet gjenopprettes ikke etterpå, og spillet må startes på nytt.

Sentrering ved hver oppstart
Sporing må sentreres manuelt (SHIFT + .) hver gang ved oppstart, plassert nøyaktig i midten av arbeidsområdet foran skjermene. Hvis hodet ikke var der under sentrering, begynner reprojeksjon å oppføre seg rart og skalaen "driver." Etter forfatterens egen innrømmelse krever det øvelse å treffe riktig posisjon. Dette kan senere fikses ved å bruke mer intelligent sporingsprogramvare.

Særegenheter ved individuelle applikasjoner
Noen programmer fungerer bare med visse merker av headset. For dem har VR Config en Headset Identification-parameter som får WibbleWobble til å presentere seg som en annen enhet - Vive, for eksempel - uten hvilken hodesporing ikke fungerer i DEOVR. Med andre ord, kompatibilitet hviler steder på slike omgåelser.

Felles grunnlag med den første veien
Alt som gjelder maskinvaren gjelder for begge metodene: resterende overhøring, kravet om et raskt panel, behovet for presis brillesynkronisering. Stereoutgang, sendere, BFI og CRT Sim fungerer på samme måte uavhengig av hvor stereoparet kom fra.