IMMERSIVE THEATRE, VR & ARG - HKU IPD 2.3
A Prismatic Eye on a Midsummer Night's Dream
Voor het Shakespeare project in het tweede jaar kregen we een lastige opdracht: maak een ervaring, gebaseerd op Een Midzomermachtsdroom, waarbij meerdere tijdslagen zichtbaar zijn. Ook moest het eindresultaat in een theaterzaal gebouwd kunnen worden en gedurende twee dagen 2 keer per uur opgevoerd worden.
Voor dit project zijn we diep de materie ingedoken om het theaterstuk volledig in de vingers te krijgen. Ook hebben we heel veel onderzoek gedaan naar opvoeringen, acteerstijlen en decorontwerp door de jaren heen om zo een helder beeld te krijgen van de verschillende interpretaties om uiteindelijk tot een eigen gelaagde ervaring te komen.
SPECIFICATIES
Jaar 2019
Voor HKU IPD2
Type Samenwerking
Mijn taken Conceptontwikkeling, storyline, softwareontwikkeling en theatertechniek
Software Unity, Twine, Dialogflow, QLC+, ETCNomad, Resolume Arena
Trailer video volgt binnenkortDREAMS & DESIRE
in Dreams en Desire - onze persiflage op reality relatie programma's als Temptation Island - volgen we Haylee (Helena), Hannah (Hermia), Luuk (Lysander) en Diederik (Demetrius) die als laatste vier finalisten over zijn en strijden voor een cruise en 10.000 euro. De gebeurtenissen die zich afspelen in de aflevering zijn bijna één op één overgenomen uit het Shakespeare theaterstuk Een Midzomermachtsdroom.
PRE-GAME
Om voorafgaand aan de opvoering al ondergedompeld te worden in de wereld van de ervaring kan je een gesprek met een van de karakters voeren. Gedurende dit gesprek maak je een gebeurtenis mee uit de opvoering, maar dan vanuit de ogen van dit karakter, die jou om hulp vraagt.
In werkelijkheid praat je met een AI chatbot die voorzien is van een uitgebreide dialogue-tree. Jouw antwoorden worden door middel van machine learning geïnterpreteerd zodat je in je eigen woorden kan reageren.
Probeer het zelf:
WELKOM BIJ: DREAMS & DESIRE LIVE!
Welkom bij de toekomst van Reality TV. Bij binnenkomst krijg je de gebeurtenissen van vorige week te zien en wordt het publiek in twee groepen verdeelt waarbij de ene groep vrij is om rond te lopen tussen de podia en de andere groep een VR headset op krijgt. Publiek met een VR bril op wordt begeleid naar specifieke plaatsen op het podium.
HET DECOR VAN DE TOEKOMST
Publiek neemt met een VR headset plaats op een steriel wit decor dat dezelfde inrichting heeft als het interieur dat zichtbaar is in de VR headset. Deze gelijkenis zorgt ervoor dat de wereld in VR echter lijkt.
Voor publiek buiten VR geeft de steriele witte vormgeving een spannend contrast: zij kijken op grote schermen namelijk mee en zien het verschil tussen de echte en VR versie van de performance.
DUBBELE PERFORMANCE
Wat je in VR ziet, wordt tegelijkertijd ook door acteurs in een minimalistische versie uitgevoerd op het podium.
Bijvoorbeeld: Als je op de rand van het bed zit gedurende een intieme scene schudden de acteurs het bed.
De aanwezigheid van acteurs geeft een fysiek element dat niet op een andere manier te reproduceren is. De beweging van voetstappen, een windvlaag of een vleugje parfum van een karakter geven een diepere laag aan de ervaring.
DUBBELE VERHAALLIJNEN
De opzet van de ervaring bestaat uit drie losse podia die met bruggen zijn verbonden. De voorstelling begint op de buitenste twee podia waarbij verschillende verhaallijnen gespeeld worden, in het tweede bedrijf komen deze twee lijnen samen op het middelste podium.
Als toekijkend publiek kan je meekijken en luisteren met wat het VR publiek ziet en hoort op grote schermen naast de podia. De opbouw is echter zo dat je niet alles tegelijk kan zien, je moet dus keuzes maken als publiek terwijl de verhaallijnen doorspelen en met elkaar verweven raken.
TECHNIEK EN SOFTWARE
Om deze performance mogelijk te maken en vlekkeloos te laten verlopen was er geen andere optie dan eigen software te bouwen die aan de specifieke eisen van de voorstelling voldeed.
Hiervoor heb ik een programma gemaakt dat een groep Oculus Go headsets (maximaal 8) elk een ID toebedeeld waarmee de headset weet welke video's gebruikt moeten worden op die specifieke headset (de video's verschillen tussen de headsets). Vervolgens kunnen verschillende videodelen/bedrijven centraal gestart worden en worden deze synchroon afgespeeld.
De headsets sturen status en beweging gegevens terug naar de management software. Mocht er iets fout gaan met een headset dan is dat gelijk zichtbaar in het statusoverzicht.
Om de beelden van headsets op schermen te projecteren heb ik een eigen videospeler gemaakt. Deze is ook aangesloten op de management software en gebruikt de bewegingsgegevens om te reconstrueren wat de headset gebruiker ziet. Het lokaal afspelen van video's doe ik zodat ik niet meerdere videostreams over het netwerk hoef te verzenden en om de beeldkwaliteit te waarborgen.
