Metaverse-Lektionen aus Hollywood – The New York Times

Vor Jahrzehnten hat die Technologie von Steve Perlman dazu beigetragen, eine Ära einzuleiten, in der sich die Erfindungen der Hollywood-Imagination immer authentischer anfühlen.

Jetzt träumen Mark Zuckerberg und andere Technologen von einer Zukunft, in der wir mehr Zeit in immersiven digitalen Welten verbringen, die als „Metaverse“ bezeichnet werden. Und Perlman hat einen Ratschlag für Metaverse-Schöpfer: Konzentrieren Sie sich auf das Gesicht.

Was Perlman meint, ist, dass sich in Filmen und anspruchsvollen Videospielen geniale Technologie und kreative Profis zusammengetan haben, um zunehmend lebensechte virtuelle Kreaturen zu erschaffen. Sie tun dies, indem sie sich auf detaillierte Gesichtsausdrücke und Körperbewegungen konzentrieren.

Denken Sie an Gollum aus den „Herr der Ringe“-Filmen, an viele Superhelden aus Marvel-Filmen oder an Brad Pitt als Benjamin Button, einen Mann, der rückwärts altert. Sie sind nicht echt, aber wir können uns mit ihnen und ihren Emotionen verbinden.

Perlman, ein langjähriger Erfinder, der auch an der Entwicklung der digitalen Videotechnologie bei Apple mitgewirkt hat, sagte, dass sich das, was er bisher aus dem Metaversum gesehen hat, im Vergleich zu vollständig ausgearbeiteten Hollywood- und Videospielcharakteren flach anfühlt. Er sagt, dass Technologen sich darauf konzentrieren sollten, das menschliche Gesicht und den emotionalen Ausdruck nachzubilden. Es ist eine extrem schwierige Technologie, aber eine, die laut Perlman angegangen werden muss, um virtuellen Interaktionen ein Gefühl der Intimität zu verleihen.

„Das Gesicht ist der am subtilsten ausdrucksvollste Teil des Körpers“, sagte Perlman zu mir. „Und das Gesicht ist ein Teil des Körpers, den keines der VR/XR-Headsets genau erfasst“, sagte er und bezog sich auf Virtual-Reality-Brillen und Technologien wie Snaps Brille die digitale Bilder mit der realen Welt vermischen – oft bekannt unter dem Überbegriff „Extended Reality“ oder XR.

Das ist nur die Meinung einer Person, und Perlman ist kein desinteressierter Beobachter. Er arbeitet an einer drahtlosen Technologie, von der er glaubt, dass sie ein notwendiger erster Schritt für das Metaverse oder andere immersive virtuelle Interaktionen ist.

Ich wollte mit Perlman sprechen, um Lehren aus der langen Verbindung von Technologie und Vorstellungskraft in Hollywood und darüber hinaus zu ziehen. Auch wenn das Metaversum nie funktioniert, verbringen wir mehr Zeit damit, über Bildschirme zu interagieren, und wir suchen nach authentischeren Wegen, um uns zu verbinden. Es ist sowohl eine technologische als auch eine menschliche Herausforderung.

Perlman hat in der Vergangenheit dazu beigetragen, virtuelle Charaktere zum Leben zu erwecken. Mitte der 2000er gelang seinem Start-up ein Durchbruch, der uns half, uns mit zweidimensionalen Charakteren verbunden zu fühlen. Die Mova Contour-System verwendete phosphoreszierendes Make-up auf den Gesichtern der Schauspieler und maßgefertigte Kameraausrüstung und Software, um diese Darbietungen in Computerdaten umzuwandeln.

Dieser und ähnliche Ansätze, die heute üblicherweise als Motion Capture bezeichnet werden, sind in Filmen und anspruchsvollen Videospielen ziemlich üblich geworden, um Fantasien zu erzeugen, die sich realistisch anfühlen. Diejenigen von uns, die über Charaktere gelacht und geweint haben, die keine Menschen sind, sind Perlman und anderen Technologen zu Dank verpflichtet. (Perlmans Firma ist in einen Rechtsstreit verwickelt, in dem behauptet wird, andere Unternehmen hätten unrechtmäßig von ihrem geistigen Eigentum profitiert.)

Wenn Sie virtuelle Welten wie Fortnite ausprobiert haben, Zweites Leben oder Metas Horizontwelten, Sie wissen, dass die digitalen Wesen dort noch nicht menschlich aussehen oder sich anfühlen. Sie sind karikaturistisch, und manchmal Menschen im Metaversum haben keine Beine. Im Moment ist das in Ordnung. Aber Perlman sagt, dass Metaverse-Menschen sich wie Menschen fühlen müssen, damit sich immersive digitale Welten durchsetzen.

„Meiner Ansicht nach wird das Metaversum interessant, wenn es mindestens so gut ist wie fortgeschrittene Videospiele heute und wahrscheinlich sogar besser“, sagte er. „Es wird keine große Anziehungskraft haben, bis es ein Universum von Menschen ist.“

Da stellt sich Perlman vor, eine Rolle zu spielen. Sein Unternehmen arbeitet seit Jahren an einer drahtlosen Technologie, die verspricht, eine Kaskade digitaler Informationen – auch aus der virtuellen Realität – zu verarbeiten und innerhalb von Sekundenbruchteilen eine Kopfbewegung einer Person mit VR-Brille in dieselbe Aktion auf dem Bildschirm zu übersetzen.

Wir werden sehen, ob Perlmans neueste Erfindung erfolgreich ist, aber es gibt eine lange Geschichte kreativer Ideen, die durch grundlegende und oft langweilige technologische Erfindungen ermöglicht wurden.

Ohne den Cloud-Computing-Dienst von Amazon und ähnliches hätte es kein iPhone-Zeitalter gegeben. Ohne Fortschritte bei der Verkleinerung von Computerchipkomponenten oder dem Einbau von GPS in jedes Smartphone wären die meisten Technologien, die wir täglich verwenden, nicht möglich.

Perlman blickt auf seine Arbeit mit Hollywood-Charakteren zurück und hofft, dass ein ähnlicher Durchbruch innerhalb dieses Jahrzehnts für virtuelle Menschen möglich ist, die wir in unseren Knochen spüren können.

Bevor wir gehen …

• Präsident Biden sagte, Russland sei es unter Berücksichtigung von Cyberangriffen auf US-Unternehmen als Vergeltung für Sanktionen, die dem Land wegen seiner Invasion in der Ukraine auferlegt wurden, schrieb mein Kollege Zolan Kanno-Youngs.

• Sind Sie in dieser Uber-Fahrt versichert? Protokoll untersucht einige der länderspezifischen Unterschiede in der Unfallversicherung für Leute, die eine Fahrt mit einem Uber unternehmen. Ein Mann konnte nach einem Unfall nicht mehr an seinen Arbeitsplatz zurückkehren, und er beschuldigte Uber, nicht mehr Verantwortung für die Sicherheit der Passagiere und die Fehler der Fahrer übernommen zu haben.

• „Man kann ein echtes Gespräch führen, ohne abgelenkt zu werden.“ Hilary Reid hat Menschen gefunden, die das Festnetztelefon als Gegenmittel dazu nutzen, so viel Zeit mit Multitasking und vor Bildschirmen zu verbringen.

  Aus The Atlantic im Jahr 2015: „Früher war das Telefon wirklich großartigteilweise wegen der Situation seiner Verwendung und teilweise wegen der Art des Apparats, den wir früher als ‚Telefon‘ bezeichneten – insbesondere des Hörers“, schrieb Ian Bogost. (Möglicherweise ist ein Abonnement erforderlich.)

Umarmungen dazu

Sonnen Sie sich der Einfallsreichtum dieser College-Cheerleader von der Indiana University und den Fans, die sie lieben.

Wir wollen von dir hören. Sagen Sie uns, was Sie von diesem Newsletter halten und was Sie uns sonst noch mit auf den Weg geben möchten. Sie erreichen uns unter [email protected]

Wenn Sie diesen Newsletter noch nicht in Ihrem Posteingang erhalten, bitte melde dich hier an. Sie können auch lesen vergangenen On Tech-Spalten.