I komplexa miljöer kan människor förstå innebörden av tal bättre än AI, eftersom vi inte bara använder våra öron utan även våra ögon.
Till exempel ser vi någons mun röra sig och kan intuitivt veta att ljudet vi hör måste komma från den personen.
Meta AI arbetar på ett nytt AI-dialogsystem, som ska lära AI att även lära sig att känna igen subtila korrelationer mellan vad den ser och hör i en konversation.
VisualVoice lär sig på ett liknande sätt som hur människor lär sig att bemästra nya färdigheter, vilket möjliggör audiovisuell talseparation genom att lära sig visuella och auditiva signaler från omärkta videor.
För maskiner skapar detta bättre uppfattning, medan mänsklig uppfattning förbättras.
Tänk dig att kunna delta i gruppmöten i metaversumet med kollegor från hela världen, och delta i mindre gruppmöten medan de rör sig genom det virtuella rummet, där ljudets efterklang och klangfärger i scenen anpassas efter omgivningen.
Det vill säga, den kan hämta ljud-, video- och textinformation samtidigt, och har en rikare miljöförståelsemodell, vilket gör att användarna får en "väldigt wow"-ljudupplevelse.
Publiceringstid: 20 juli 2022
