I komplexa miljöer kan människor förstå betydelsen av tal bättre än AI, eftersom vi använder inte bara våra öron utan också våra ögon.
Till exempel ser vi någons mun röra sig och kan intuitivt veta att ljudet vi hör måste komma från den personen.
Meta AI arbetar på ett nytt AI-dialogsystem, som ska lära AI att också lära sig känna igen subtila samband mellan vad den ser och hör i en konversation.
VisualVoice lär sig på ett liknande sätt som hur människor lär sig att bemästra nya färdigheter, vilket möjliggör audiovisuell talseparation genom att lära sig visuella och auditiva signaler från omärkta videor.
För maskiner skapar detta bättre uppfattning, medan människans uppfattning förbättras.
Föreställ dig att kunna delta i gruppmöten i metaversen med kollegor från hela världen, gå med i mindre gruppmöten när de rör sig genom det virtuella rummet, under vilka ljudreverb och klangfärger i scenen anpassar sig efter miljön.
Det vill säga att den kan erhålla ljud-, video- och textinformation samtidigt och har en rikare miljöförståelsemodell, vilket gör att användarna kan få en "mycket wow" ljudupplevelse.
Posttid: 2022-jul
