Az NVIDIA bevezetett egy neurális hálózatot a videó leírás alapján történő előállításához

NVIDIA cég bejelentett egy új VideoLDM AI modell, amely szöveg alapján készít rövid videókat. A Cornell Egyetem kutatóival együttműködve fejlesztették ki.

A VideoLDM legfeljebb 4,1 milliárd paramétert vesz figyelembe, amelyek közül 2,7 milliárdot videóra tanítanak. A generált klipek legfeljebb 2048 × 1280 pixelesek lehetnek 24 képkockán, és legfeljebb 4,7 másodpercesek lehetnek.

A neurális hálózat képes egyszerű jeleneteket létrehozni néhány szóval a kérésben, és valami bonyolultabbat is. Néhány példa:

• Tűzijáték.

• Egy rohamosztagos porszívózik a tengerparton.

• Egy utazó egyedül sétál egy ködös erdőben naplementekor.

További példák vannak projekt honlapja.

Ez az NVIDIA neurális hálózat még nem nyilvános. A Gépi Látás és Mintafelismerés Konferencia keretében kutatási cikkként mutatták be.

A fejlesztők lenyűgöző és gyors fejlődést figyeltek meg a tanulásban, de nem beszéltek a neurális hálózat lehetséges jövőjéről. Ennek ellenére feltételezhetjük, hogy hamarosan teljes értékű videoanalógot kapunk középút.