Un model de inteligență artificială dezvoltat de cercetători din SUA, China și Singapore reușește să genereze videoclipuri realiste cu procese naturale complexe, cum ar fi înflorirea unei flori sau creșterea unui copac. Modelul, numit MagicTime, reprezintă un pas important în evoluția sistemelor text-to-video, capabile să transforme o descriere textuală într-o animație coerentă, potrivit TechXplore.
Studiul a fost publicat în revista IEEE Transactions on Pattern Analysis and Machine Intelligence.
Creat de o echipă internațională de la Universitatea din Rochester, Universitatea Peking, UC Santa Cruz și Universitatea Națională din Singapore, MagicTime învață fizica reală din videoclipuri timelapse pentru a simula transformări naturale cu o fidelitate fără precedent.
Modelele AI anterioare aveau dificultăți în redarea metamorfozelor
„MagicTime este un pas spre o inteligență artificială capabilă să simuleze proprietățile fizice, chimice, biologice sau sociale ale lumii reale”, afirmă Jinfa Huang, doctorand la Rochester, coordonat de profesorul Jiebo Luo.
Modelele AI anterioare aveau dificultăți în redarea metamorfozelor, oferind imagini cu mișcare limitată sau variații puține. Pentru a depăși aceste limite, cercetătorii au construit un set de date cu peste 2.000 de videoclipuri timelapse și descrieri detaliate, pe baza cărora au antrenat sistemul.
Modelul poate simula nu doar procese biologice, ci și transformări mecanice sau culinare
Versiunea open-source a MagicTime poate genera clipuri de 2 secunde la rezoluție 512×512 pixeli, cu 8 cadre pe secundă, iar o arhitectură extinsă de tip transformer-diffusion produce animații de până la 10 secunde. Modelul poate simula nu doar procese biologice, ci și transformări mecanice sau culinare, cum ar fi coacerea pâinii sau construcția unei clădiri.
Pe termen lung, cercetătorii speră ca astfel de tehnologii să devină instrumente utile pentru știință. „Sperăm ca, într-o zi, biologii să poată folosi videoclipuri generate de AI pentru a testa ipoteze mai rapid. Simulările corecte pot reduce numărul de experimente reale necesare”, adaugă Huang.
