Fényes sikerek, sötét kudarcok
Érdemes kiemelni, hogy a Veo 3 modell számos tesztfeladaton meglepően jól teljesített: képes volt például robotkéz-mozdulatokat, tárgyak dobását és elkapását, homályos vagy zajos képek helyreállítását, bonyolult képek kitöltését, illetve élek felismerését végrehajtani. Ezeken a feladatokon rendre 12 próbálkozásból 12-szer jó eredményt mutatott.
Ennek ellenére bőven akadnak hiányosságok is. Ha például egy adott betűt kellett volna kiemelni egy rácson, az esetek 75%-ában hibázott. Egy Bunsen-égő lángjának és papír elégésének szimulációjánál is kilencszer elbukott a 12 próbából. Labirintusmegoldásban tízszer, buborékszámozásnál tizenegyszer vallott kudarcot.
A kutatók érdekes mércét alkalmaznak: számukra az is siker, ha egy 12 próbából álló teszten legalább egyszer sikerrel jár a modell. Teljes kudarcnak pedig azt tekintették, ahol mind a 12 alkalommal elbukott – ez 62 feladat közül 16-szor fordult elő.
Sikerek háttere és a fejlődési ütem
Gyakorlati szempontból ezek az adatok elgondolkodtatók: egy önvezető autónál vagy robotnál nem nagyon fér bele, ha tízből nyolcszor hibázik. Az MI-iparban azonban gyakori az optimista hozzáállás, így olyan eredményeket is sikerként értékelnek, ahol a modell csak minden tizenkettedik alkalommal teljesít.
Ennek ellenére a mérnökök mégis bizakodók: a Veo 3 számos feladatban látványosan felülmúlta elődjét, a Veo 2-t. Például a horizontális mintázatok felismerésénél a sikerarány 0%-ról 72%-ra nőtt, az élfelismerés, tárgykivágás vagy labirintusmegoldás terén is mérhetően javult.
Külön említendő, hogy a szakemberek szerint a fejlődés gyors, és hamarosan a videómodellek is egyfajta univerzális MI-alapmodellé válhatnak, ahogy azt a nagy nyelvi modelleknél (LLM) már láttuk.
A következő mérföldkő még várat magára
Mindazonáltal a következtetés világos: bár az MI-videómodellek látványosak, a mai eredmények alapján egyáltalán nem mondható, hogy stabilan és megbízhatóan értelmeznék vagy modelleznék a valóság szabályszerűségeit. Az ok-okozati összefüggések felismerése vagy a feladatok egyenletes, hibamentes végrehajtása még várat magára, így továbbra is bőven van teendő, mire ezek a rendszerek valóban megbízhatóan tükrözik majd világunk működését.
