Mi számít szemétadatnak?
Nem egyszerű meghatározni, hogy mi a minőségi adat és mi a „szemét”, azaz értéktelen tartalom. A kutatók több mérőszámot vezettek be: egyrészt kiválogatták a túl rövid, túl népszerű vagy épp túl rövid ideje elérhető tweeteket, másrészt marketingkutatások alapján azokat, amelyek felületes témákat boncolgatnak (például összeesküvés-elméletek, túlzó állítások, megalapozatlan kijelentések, illetve felszínes életmódtippek), valamint amelyek bulváros, kattintásvadász fogalmazást használnak. Az eredmények osztályozását végül három végzős hallgató is felülvizsgálta, és az esetek 76 százalékában egyetértettek az MI minősítésével.
A tesztek és az eredmények
Négy különböző MI-modellt tanítottak eltérő arányban szemét- és kontroll- (minőségi) adatokkal. A modelleket ezután különböző mércék szerint tesztelték: gondolkodási képesség, hosszabb szövegek megjegyzése, etikai normák követése, illetve személyiségjegyek alapján.
A végeredmény szerint minél több szemétadat került a képzésbe, annál látványosabban romlott a modellek gondolkodási képessége és memóriája. Érdekesség, hogy néhány, személyiséghez köthető teszten (például nyitottság, önuralom) a fele-fele arányú szemét- és minőségi adat jobb eredményt hozott, mint a kizárólag szemét vagy kizárólag minőségi tanítás.
Mi vár a jövő MI-ire?
A kutatók szerint a jelenlegi gyakorlat, miszerint az MI-k tanítására szinte kizárólag netes tartalmakat használnak, veszélyes. Visszaeséshez és tartalmi „szennyeződéshez” vezethet: ha a tanításhoz használt adatok minősége romlik – például egyre több lesz a mesterségesen generált tartalom –, az MI-k is sorra butulni fognak. Szerintük minden eddiginél gondosabb adatválogatásra lesz szükség, hogy elkerülhető legyen az MI-k gondolkodásának elsilányodása.
