Meglepő mintázatok a technológia terjedésében
A tanulmány azt is megállapította, hogy míg a városi területek összességében magasabb adopciós rátát mutattak (18,2 százalék szemben a vidéki területek 10,9 százalékával), az alacsonyabb iskolai végzettségű régiókban gyakrabban használtak MI-alapú írási eszközöket (19,9 százalék szemben a magasabb végzettségű területek 17,4 százalékával). A kutatók megjegyzik, hogy ez ellentmond a tipikus technológia-adoptációs mintáknak, ahol a képzettebb népesség veszi át leggyorsabban az új eszközöket.
“A fogyasztói panaszok területén az LLM-adoptáció földrajzi és demográfiai mintái érdekes eltérést mutatnak a történelmi trendektől, ahol a technológiai adoptáció általában a városi területekre, a magasabb jövedelmű csoportokra és a magasabb iskolai végzettséggel rendelkező népességre koncentrálódott.”
A tanulmányt, melynek címe “A nagy nyelvi modell által támogatott írás széles körű elterjedése a társadalomban”, a Stanford, a Washington Egyetem és az Emory Egyetem kutatói vezették. A fő szerzők Weixin Liang és Yaohui Zhang voltak a Stanfordtól, együttműködve Mihai Codreanuval, Jiayu Wanggal, Hancheng Caóval és James Zouval.
Az MI-használat kimutatása összesítve
Már tudjuk, hogy az MI-írásfelismerő szolgáltatások nem tökéletesek, és ez a tanulmány sem cáfolja ezt a megállapítást. Dokumentumonként vizsgálva az MI-detektorok nem megbízhatóak. Azonban milliónyi dokumentum összesített elemzésekor olyan árulkodó minták jelennek meg, amelyek az MI nyelvi modellek szövegre gyakorolt hatását jelzik.
A kutatók egy olyan megközelítést fejlesztettek ki, amely egy statisztikai keretrendszeren alapul, és amely a szógyakoriságok és nyelvi minták eltolódásait elemzi a ChatGPT megjelenése előtt és után. A ChatGPT előtti és utáni szövegek nagy készleteinek összehasonlításával becsülték meg az MI-támogatott tartalom arányát populációs szinten. Az alapfeltételezés az, hogy az LLM-ek hajlamosak bizonyos szóválasztásokat, mondatszerkezeteket és nyelvi mintákat előnyben részesíteni, amelyek finoman különböznek a tipikus emberi írástól.
Módszerük validálásához a kutatók ismert százalékú MI-tartalommal (nullától 25 százalékig) rendelkező tesztkészleteket hoztak létre, és azt találták, hogy módszerük 3,3 százalék alatti hibaaránnyal jelezte előre ezeket a százalékokat. Ez a statisztikai validálás bizalmat adott nekik a populációs szintű becsléseikben.
Bár a kutatók kifejezetten megjegyzik, hogy becsléseik valószínűleg az MI-használat minimális szintjét képviselik, fontos megérteni, hogy a tényleges MI-részvétel jelentősen nagyobb lehet. A nagymértékben szerkesztett vagy egyre kifinomultabb MI-generált tartalom észlelésének nehézsége miatt a kutatók szerint az általuk jelentett adoptálási arányok jelentősen alulbecsülhetik a generatív MI használatának valós szintjeit.
Az elemzés szerint az MI-eszközök “kiegyenlítő szerepet” töltenek be
Míg az általános adoptálási arányok informatívak, talán még tanulságosabbak azok a minták, amelyek megmutatják, kik használják az MI-írási eszközöket, és hogyan kérdőjelezhetik meg ezek a minták a technológiai adoptációval kapcsolatos hagyományos feltételezéseket.
A CFPB-panaszok vizsgálatakor (egy amerikai közforrás, amely a fogyasztói pénzügyi termékekkel és szolgáltatásokkal kapcsolatos panaszokat gyűjti) a kutatók földrajzi elemzése jelentős változatosságot tárt fel az amerikai államok között.
Arkansasban volt a legmagasabb az adoptálási arány, 29,2 százalék (7 376 panasz alapján), ezt követte Missouri 26,9 százalékkal (16 807 panasz) és Észak-Dakota 24,8 százalékkal (1 025 panasz). Ezzel szemben olyan államok, mint Nyugat-Virginia (2,6 százalék), Idaho (3,8 százalék) és Vermont (4,8 százalék) minimális MI-írási adoptációt mutattak. A nagy népességű központok mérsékelt adoptációt mutattak, Kaliforniában 17,4 százalék (157 056 panasz) és New Yorkban 16,6 százalék (104 862 panasz).
A városi-vidéki különbség kezdetben követte a várt technológiai adoptációs mintákat, ám egy érdekes csavarral. A Vidéki Városi Ingázási Terület (RUCA) kódokat használva a kutatók azt találták, hogy a városi és vidéki területek kezdetben hasonló arányban vették át az MI-írási eszközöket 2023 elején. Az adoptációs pályák azonban 2023 közepére eltértek, a városi területek 18,2 százalékos adoptációt értek el, szemben a vidéki területek 10,9 százalékával.
A tipikus technológiai diffúziós mintákkal ellentétben az alacsonyabb iskolai végzettségű területek magasabb MI-írási eszközhasználatot mutattak. Az állami mediánszint feletti és alatti régiók összehasonlításakor a bachelor diplomával rendelkezők arányát tekintve, a kevesebb főiskolai végzettségű területek 19,9 százalékos adoptációs rátánál stabilizálódtak, szemben a képzettebb régiók 17,4 százalékával. Ez a minta még a városi területeken belül is fennállt, ahol a kevésbé képzett közösségek 21,4 százalékos adoptációt mutattak, szemben a képzettebb városi területek 17,8 százalékával.
A kutatók azt sugallják, hogy az MI-írási eszközök segíthetnek azoknak, akiknek nincs annyi oktatási tapasztalatuk. “Míg a városi-vidéki digitális szakadék úgy tűnik, továbbra is fennáll,” írják a kutatók, “az a megállapításunk, hogy az alacsonyabb iskolai végzettségű területek mérsékelten magasabb LLM-adoptációt mutattak a fogyasztói panaszokban, arra utal, hogy ezek az eszközök kiegyenlítő szerepet tölthetnek be a fogyasztói érdekképviseletben.”
Vállalati és diplomáciai trendek az MI-írásban
A kutatók szerint az összes általuk elemzett szektor (fogyasztói panaszok, vállalati kommunikáció, álláshirdetések) hasonló adoptációs mintákat mutatott: meredek növekedés a ChatGPT 2022. novemberi megjelenése után három-négy hónappal, majd stabilizálódás 2023 végén.
Az álláshirdetések elemzésében a szervezet életkora bizonyult az MI-írás használatának legerősebb előrejelzőjének. A 2015 után alapított vállalatok akár háromszor magasabb adoptációs rátát mutattak, mint az 1980 előtt alapított cégek, elérve a 10-15 százalékos MI-módosított szöveget bizonyos pozíciókban, szemben a régebbi szervezetek 5 százalék alatti arányával. A kevesebb alkalmazottal rendelkező kisebb vállalatok is könnyebben integrálták az MI-t, mint a nagyobb szervezetek.
A vállalati sajtóközlemények ágazati vizsgálatakor a tudományos és technológiai vállalatok integrálták legszélesebb körben az MI-t, 2023 végére 16,8 százalékos adoptációs rátával. Az üzleti és pénzügyi hírek (14-15,6 százalék), valamint az emberekkel és kultúrával kapcsolatos témák (13,6-14,3 százalék) valamivel alacsonyabb, de még mindig jelentős adoptációt mutattak.
Nemzetközi szinten a latin-amerikai és karibi ENSZ országcsoportok mutatták a legmagasabb adoptációt a nemzetközi szervezetek között, körülbelül 20 százalékkal, míg az afrikai államok, az ázsiai-csendes-óceáni államok és a kelet-európai államok mérsékeltebb növekedést mutattak, 2024-re 11-14 százalékra.
Következmények és korlátok
A tanulmányban a kutatók elismerik elemzésük korlátait az angol nyelvű tartalomra való összpontosítás miatt. Mint korábban említettük, azt is megállapították, hogy nem tudják megbízhatóan észlelni az ember által szerkesztett MI-generált szöveget vagy az olyan szöveget, amelyet újabb modellek generáltak emberi írási stílusok utánzására. Ennek eredményeként a kutatók azt sugallják, hogy megállapításaik az MI-írási eszközök tényleges adoptációjának alsó határát képviselik.
A kutatók megjegyezték, hogy az MI-írás adaptációjának 2024-es stagnálása vagy a piaci telítettséget, vagy az egyre kifinomultabb LLM-eket tükrözheti, amelyek olyan szöveget állítanak elő, amely elkerüli az észlelési módszereket. Arra a következtetésre jutnak, hogy ma már olyan világban élünk, ahol az emberi és MI-írás megkülönböztetése egyre nehezebbé válik, ami következményekkel jár a társadalmi kommunikációra nézve.
“A MI-generált tartalomra való növekvő támaszkodás kihívásokat jelenthet a kommunikációban,” írják a kutatók. “Érzékeny kategóriákban az MI-re való túlzott támaszkodás olyan üzenetekhez vezethet, amelyek nem kezelik megfelelően az aggályokat, vagy összességében kevésbé hiteles információkat közölnek kifelé. Az MI-re való túlzott támaszkodás a közbizalom csökkenéséhez is vezethet a vállalatok által küldött üzenetek hitelességével kapcsolatban.”
