Felületes feldolgozás: a „lapos szöveg” csapdája
A legtöbb MI-alapú kereső és RAG (retrieval-augmented generation) rendszer jelenleg úgy dolgozza fel a dokumentumokat, hogy egyszerűen szövegként kezeli őket, és 500 karakterenként szétvágja a tartalmat. Ez a módszer viszonylag jól működik regények vagy egyszerű szövegek esetén, de tönkreteszi a műszaki kézikönyvek logikai szerkezetét: félbevágja a táblázatokat, elszakítja a képek aláírását az illusztrációtól, és teljesen figyelmen kívül hagyja az oldal vizuális hierarchiáját. A hozzáférhető tudás így széttöredezik, és a keresőmotorok képtelenek összerakni a fontos összefüggéseket.
A „szeletelés” helyett szemantikus feldarabolás
Továbbra is a legnagyobb kihívás, hogy a feldolgozott dokumentum szerkezetét is értse az MI – ebben segít az úgynevezett szemantikus feldarabolás. Ilyenkor a rendszer már nem pusztán tokenek vagy karakterek alapján darabol, hanem a tényleges tartalmi egységeket – fejezeteket, szakaszokat, bekezdéseket – azonosítja, például az Azure Document Intelligence segítségével. Így például egy táblázat vagy egy egész alkatrészt bemutató blokk egy egységként kerül be az MI memóriájába, így nem vész el a jelentéstartalom. Belső tesztekben a szemantikus módszer jelentősen javította az adatok visszakeresésének pontosságát.
Az elveszett vizuális tudás: sémák, ábrák, diagramok
Idővel kiderült, hogy a vállalatokon belüli tudás jelentős része nem a szövegben, hanem diagramokban és ábrákban rejlik. A legtöbb hagyományos beágyazómodell képtelen értelmezni ezeket az információkat, így azok egyszerűen kimaradnak az indexelésből. Ezért gyakran fordul elő, hogy ha a válasz egy folyamatábrában lenne megtalálható, az MI csak annyit mond, hogy nem tudja a választ.
Multimodális szövegesítés: ábrák kereshetővé tétele
A megoldást a multimodális szövegesítés hozza: még a képek – például PNG-fájlok – adatbázisba kerülése előtt a rendszer látásalapú modelleket (például GPT-4o) vet be, hogy a képeken lévő szövegeket optikai karakterfelismeréssel (OCR) azonosítsa, a diagramok tartalmát pedig részletes, természetes nyelvű leírással egészítse ki. Ezeket az újonnan generált leírásokat metaadatként kapcsolja az eredeti kép mellé, így kereshetővé válik minden folyamatábra, még ha azt eredetileg csak képként tárolták is.
Bizalomépítés: Ellenőrizhető válaszok
A vállalati környezetben azonban önmagában a válaszadás nem elegendő: fontos a hitelesség és az átláthatóság. Míg korábban a rendszer csak szöveges választ és egy fájlnevet adott, mostantól a rendszer a feldolgozás során megőrzi a kapcsolatot a szöveges egység és az azt tartalmazó kép vagy táblázat között, amit így a válasz mellett a felhasználó is azonnal láthatja. Ez a „mutasd a bizonyítékot” funkció nagyban növeli az MI-be vetett bizalmat.
A jövő: natív multimodális keresés és hosszabb kontextusablak
Továbbra is gyorsan fejlődik a technológia: hamarosan a natív multimodális beágyazás (pl. Cohere Embed 4) lehetővé teszi, hogy a szöveg és kép közötti határ teljesen elmosódjon, és a rendszer automatikusan, metaadatok nélkül értse a dokumentum szerkezetét. Amint az ilyen LLM-ek már olcsón képesek akár teljes kézikönyveket is értelmezni, a szemantikus feldarabolás szerepe csökkenhet. Mindez azonban jelenleg még költséges, így egyelőre a hatékony, strukturált feldolgozás marad az időben és pénzben leginkább megtérülő megközelítés.
Összegzés
Az MI-alapú keresés csak akkor válik valódi tudásasszisztenssé a vállalati világban, ha végre nem darabolja szét a dokumentumokat önkényesen, hanem tiszteletben tartja azok logikáját, szerkezetét, és a vizuális információkat is feldolgozza.
