Tizenkettőből tizenkettő javítva jött vissza
Amikor a saját sajtószobánkat építettük, megtettük azt, amit mindenki mond, és szinte senki nem tesz meg. Mielőtt az első tizenkét cikk kiment, mindegyiket odaadtuk egy ellenőrnek, akinek egyetlen dolga volt: újra letölteni a forrást, és minden számot, nevet és dátumot ellenőrizni rajta. Nem korrektúra volt. Ellenséges olvasás, kifejezetten azokat a hibákat keresve, amikről már tudtuk, hogy egy nyelvi modell elköveti őket.
Tizenkettőből tizenkettő javítva jött vissza. Egy sem ment át érintetlenül.
Három hibát érdemes megnevezni, mert ez az a három forma, ahogy ez el szokott romlani.
Egy kitalált idézet. Nem torzított. Egy mondat, amit egy lapnak tulajdonított a szöveg, és amit az a lap soha nem írt le, egy egyébként pontos és jól forrásolt cikkben. Ez az a hiba, amiről mindenki tud, és a tudás nem segít, mert ugyanolyan ruhában érkezik, mint egy valódi idézet.
Egy csonkolt idézet, ami megváltoztatta a jelentést. A szavak valódiak voltak, a tulajdonítás pontos. A mondatot pont ott vágták el, ahol az értelme az ellenkezőjére fordul. Ez rosszabb a kitalált idézetnél, mert minden automatikus ellenőrzésen átmegy: a szövegrész tényleg benne van a forrásban.
Egy szabályozási dátum, ami rossz volt, és számított. Nem elgépelés egy mondatban, amit senki nem olvas. Egy dátum, amire valaki tervezhetett volna, pont azon a ponton, ahol a forrás figyelmeztetett, hogy sokan félreértik.
Két okból tesszük ezt közzé. Az első az, hogy ez az őszinte oka az emberi kapunak. Ha a tervezetek megbízhatóan jók volnának, a kapu formaság lenne, és valaki előbb-utóbb levenné, hogy gyorsabb legyen. Nem azok, ezért nem az, és senki nem fogja. A második az, hogy aki azt mondja, az ő AI-ja nem hallucinál, az azt mondja, hogy nem nézett utána. Mi utánanéztünk, a saját szövegünkben, és leírtuk, mit találtunk. Azt szeretnénk, hogy minket is ezzel a mércével mérjenek, ezért nem lágyítjuk „szigorú minőségbiztosítássá”.
Ami ezután megváltozott, az nem a modell volt. A forma. Minden állítás alatt nyitható forrás van. Minden válasz azzal zárul, hogy mit nem állít. Minden cikket megnevezett ember hagy jóvá, mindkét nyelvi változaton, mielőtt nyilvánosan létezne. A hibák nem szűntek meg. Csak nem mennek ki.
Harminchét megjelent tétel után, ebből harminc forrásolt válasz, ugyanez az ellenőrzés fut mindegyiken. Hogyan működik