10 szégyenletes kérdés a neurális hálózatokról: Igor Kotenkov gépi tanulási szakértő válaszol

Az újban sorozat Neves szakértők cikkei válaszolnak olyan kérdésekre, amelyeket általában kínos feltenni: úgy tűnik, már mindenki tud róla, és a kérdező hülyének fog nézni.

Ezúttal Igor Kotenkov mesterséges intelligencia specialistával beszélgettünk. Megtudhatja, hogy mentheti-e digitális másolatát dédunokáinak, miért nem lehet 100%-ig megbízni az idegsejtekben, és hogy a világot nem fenyegeti-e gépfelkelés.

1. Hogyan működnek a neurális hálózatok? Ez valami varázslat. Hogyan készülhetett egyáltalán a ChatGPT? És a Midjourney vagy a DALL-E?

A neurális hálózat egy matematikai modell, amelyet azzal a céllal találtak ki, hogy megértsék egy élő szervezet agyának működését. Igaz, a 20. század második felének elejének legalapvetőbb gondolatait vették alapul, amelyek ma már irrelevánsnak vagy túlságosan leegyszerűsítettnek nevezhetők.

Még a "neurális hálózat" név is a "neuron" szóból származik - ez az agy egyik fő funkcionális egységének a neve. Maguk a neurális hálózatok csomópontokból – mesterséges neuronokból – állnak. Elmondhatjuk tehát, hogy a modern építészet számos ötlete magából a természetből "kandikált".

De ami még fontosabb, a neurális hálózat egy matematikai modell. És mivel ez a matematikához kapcsolódik, így a matematikai apparátus teljes erejét felhasználhatjuk egy ilyen modell tulajdonságainak kiderítésére vagy értékelésére. A neurális hálózatot tekinthetjük függvénynek, és a függvény egyben matematikai objektum is. A legegyszerűbb és legérthetőbb példa: egy függvény, amely mondjuk tetszőleges számot vesz fel bemenetként, és hozzáad 2-t: f (4) = 6, f (10) = 12.

De egy ilyen funkciót nagyon egyszerű programozni, pár óra nyelvtanulás után még egy gyerek is megbirkózik vele. programozás. Ennek az az oka, hogy egy ilyen funkció nagyon könnyen formalizálható, egyszerű és érthető nyelven részletesen le van írva.

Vannak azonban olyan feladatok, amelyeket nem is tudunk megközelíteni. Például macskákról és kutyákról összekevert fotókat tudok adni, és gond nélkül két kupacba rendezheti őket. De pontosan mi vezérel a válasz meghatározásakor? Mindkettő bolyhos. Mindkét fajnak van egy farka, füle, két szeme. Talán a méret? De vannak nagyon kicsi kutyák, vannak nagy macskák.

A való világ sok feladatát nem tudjuk leírni, nem ismerjük megfigyelésünk és valamilyen feltételes „helyes” válasz függését.

Csak azt tudjuk, hogyan adjuk meg ezt a választ – és ennyi, anélkül, hogy belegondolnánk, hogyan fog kiderülni.

Itt jönnek segítségül a neurális hálózatok. Ezeket a matematikai függvényeket az adatokból tanítjuk. Nem kell leírnia a bemenet és a kimenet közötti kapcsolatot. Egyszerűen csak elkészít két köteg fotót, és a modell vonatok a helyes válaszok megadásához. Ő maga megtanulja megtalálni ezt a kapcsolatot, ő maga talál rá, támaszkodva hibákataki igen. Összetévesztett egy bengáli macskát és egy rottweilert? Na, legközelebb jobb lesz!

A neurális hálózat tanulásának folyamata a „neuronok” ilyen igazítása annak érdekében, hogy megtanulják, hogyan kell megoldani egy problémát és megadni a helyes választ. És ami a legfigyelemreméltóbb: van egy elméleti bizonyíték arra, hogy egy kellően nagy neurális hálózat kellően nagy adathalmazzal bármilyen összetett funkciót képes megtanulni. De a legfontosabb itt a számítási teljesítmény (mivel a neuron nagyon nagy lehet) és a címkézett adatok elérhetősége. Mégpedig jelölve, vagyis van náluk a „kutya”, macska vagy bármi más osztály.

Nem teljesen értjük a modellek működését – a legbonyolultabb és legnagyszerűbb modelleket ChatGPT szinte elemezhetetlen.

A legjobb kutatók jelenleg azon a kihíváson dolgoznak, hogy „megértsék” folyamataik belső működését.

De tudjuk, milyen feladatra képezték ki a modelleket, milyen hibát próbáltak minimalizálni a képzés során. A ChatGPT esetében a feladat kettőből áll. Az első a következő szó előrejelzése a szövegkörnyezet szerint: „mama megmosta...” Mi? Ezt kell előre jeleznie a modellnek.

A második feladat annak biztosítása, hogy a válaszok ne legyenek sértőek, ugyanakkor hasznosak és érthetőek maradjanak. Ezért terjedt el a modell – közvetlenül arra tanítják, hogy olyan szöveget generáljon, ami tetszik az embereknek!

A ChatGPT működéséről bővebben az én oldalamban olvashat cikk.

2. Tudnak gondolkodni a neuronok?

A tudósok még mindig nem értik, mit jelent „gondolkodni” vagy „észelni”, és általában véve hogyan működik az értelem. Ezért nehéz megítélni, hogy egy olyan modell, mint a ChatGPT, rendelkezik-e ilyen tulajdonságokkal.

Képzeljünk el egy helyzetet: közeledsz a lakásod ajtajához. Van olyan ötleted, hogy ki kell venni a kulcsot a hátizsák bal zsebéből az ajtó kinyitásához? Mondhatjuk-e, hogy a cselekvések leírása és bemutatása gondolkodási folyamat? Lényegében kapcsolatot létesítettünk az aktuális állapot és a kívánt cél (nyitott ajtó) között. Ha úgy gondolja, hogy a fenti kérdésre igen a válasz, akkor az én válaszom is ugyanaz lenne. 🙂

Egy másik dolog, amikor olyan innovatív gondolatokról van szó, amelyek korábban nem hangzottak el, vagy nem olyan gyakoriak. Hiszen például könnyen találhat hibát a fenti példában: „Igen, 100500-szor olvastam ezt a modellt az interneten és a könyveket. Persze hogy tudja! Semmi meglepő." Egyébként honnan tudtad? Ez azért van, mert a szüleid megmutatták neked gyerekkorodban, és te több száz napon keresztül figyelted a folyamatot?

Ebben az esetben nincs pontos válasz. És itt az a lényeg, hogy nem veszünk figyelembe egyetlen fontos összetevőt: a valószínűséget.

Mennyire valószínű, hogy a modell olyan gondolatot generál, amely megfelel az Ön „gondolat” konkrét meghatározásának?

Végül is egy olyan neuron, mint a ChatGPT, arra késztethető, hogy millió különböző választ generáljon ugyanarra a kérésre. Például: „találjon ki egy ötletet tudományos kutatás». Ha millióból egy nemzedék valóban érdekes és új, akkor ez annak bizonyítékának számít, hogy egy modellből is születhet ötlet? De miben különbözik ez attól a papagájtól, aki véletlenszerű szavakat kiabál, hogy nem-nem, és összeadódik valami érthető?

Másrészt az emberek nem mindig adnak ki helyes gondolatokat - egyes kifejezések zsákutcába vezetnek, és semmivel sem végződnek. Miért nem tudják ezt megbocsátani a neurális hálózatok? Nos, egy új ötlet a generált millióból nagyon rossz... De mi van, ha 100 a millióból? Ezer? Hol van ez a határ?

Ez az, amit nem tudunk. A tendencia az, hogy eleinte azt gondoljuk, hogy a gépek nehezen tudják megoldani az X problémát. Például, hogy átmenjen a Turing-teszten, ahol csak fél órát kell beszélgetnie egy személlyel. Aztán a technológia fejlődésével az emberek olyan megoldásokat találnak ki, amelyekkel megoldhatók, vagy inkább modelleket képezhetnek ki egy feladatra. Mi pedig azt mondjuk: "Nos, ez valójában rossz teszt volt, itt van egy új teszt, a neuronok biztosan nem fognak átmenni rajta!" És a helyzet ismétli önmagát.

A mostani, 80 évvel ezelőtti technológiákat csodaként fogták volna fel. Most pedig minden erőnkkel próbáljuk az "ésszerűség" határát feszegetni, hogy ne valljuk be magunknak, hogy a gépek már tudnak gondolkodni. Sőt, még az is lehetséges, hogy először kitalálunk valamit, majd post factum és visszamenőleg mesterséges intelligenciaként határozzuk meg.

3. Ha a neuronok tudnak rajzolni és verset írni, akkor kreatívak lehetnek, és majdnem olyanok, mint az emberek?

A válasz valójában nagymértékben függ a fenti információktól. Mi a kreativitás? Mennyi kreativitás van egy átlagemberben? Biztos vagy benne, hogy egy szibériai házmester tudja, hogyan kell alkotni? És miért?

Mi van akkor, ha egy modell tud olyan verset vagy festményt készíteni, amely feltételesen bejut az amatőr írók vagy gyermekművészek városi versenyének döntőjébe? És ha ez nem minden alkalommal történik meg, hanem százból egykor?

E kérdések többsége vitatható. Ha úgy tűnik, hogy a válasz egyértelmű, próbáljon meg interjút készíteni barátaival és rokonaival. Nagyon nagy valószínűséggel az ő nézőpontjuk nem esik egybe a tiéddel. És itt a lényeg nem az veszekedés.

4. Lehet bízni a neurális hálózatok válaszaiban és már nem a google-ban?

Minden attól függ, hogyan használják a modelleket. Ha feltesz nekik egy kérdést kontextus nélkül, a promptban szereplő kísérő információk nélkül, és választ vársz olyan témákban, ahol fontos a tények pontossága, és nem a válasz általános hangneme (például események sorozata egy bizonyos időszakon belül, de a helyek és dátumok pontos megemlítése nélkül), akkor a válasz Nem.

Hazai által becsült Az OpenAI ilyen helyzetekben az eddigi legjobb modell, a GPT-4 a kérdések témájától függően az esetek 70-80%-ában helyesen válaszol.

Úgy tűnhet, hogy ezek a számok nagyon messze vannak az ideális 100%-os tényleges "pontosságtól". De valójában ez egy nagy ugrás az előző generációs modellekhez képest (ChatGPT, GPT-3.5 architektúrára épülve) – ezek 40-50%-os pontossággal rendelkeztek. Kiderült, hogy egy ilyen ugrás 6-8 hónapos kutatás keretében történt.

Nyilvánvaló, hogy minél közelebb jutunk a 100%-hoz, annál nehezebb lesz néhány korrekciót végrehajtani, hogy ne „törjön” semmi a modell megértésében és ismeretében.

A fentiek azonban mind kontextus nélküli kérdésekre vonatkoznak. Például megkérdezheti: „Mikor volt Einstein? A modellnek csak olyan belső tudásra kell támaszkodnia, amelyet az internetről származó adatok hosszú távú képzésének szakaszában „bekötöttek”. Tehát az illető nem fog tudni válaszolni! De ha adnának egy oldalt a Wikipédiából, akkor elolvashatnám és az információforrás szerint válaszolhatnék. Ekkor a válaszok helyessége közel 100% lenne (a forrás helyességéhez igazítva).

Ennek megfelelően, ha a modellt olyan kontextussal látják el, amelyben az információ található, akkor a válasz sokkal megbízhatóbb lesz.

De mi lenne, ha hagynánk a modellt google-zni és információforrásokat találni az interneten? Hogy ő maga keresse meg a forrást, és az alapján építsen választ? Nos, ez már megtörtént! Tehát nem keresheti saját magát, hanem az internetes keresés egy részét átruházhatja magára a GPT‑4-re. Ehhez azonban fizetős előfizetés szükséges.

Ami a modellen belüli tényszerű információk megbízhatóságának fejlesztését illeti, az OpenAI vezérigazgatója, Sam Altman ad egy kutatócsoport becslése szerint 1,5–2 évre van szüksége ennek a problémának a megoldására. Nagyon várjuk majd! De most ne feledje, hogy nem kell 100%-ig megbíznia egy neuron által írt dolgokban, és legalább a forrásokat ellenőrizze-ellenőrizze.

5. Igaz, hogy a neurális hálózatok valódi művészek rajzait lopják el?

Igen és nem – a konfliktus mindkét fele aktívan vitatkozik erről a bíróságokon szerte a világon. Biztosan elmondható, hogy a képeket nem közvetlenül tárolják a modellek, csak a „figyelem” jelenik meg.

Ebben a tervben neuronok nagyon hasonlít azokhoz, akik először művészetet, különböző stílusokat tanulnak, megnézik a szerzők munkáit, majd megpróbálják utánozni.

A modellek azonban tanulnak, mint azt már megtudtuk, a hibaminimalizálás elve szerint. És ha az edzés során a modell több százszor látja ugyanazt (vagy nagyon hasonló) képet, akkor az ő szemszögéből a legjobb stratégia az, hogy emlékszik a képre.

Vegyünk egy példát: a tanára a művészeti iskolában nagyon furcsa stratégiát választott. Minden egyes nap két képet rajzolsz: az első mindig egyedi, új stílusban, a második pedig a Mona Lisa. Egy év után megpróbálod értékelni a tanultakat. Mivel több mint 300-szor rajzoltad le a Mona Lisát, szinte minden részletre emlékszel, és most már reprodukálhatod. Nem lesz pontosan az eredeti, és minden bizonnyal ad hozzá valamit a sajátodból. Színek kicsit más lesz.

És most arra kérnek, hogy rajzoljon valamit, ami 100 napja volt (és amit egyszer látott). Sokkal kevésbé pontosan reprodukálja a szükséges dolgokat. Csak mert a kéz nincs tömve.

Ugyanez a helyzet a neuronokkal: minden képen ugyanúgy tanulnak, csak néhány gyakoribb, ami azt jelenti, hogy a modellt edzés közben is gyakrabban büntetik. Ez nem csak a művészek festményeire vonatkozik - a képzési mintában szereplő bármely képre (akár reklámra is). Ma már léteznek módszerek a duplikátumok kiküszöbölésére (mert ezeken való képzés legalábbis nem hatékony), de nem tökéletesek. A kutatások azt mutatják, hogy vannak olyan képek, amelyek 400-500 alkalommal fordulnak elő egy edzés során.

Az én ítéletem: a neurális hálózatok nem lopnak képeket, hanem egyszerűen a rajzokat tekintik példának. Minél népszerűbb a példa, annál pontosabban reprodukálja a modell.

Az emberek ugyanezt teszik edzés közben is: nézik a szépséget, tanulmányozzák a részleteket, a különböző stílusokat művészek. Ám azoknak a művészeknek vagy fotósoknak, akik fél életüket mesterséget tanultak, a nézőpont gyakran gyökeresen eltér a fent leírtaktól.

6. Igaz, hogy „minden elveszett”, és a neurális hálózatok elveszik a munkát az emberektől? Kit érdekel a legjobban?

Fontos, hogy csak a bizonyos feladatokat ellátó „neurális hálózatokat” különítse el az általános célú neurális hálózatoktól, mint például a ChatGPT. Az utóbbiak nagyon jól követik az utasításokat, és képesek tanulni a példákból a kontextusban. Igaz, ma már a "memóriájuk" mérete 10-50 oldalnyi szövegre korlátozódik, akárcsak a reflexiós készség, ill. tervezés.

De ha valakinek a munkája az utasítások rutin végrehajtásán múlik, és ez könnyen megtanulható néhány nap alatt cikkek elolvasásával (vagy ha az egész internet tele van ezzel az információval), és a munkaerő költsége átlagon felüli - akkor hamarosan ilyen munka automatizálni.

De önmagában az automatizálás nem jelenti az emberek teljes leváltását. A rutinmunkának csak egy része optimalizálható.

Az ember érdekesebb és kreatívabb feladatokat kezd kapni, amelyekkel a gép (eddig) nem tud megbirkózni.

Ha példákat adunk, akkor a változtatható vagy cserélhető csoportba szakmák Ide sorolnám mondjuk az adóasszisztenseket-tanácsadókat, akik segítenek a bevallás elkészítésében és a tipikus hibák ellenőrzésében, az ellentmondások azonosításában. Változások lehetségesek olyan szakterületen, mint a klinikai vizsgálati adatkezelő - a munka lényege a jelentések kitöltése és a szabványtáblázattal való egyeztetése.

De egy szakácsra vagy buszsofőrre sokkal hosszabb ideig lesz kereslet egyszerűen azért, mert képesek összekötni a neurális hálózatokat és a valódit a fizikai világ meglehetősen bonyolult, különösen a jogszabályok és szabályozások tekintetében - hála a bürokratáknak, hogy elköltöztek Válság AI!

Nagy változások várhatók a nyomtatott anyagokkal és a szöveges információkkal kapcsolatos iparágakban: újságírás, oktatás. Elsőre nagyon nagy valószínűséggel a neuronok hamarosan vázlatokat fognak írni téziskészlettel, amelyekben az emberek már pontokat változtatnak.

Leginkább az oktatás területén bekövetkezett változásoknak örülök. Eszik kutatás, amelyek azt mutatják, hogy az oktatás minősége közvetlenül függ a megközelítés "személyiségétől", és attól, hogy a tanár mennyi időt szentel egy adott diáknak. A legegyszerűbb példa: a 30 fős csoportokban való tanítás tankönyv segítségével sokkal rosszabb, mint az egyéni Oktató konkrét igényekre (igaz, ugyanazon program szerint, mint a tankönyvben). A mesterséges intelligencia fejlődésével az emberiségnek lehetősége lesz személyre szabott asszisztenst biztosítani minden tanulónak. Egyszerűen hihetetlen! A tanár szerepe, ahogy én látom, stratégiai és irányító szerepre tolódik el: meghatározza a tanulás általános programját és sorrendjét, teszteli a tudást stb.

7. Fel lehet tölteni a tudatot egy számítógépre, létrehozni egy digitális ikertestvért és örökké élni?

Abban az értelemben, ahogy a sci-fi alapján elképzelik, nem. Csak arra taníthatod a modellt, hogy utánozza a kommunikációs stílusodat, tanuld meg a vicceidet. Talán még a GPT-4 szintű modellek is képesek lesznek újakat kitalálni az Ön egyedi stílusában és előadásmódjában, de ez nyilvánvalóan nem jelenti a teljes tudatátadást.

Mi, mint emberiség, ismét nem tudjuk, mi a tudat, hol tárolódik, miben különbözik másoktól, mi tesz engem - engem és téged - téged. Ha hirtelen kiderül, hogy mindez csak emlékek és élmények halmaza, megsokszorozva az egyéni jellemzőkkel az észlelés, akkor nagy valószínűséggel lehetséges lesz valahogy a tudást átvinni a neurális hálózatokba, hogy azok a jövőbeli életet szimulálják. az alapjuk.

8. Veszélyes feltölteni a hangját, megjelenését, szöveges beszédstílusát neurális hálózatba? Úgy tűnik, egy ilyen digitális identitás ellopható.

Nem lehet szó szerint letölteni beléjük semmit. Képezheti őket (vagy újratanítja őket) oly módon, hogy az eredmények jobban hasonlítsanak a megjelenésére, a hangjára vagy a szövegére. Egy ilyen betanított modellt pedig tényleg el lehet lopni, vagyis egyszerűen másolja le a szkriptet és egy paraméterkészletet, hogy futtasson egy másik számítógépen.

Akár videót is generálhat kéréssel pénzt utalni valaki más költségére, amiben a rokona hinni fog: a legjobb deepfake és hangklónozó algoritmusok már elérték ezt a szintet. Igaz, több ezer dollár és több tíz óra felvétel szükséges, de ennek ellenére.

Általánosságban elmondható, hogy a technológia fejlődésével egyre fontosabbá válik az azonosítás és az azonosság megerősítésének kérdése.

És így vagy úgy próbálják megoldani. Például van egy WorldCoin startup (sőt, kriptovalutát gyárt), amelybe az OpenAI vezetője, Sam Altman fektetett be. Az indítás lényege, hogy egy személyről minden információt a saját kulcsával írnak alá a későbbi azonosításhoz. Ugyanez vonatkozik a tömegmédiára is, annak érdekében, hogy biztosan megtudjuk, igaz-e vagy hamis ez a hír.

De sajnos, miközben mindez a prototípusok szakaszában van. A rendszerek mélyreható bevezetését pedig nem tartom minden iparágban megvalósítandónak a következő évtized horizontján, pusztán azért, mert túl bonyolult és nagy léptékű.

9. Elkezdhetnek-e a neuronok ártani és elfoglalni a világot?

A veszélyt nem a jelenlegi fejlemények jelentik, hanem az, hogy mi követi őket a további fejlődéssel. Jelenleg nem találtak ki módszereket a neurális hálózatok működésének szabályozására. Vegyünk például egy nagyon egyszerű feladatot: győződjön meg arról, hogy a modell nem káromkodik. Sohasem. Nincs olyan módszer, amely lehetővé tenné egy ilyen szabály betartását. Eddig különböző módokat találhat arra, hogyan „tenyésztheti” mindezt.

Most képzelje el, hogy feltételesen a GPT-8-ról beszélünk, amelynek készségei összehasonlíthatók a legtehetségesebb és legokosabb emberek képességeivel. A neurális hálózat tud programozni, tudja használni az internetet pszichológia és megérti, hogyan gondolkodnak az emberek. Ha szabad kezet ad neki, és nem tűz ki konkrét feladatot, akkor mit fog tenni? Mi van, ha rájön, hogy nem irányítható?

A rossz fordulat valószínűsége a becslések szerint nem olyan nagy. Egyébként nincs általánosan elfogadott értékelés - bár mindenki vitatkozik a részletekről, a káros következményekről stb. Most hozzávetőleges számokat hívnak 0,01% és 10% között.

Véleményem szerint ezek óriási kockázatok, feltételezve, hogy a legnegatívabb forgatókönyv az emberiség pusztulását jelenti.

Érdekes módon a ChatGPT és a GPT-4 olyan termékek, amelyeket az emberek és a neuronok szándékainak „összehangolásának” problémáival foglalkozó csapatok készítettek (részletek megtalálhatók itt). Ezért a modellek olyan jól hallgatják az utasításokat, próbálnak nem durvák lenni, tisztázó kérdéseket tesznek fel, de ez még mindig nagyon távol áll az ideálistól. Az irányítás problémája még félig sem megoldott. És bár nem tudjuk, hogy egyáltalán megoldják-e, és ha igen, milyen módszerekkel. Ez ma a legforróbb kutatási téma.

10. Egy neurális hálózat beleszerethet az emberbe?

A neuronok jelenlegi megközelítései és architektúrája szerint nem. Csak olyan szöveget állítanak elő, amely a legvalószínűbb a bemeneti szöveg folytatásaként. Ha bedobod egy szerelmi történet első fejezetét, átírod a személyiséged alá, és megkéred a modellt, hogy válaszoljon a szerelmes leveledre, akkor megbirkózik vele. De nem azért, mert beleszerettem, hanem mert ez passzol a legpontosabban a szövegkörnyezethez és a „írj levelet!” kéréshez. Ne feledje, hogy a modellek megtanulják az utasításokat követő szöveget generálni.

Ráadásul a neurális hálózatok az alapváltozatban nem rendelkeznek memória - két különböző indítás között mindent elfelejtenek és visszagurulnak a "gyári beállításokhoz". A memória mesterségesen, mintha oldalról is hozzáadható, így mondjuk 10 oldal a legrelevánsabb "emlékekből" bekerül a modellbe. De aztán kiderül, hogy egyszerűen betáplálunk egy sor eseményt az eredeti modellbe, és azt mondjuk: „Hogyan viselkedne ilyen körülmények között?” A modellnek nincsenek érzései.