A Chatbot Arena segít összehasonlítani a neurális hálózatok képességeit ugyanazon lekérdezések esetén
Vegyes Cikkek / / October 19, 2023
Döntse el, mely nyelvi modellek felelnek meg leginkább az Ön igényeinek.
Mi az a Chatbot Arena
A Chatbot Arena egy olyan rendszer, amely lehetővé teszi a neurális hálózatok különböző nyelvi modelljei tesztelését és összehasonlítását, valamint azok értékelését teljesítményt, valamint a tesztelési paramétereket a projekt követelményeinek megfelelően állítsa be, és válassza ki a leghatékonyabbat választási lehetőség.
A platform a sakk világából kölcsönzött Elo minősítési rendszeren alapul. Megbízható összehasonlítási mechanizmusként működik - ezzel az elvvel szinte korlátlan számú neurális hálózat páronkénti kombinációját értékelheti. A nyelvi modellek tesztelése során a szolgáltatás információkat gyűjt az egyes neurális hálózatok felhasználási lehetőségeiről különféle feladatokhoz.
A Chatbot Arena használata
A ChatBot Arena számos nyelvi modellt tartalmaz az egymással való összehasonlításhoz, köztük olyan nagyokat, mint az OpenAI GPT-4 és Claude által Anthropic. Itt a GPT és más nyílt hozzáférésű neurális hálózatok régi verziói is bemutatásra kerülnek.
Hivatalos oldal A szolgáltatás számos lehetőséget kínál a modellek tesztelésére és összehasonlítására. A „Battle” módban a neurális hálózatok nevei nem jelennek meg, egyszerre két rendszer kérésére adott válaszokat ellenőrzi, anélkül, hogy tudná, hogy éppen melyik aktiválódik. A nyílt összehasonlító űrlapon (Side-by-Side) egy listából választhatja ki, hogy mely modelleket szeretné tesztelni.
A teljes teszthez több kérdést kell feltenni a beviteli mezőben, amíg kiderül, hogy a két chatbot közül melyik válaszol jobban. Amikor meghozza döntését, kattintson az egyik gombra, amely megerősíti döntését: „A jobb” vagy „B jobb”. Választhatja a „Nekkendő” opciót is, ha mindkét chatbot egyformán jól teljesített, vagy a „Mindkettő rossz” lehetőséget, ha egyik válaszuk sem tetszett.
A győztes meghatározása után a ChatBot Arena csata módban automatikusan megkér minden botot, hogy erősítsék meg „azonosságát”, hogy megértse, melyik modell áll az élen. Az eredmények általában a lekérdezésektől függenek.
Még több anyag a neurális hálózatokról🤖❓💬
- 7 ChatGPT analóg
- Hogyan kell használni a ChatGPT-t - egy neurális hálózattal rendelkező chatbotot, amely kérdésekre válaszol, problémákat old meg és még kódot is ír
- Hogyan használhatja a ChatGPT-t a Telegramban, és gyorsan kaphat választ minden kérdésre böngésző nélkül
- 6 neurális hálózatokon alapuló szolgáltatás a hangminőség javítása érdekében
- 5 GPT-alapú szolgáltatás, amely változatosabbá teszi a robotokkal végzett munkáját