Apache Spark keretrendszer fejlesztőknek: haladó szint - tanfolyam 41 500 dörzsölje. az IBS Oktatóközpontból, 24 órás képzés, Időpont: 2023. november 26.
Vegyes Cikkek / / December 05, 2023
A képzés részletes ismereteket nyújt az Apache Spark keretrendszer belső felépítéséről és működéséről – a Spark Core (RDD), a Spark SQL, a Spark Streaming és a Spark Structured Streaming egyaránt. Figyelembe veszik a különböző fürtkezelők irányítása alatt álló Spark fürtkomponensek indításának mechanizmusait, az erőforrások (elsősorban a memória) allokációját, valamint az ütemezők működési mechanizmusait. Részletesen feltárjuk a Tungsten belső reprezentációs formátum előnyeit és a Catalyst optimalizáló működését.
Lefedett témakörök:
Spark belső architektúra, Spark futásidejű környezet
A Spark Context beállítása, SparkConf
RDD belsők, logikai elrendezés
Az RDD-vel való programozás legjobb gyakorlatai
Fizikai terv: munka, szakaszok, feladatok
Tervezők és fizikai terv végrehajtás
Memóriahangolás, szerializálás, gyorsítótár, szemétgyűjtés
Datasource API, Tungsten belső adatábrázolás, fájlformátumok
Katalizátor optimalizáló
Microbatch Spark Streaming: adatok fogadása és kiadása
Strukturált adatfolyam: adatok fogadása és terjesztése