A Kafka alapjai - tanfolyam 42 000 dörzsölje. az IBS Oktatóközpontból, 24 órás képzés, Időpont: 2023. december 4.

Lefedett témakörök:
1. Szemle (elmélet – 1 óra)
Mi az a Kafka.
Példák Kafka sikeres és sikertelen használatára.
Kafka és az adatbázis: hasonlóságok és különbségek.
Kafka és üzenetsor: hasonlóságok és különbségek.
Kafka tárolási architektúra: brókerek, témák, partíciók, szegmensek, replikák.
Kafka-fürt architektúra: Zookeeper, particionálás, mester és szolga replikációs csomópontok, ISR.
Ügyfelek és API-k.
2. Klaszter felállítása (gyakorlat – 1 óra)
2.1 gyakorlat: Kafka-fürt futtatása a Docker segítségével.
A Zookeeper telepítése.
Kafka brókerek telepítése.
3. Alkalmazásfejlesztés Java nyelven (elmélet – 2,5 óra, gyakorlat – 2,5 óra)
Kafka Producer API: Alapok.
3.1 gyakorlat: Egy üzenet küldése.
3.2 gyakorlat: Több üzenet küldése.
3.3 gyakorlat: Több üzenet küldése explicit particionálással.
3.4 gyakorlat: Üzenetek küldése kulcsok nélkül.
Kafka Consumer API: alapok, fogyasztói csoportok.
3.5. gyakorlat: Egy címzett.
3.6. gyakorlat: Több címzett egy csoportban.
További funkciók: Csomagok, Ismétlések, Idempotencia, Tranzakciók, Fogyasztói csoportok kiegyensúlyozása.

3.7 gyakorlat: Küldés csomagok és ismétlések nélkül.
3.8 gyakorlat: Idempotens feladó.
3.9. gyakorlat: Tranzakciós feladó.
3.10. gyakorlat: Küldés és fogadás tranzakció során.
3.11. gyakorlat: Fogadás-feldolgozás-küldés tranzakcióban.
4. Külső hozzáférés a Kafka-klaszterhez (elmélet – 2 óra, gyakorlat – 2 óra)
Biztonság: SSL, SASL, Kerberos.
REST Proxy: üzenetek küldése és fogadása JSON, bináris és Avro formátumban.
4.1 gyakorlat: Hozzáférés REST Proxy-n keresztül.
Sémanyilvántartás: sémanyilvántartás.
4.2 gyakorlat: A REST Proxy használata a sémanyilvántartással.
5. Karbantartás és monitorozás (elmélet – 1 óra, gyakorlat – 1 óra)
Klaszter felállítása különböző célokra.
Zookeeper: konfiguráció, önálló és kvórum mód, CLI.
5.1. gyakorlat: Kafka-klaszter megfigyelése Prometheusszal.
6. Több klaszter (elmélet – 1 óra, gyakorlat – 1 óra)
Miért van szüksége több klaszterre Kafkában?
MirrorMakerAccess.
6.1 gyakorlat: A MirrorMaker használata fürtök szinkronizálására.
Confluence Replicator.
7. Kafka Connect (elmélet – 2 óra, gyakorlat – 2 óra)
Kafka Connect architektúra.
Kafka Connect adatnyelők.
7.1 gyakorlat: FileStream fájlvevő.
7.2 gyakorlat: JDBC vevő.
Kafka Connect adatforrások.
7.3 gyakorlat: FileStream Source.
7.4 gyakorlat: JDBC-forrás.
8. A Kafka Streams alapjai (elmélet – 2 óra, gyakorlat – 2 óra)
Kafka Streams: DSL, API, StreamBuilder, topológia létrehozása és megvalósítása.
Demo 8.1: A Streams topológia megvalósítása.
8.2-es bemutató: Stream-alkalmazás készítése a StreamBuilder segítségével.
Kafka Streams eszköz: többszálú, több példány és feladat.
Adatsémák a Kafkában: sorozatosítás JSON-sémákká, Avro-sémák, séma-nyilvántartás, séma evolúció.
8.3-as bemutató: JSON-sémák használata.
Állapottartó feldolgozás: Állami áruház, Hibatűrés az Állami Áruházakhoz.
KTable: Adatfrissítési folyamok, gyorsítótár, visszakeresési sebesség, összesítés.
Windows adatfolyamokban: időbélyegek, lebegés, ugrás, munkamenet.
Kapcsolódás: folyam a folyamhoz, KTable a KTable, adatfolyam a KTable.