Data Engineer - tanfolyam 89 000 dörzsölje. Otustól, képzés 4 hónap, dátum 2023. november 30.
Vegyes Cikkek / / December 03, 2023
Mit fog adni ez a tanfolyam?
- A nagy adatok integrálásának, feldolgozásának és tárolásának kulcsfontosságú módjainak megértése
- Képesség Hadoop ökoszisztéma-összetevőivel, elosztott tárolással és felhőmegoldásokkal való együttműködésre
- Gyakorlati ismeretek adatszolgáltatások, kirakatok és alkalmazások fejlesztésében
- Monitoring, hangszerelés, tesztelés szervezési elveinek ismerete
A tanfolyam címzett fejlesztők, DBMS-adminisztrátorok és mindenki, aki professzionális színvonalát fejleszti, új eszközöket sajátít el és érdekes feladatokat szeretne végezni az adatokkal való munkavégzés területén.
Az adatmérnöki tanulmányok elvégzése után olyan keresett szakember lesz, aki:
- adatfeldolgozó eszközöket telepít, állít be és optimalizál
- adaptálja az adatkészleteket a további munkához és elemzésekhez
- olyan szolgáltatásokat hoz létre, amelyek nagy mennyiségű adat feldolgozásának eredményeit használják fel
- felelős a vállalat adatarchitektúrájáért
Valós esettanulmányok: példák megvalósításokra, eszközhasználatra, teljesítményoptimalizálásra, problémákra, hibákra és alkalmazott eredményekre
Rendkívül gyakorlatias orientáció:
A tanfolyam során fokozatosan készítünk egy működő terméket, megoldva az alkalmazott problémákat
Holisztikus kép a modern üzleti élet kihívásairól, feladatairól, az Adatmérnök szerepéről ezek megoldásában
Kereslet a munkaadók körében
Már 40 munkaadó kész interjúra hívni a tanfolyamot végzetteket
6
tanfolyamokAdatmérnök a Wildberriesnél, DE Junior tanfolyam előadó. Több mint 7 év IT területen
Kitüntetéssel végzett a Voronyezsi Állami Egyetemen. Jelenleg az EBK „Rendszer- és szoftvermérnöki” mesterszakának hallgatója. Szakmai tapasztalat - 2 év adatelemző és adatmérnöki munka. Jelenleg 5 népszerű adatbázissal dolgozik, Pythonban fejleszt, és gyorsan fejleszti képességeit. Készen áll, hogy megosszam tapasztalataimat.
1
jólTöbb mint 10 éve fejleszt analitikát a cégnél. Az eredmények között szerepel: - Saját end-to-end webelemző rendszer kiépítése; - MPP Vertica alapú analitikai raktár építése; - Spark, Kafka, HDFS alapú adatfeldolgozás megszervezése; -...
Több mint 10 éve fejleszt analitikát a cégnél. Az eredmények között szerepel: - Saját end-to-end webelemző rendszer kiépítése - MPP Vertica alapú analitikai raktár építése - Spark alapú adatfeldolgozás megszervezése, Kafka, HDFS;- Az adatokkal való munkafolyamatok kiépítése, beleértve az adatminőséget;- Több belső eszköz létrehozása a metaadatok megmunkálásához és strukturálásához (Adatkatalógus);- Vállalati jelentési rendszer kiépítése, beleértve a valós idejű jelentést is; - Több mint 5 éve foglalkozik a cégen belüli adatműveltség növelésével, különféle képzéseket tart az adatokkal való munkavégzésről, eszközök, SQL; Számos analitikai vezetőt is kinevelt, akik jelenleg nagyvállalatoknál dolgoznak. A fő hangsúly az adatokkal való munkavégzés és azok megoldása során felmerülő üzleti problémák megértésére irányul.
1
jólOsztályvezető, Sberbank 8 éves ipari fejlesztési tapasztalat, beleértve a webalkalmazások létrehozását és karbantartását nagyvállalatoknál és startupoknál egyaránt. 3 év elosztott rendszerek fejlesztése nagy kormányzat számára...
Osztályvezető, Sberbank 8 éves ipari fejlesztési tapasztalat, beleértve a webalkalmazások létrehozását és karbantartását nagyvállalatoknál és startupoknál egyaránt. 3 éves elosztott rendszerek fejlesztése nagy kormányzati ügyfelek számára. Három projektet valósított meg a semmiből, a prototípustól az ipari használatra kész állapotig. Jelenleg teljes körű fejlesztéssel foglalkozik a bank belső ügyfelek számára, adatelemzéssel és tervezéssel kapcsolatos problémák megoldásával. Java, Scala, Python, Javascript programozásban szerzett tapasztalat. Szakmai érdeklődési körök széles skálája, az elosztott rendszerek építésétől a prediktív elemzésig és a szándékelemzésig. Iskolai végzettség: Bachelor diploma az UrFU-ról elnevezett. B.N. Jelcin „Információs technológiák”.
Adatarchitektúra
-Téma 1.Adatmérnök. Feladatok, készségek, eszközök, piaci igények
-2. témakör. Az analitikai alkalmazások felépítése: alapkomponensek és alapelvek
-Téma 3. Helyszínen / Felhőmegoldások
-4. témakör. Csővezeték-automatizálás és hangszerelés – 1
-5. témakör. Csővezeték-automatizálás és hangszerelés – 2
Data Lake
-6. témakör. Elosztott fájlrendszerek. HDFS/S3
- 7. témakör. SQL hozzáférés a Hadoophoz. Apache Hive/Presto
-Téma 8. Adattárolási formátumok és jellemzőik
-9. témakör. Távirányító elemzése 1 esetre
-Téma 10. Üzenetsorok. Kafka áttekintése.
-Téma 11.Adatok letöltése külső rendszerekről
-12. téma. Apache Spark – 1
-13. téma. Apache Spark – 2
DWH
-14. témakör.Elemző DBMS. MPP adatbázisok
-15. témakör.DWH modellezés – 1. dbt alapjai
-16. témakör.DWH modellezés – 2. Data Vault 2.0
- 17. témakör. DevOps gyakorlatok analitikai alkalmazásokban. CI+CD
-18. témakör Távirányító elemzése a 2. esethez
-19. témakör. Adatminőség. Adatminőség-kezelés
-20. témakör: BI megoldás bevezetése
-21. témakör. Monitoring / Metaadatok
NoSQL/NewSQL
- 22. témakör: NoSQL tárolás. Széles oszlop és kulcsérték
- 23. témakör: NoSQL tárolás. Dokumentum orientált
-24.ELK téma
-25. téma.ClickHouse
-26. témakör Távirányító elemzése a 3. esethez
MLOps
-27. témakör. A kód szervezése és csomagolása
-28. témakör. Docker és REST architektúra
-29. téma.MLFlow + DVC
-Téma 30. Modellek telepítése
-31. témakör Távirányító elemzése a 4. esethez
-32. témakör Távirányító elemzése az 5. esethez
Érettségi projekt
-33. témakör Témaválasztás és projektmunka szervezése
-Téma 34.Konzultáció
-35. téma.Védelem