Adatelemzés Pythonban és adatbázisokban (SQL) - ingyenes tanfolyam a RANEPA-tól, képzés, Időpont: 2023. március 6.
Vegyes Cikkek / / December 04, 2023
A Python Data Analysis and Database (SQL) program segítségével a hallgatók megismerhetik a Python nyelvet használó ML (gépi tanulás) algoritmusok programozásának alapjait. Emellett számos kompetencia elsajátításában is segít a modern relációs adatbázisok kezelése terén és gyakorlati ismereteket szerezzenek a DBMS nyelvi eszközök (adatbáziskezelő rendszerek) használatában adat).
Az üzleti életben és a kormányzatban hatalmas mennyiségű adatot kell folyamatosan elemezni információk beszerzése a munka minőségének ellenőrzéséhez, friss ötletek előterjesztése és az elfogadottak igazolása döntéseket. A hatalmas mennyiségű adathoz értő szakértők gyors karrierre számíthatnak lenyűgöző fizetésekkel.
Az adatelemzéssel kapcsolatos álláshirdetésekben általában az SQL és a Python szerepel a leggyakrabban.
A képzésre csak olyan hallgatók jelentkezhetnek, akik nem az alábbi területeken tanulnak:
A program elsajátítása során a hallgatóknak lehetőségük lesz új digitális termékek kidolgozására (önállóan vagy csapatban). A legjobb megoldások szerzői megkapják az Akadémia támogatását, és lehetőséget kapnak a RANEPA Mesterséges Intelligencia Laboratóriumával és Platformfejlesztő Laboratóriumával való együttműködésre.
Piton
Hogyan működik mindez? Python funkciók.
Miért használ mindenki Pythont? Összehasonlítás más programozási nyelvekkel. Hogyan kell programokat írni? A Python előnyei. A Python használata feladatokban: szövegszerkesztés, képekkel való munka, stock robotok írása, chat-botok indítása. Bemenet és kimenet Pythonban. Nevek Pythonban. Alapműveletek. Programvégrehajtás előrehaladásának vezérlése (feltételes konstrukciók). Példák egyszerű programokra.
Ciklusok. Vonalak. String módszerek.
Hurok előfeltétellel. Megszakítás és folytatás. A hurokhoz Vonalszerkezet és vonalhossz. A vonalelem és a vonalak vágásának módja. Alkarakterlánc beszerzése karakterláncból. Vonal bejárás. szakaszok.
Tuples. Listák. függvénytérkép. Véletlenszerű értéklista generátor.
Miért van szükség sorokra? Munka listával. Lista elemek. Nyomtassa ki a listát. A listák helyes másolása. A térkép funkció használatának jellemzői. Mik azok a véletlenérték generátorok? Egy csomó. Műveletek halmazokkal. Frozenset. Szótárak. kap módszert Szótári bejárás.
Funkciók. Matematikai függvények alkalmazása. Hatály és kizárás.
Hogyan írjunk függvényeket helyesen. Egyszerű algoritmusok. Az első függvények írása. Hogyan adjunk hozzá matematikát. Javaslatok saját függvények írásához. A hatótávolságok működése. Globális változók. Több érték visszaadása egy függvényből. Kivételek.
Fájlokkal való munka. Mátrixok. A válogatás típusai
Mit lehet csinálni a fájlokkal? Fájlok megnyitása és bezárása. Szövegfájlok olvasása és írása. Mátrixok. Mátrixok kitöltése. Mátrixok bevitele soronként. Olvasási és írási mátrixok. Buborékos fajta. Az algoritmus elemzése. A megoldás több változata.
A NumPy könyvtár áttekintése. Munka a NumPy függvényekkel. SciPY könyvtár.
Python könyvtárak és telepítésük. Alapvető NumPy adattípusok. Numerikus függvények. Munka tömbökkel. Műveletek tömbökkel. Kétdimenziós tömbök. Mátrixok. A SciPy könyvtár alapvető funkciói.
Panda könyvtár áttekintése. Alapvető elemzések.
A könyvtár telepítése. Sorozat objektum létrehozása. DataFrame indexelés. Táblázatok. Fájlok olvasása és írása. Indexelés. Adatmintavétel. Műveletek sorokkal és oszlopokkal. Munka a NaN-nel. Válogatás.
Adatvizualizációk. Gyakorlati példák
Új adatok tanulmányozása, előfeldolgozás, adatvizualizáció, jellemzők közötti kapcsolatok keresése, képzési adatok készítése és hitelkockázat-előrejelző modellek készítése. Olyan modell beszerzése, amely megválaszolja a kérdést: kölcsönt kiadni vagy nem.
Rutinfeladatok automatizálása. Gyakorlati példák
Gyakorlati példák elemzése a több forrásból (Excel fájlok) vagy az internetről származó összesített információk beszerzéséhez kapcsolódó feladatok automatizálására.
Az adatelemzéshez használt gépi tanulási módszerek áttekintése. Gyakorlati példák
Gyakorlati példa az alapjellemzők azonosítására és értelmezésére egy felügyelt tanulási problémában.
Időközi modul értékelés
Az ideiglenes tanúsítás teszt (számítógépes tesztelés) formájában történik. Példa egy tipikus tesztépületre:
Milyen Python-függvénnyel lehet megtudni egy változó típusát?
- hwoami
- típus
- típusú
- van
Milyen számtartomány jön létre a következő kódban: tartomány (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Mit tesz lehetővé a listában szereplő kódrészlet végrehajtása?
- Kódrészlet: print(math.sqrt(2))
- a 2-es szám megjelenítése a matematikai könyvtárból
- a matematikai könyvtár összekapcsolása
- egy matematikai szám négyzetre emelése
- kettő négyzetgyökének megjelenítése
SQL
Adattárolás és integritás.
Adattárolás: adatfájlok, naplók, RAID szintek, Tempdb. Kapcsolatok adatbázisokban, egy az egyhez, egy a sokhoz, a sok a sokhoz. Adatintegritás: ELSŐDLEGES KULCS, ELLENŐRZÉS, EGYEDI és IDEGEN KULCS. A táblázatok normalizálása.
Adatbázis és táblák készítése.
DBMS architektúra: logikai (táblák és adattípusok, kulcsok, indexek, nézetek, összeállítások, megszorítások, szabályok, alapértelmezett értékek) és fizikai szintek (fájlok és fájlcsoportok, oldalak). Adatbázis létrehozása. Táblázatmező adattípusok: Pontos számok, Unicode karakterláncok, közelítő számok, bináris adatok, dátum és idő, egyéb adattípusok, karakterláncok. Táblázatok készítése. Hol lehet kérelmet írni?
Indexek. Diagramok.
Indexek: fürtözött, nem fürtözött, egyedi azonosító, szűrt, oszloptár, hash, nem fürtözött, memóriaoptimalizált index. ER diagramok: Database Diagrams, Database Node. DML és a leggyakoribb SQL operátorok: SELECT, INSERT, UPDATE, DELETE. Az egyedi tényezők jelentősége.
Kérések. Külső csatlakozások.
Lekérdezések egy asztalon. Mintavétel ismétlés nélkül. Lekérdezések több táblán. Külső csatlakozások: LEFT, RIGHT vagy FULL.
Összesített függvények. Allekérdezések.
Allekérdezések: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Csatlakozási adatok: SELECT JOIN. Összesített függvények: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Az aggregált függvények feltételei.
Hasznos funkciók.
Még egy kicsit az operátorokról. Ipari kérés. Hasznos funkciók: SQRT, RAND, CONCAT, numerikus és karakterlánc funkciók. A művelet elsőbbsége és típuskonverziója: CAST, CONVERT.
Tranzakciók. Reprezentáció.
Egy kérés négyféleképpen. Tranzakciók: tranzakció fogalma - atomitás, konzisztencia, elszigeteltség, tartósság, tranzakciókezelés - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Párhuzamos adatelérés: piszkos, meg nem ismételhető olvasás, fantomok problémái. Nézetek: indexelt, particionált, rendszer.
Változók és hurkok.
A programozás kezdete. Változók: DECLARE, SET, SELECT. Kódszerkezet. Adatleíró operátorok: CREATE, DROP, ALTER stb. Adatkezelési operátorok: INSERT, DELETE, SELECT, UPDATE stb. Operátorok az adatbázisban való hozzáférési jogok beállításához: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operátorok a védelemhez, az adatok helyreállításához és egyéb kezelőkhöz. Ciklusok: MIközben.
Tárolt eljárások és funkciók.
Ideiglenes asztalok. Transact-SQL kurzorok, szerver, kliens. Kurzortípusok: egyirányú, statikus, kulcskészlet, dinamikus. Tárolt eljárások és funkciók: CREATE PROCEDURE, CREATE PROC.
Kiváltók. Kivételek.
HF szállítószalag. Kiváltó okok: UTÁNA, HELYETT. Kivételek: KIVÉVE. Dinamikus SQL kulcsszó és tárolt eljárás használatával: AZONNALI VÉGREHAJTÁS.
DBMS. NoSQL adatbázisok.
Tranzakciók a programozásban/DBMS/SQL-ben. Hogyan történik a kérések végrehajtása. Hogyan javítható a lekérdezés teljesítménye. NoSQL adatbázis és előnyei.
Időközi modul értékelés
Az ideiglenes tanúsítás teszt (számítógépes tesztelés) formájában történik. Példa egy tipikus tesztépületre:
Milyen típusú mezőadatok a NUMBER típusúak?
- húr
- numerikus
- bináris
Melyik SQL parancs kéri le az adatokat?
- VÁLTOZTAT
- KIVÁLASZTÁS
- TÓL TŐL
Mi az a tranzakció?
- ez a DBMS által végrehajtott műveletek csoportja
- olyan műveletek csoportja, amelyek ACID tulajdonságokkal rendelkeznek
- ez egy SQL parancs végrehajtásának művelete