fbpx

Fundament Apache Spark (standard)

Nauczyciel
Marek Czuma
Kategoria:
Przetwarzanie danych

Covid19 dataset

Rozmiar pliku: 28 mB

Zasoby (datasety poza covid19)

Rozmiar pliku: 5 mB

Kod z lekcji

Rozmiar pliku: 484 kb

Fundament Apache Spark to kurs, który wprowadzi Cię w podstawy jednej z najbardziej pożądanych technologii Big Data na świecie. Przerabiając go będziesz stykać się z przystępnie, metodycznie ułożoną teorią, dopasowaną praktyką oraz testami i ćwiczeniami gruntującymi wiedzę.

Jak jest ułożony?

“Fundament” dzieli się na dni, podczas których realizowane są moduły tematyczne. Co ważne – dni są ułożone tak, żeby realistycznie dało się przerobić dany materiał w ciągu “dnia kursowego”, czyli ok 1-2h ciurkiem.

Co będziesz umieć po przerobieniu kursu?

Kurs da Ci wiedzę ORAZ UMIEJĘTNOŚCI w zakresie podstaw. Pod koniec przedstawię jak zrobić prosty, mały projekt. Gdy dołożysz nieco wysiłku, może on stać się Twoją pierwszą pozycją w portfolio. Zakończymy wszystko przygotowaniem do rozmowy rekrutacyjnej.

Certyfikat

Aby certyfikat miał swoją rynkową wartość, do jego otrzymania potrzeba 3 składowych:

  1. Skompletowania hasła, którego części “poukrywane są” w filmach lekcyjnych.
  2. Zbudowania projektu (jeden z modułów)
  3. Zaliczenia egzaminu końcowego.

Gdy wszystko już masz – napisz na kontakt@riotechdatafactory.com.

Co musisz umieć na start

Jedynie język programowania Scala. W stopniu bardzo podstawowym. Jeśli jednak umiesz Javę lub Pythona, także wyniesiesz z kursu bardzo dużo wartości.

Dzień 1

1
Wprowadzenie do kursu
2
Wstęp do modułu 1 [Moduł 1 – wprowadzenie do Sparka]
3
Teoria – co to jest Spark? [Moduł 1 – wprowadzenie do Sparka]
4
Kod pierwszej aplikacji [Moduł 1 – wprowadzenie do Sparka]

Dzień 2

1
Ćwiczenie [Moduł 1 – wprowadzenie do Sparka] (FAS)
2
Test na koniec modułu [Moduł 1 – wprowadzenie do Sparka]
4 pytania
3
Wstęp do Modułu 2 [Moduł 2 – Budowa Sparka] (FAS)
4
Architektura [Moduł 2 – Budowa Sparka]

Dzień 3

1
Struktury Sparkowe [Moduł 2 – Budowa Sparka]
2
Akcje i transformacje [Moduł 2 – Budowa Sparka]
3
Ćwiczenie – architektura [Moduł 2 – Budowa Sparka]

Dzień 4

1
RDD – praktyka [Moduł 2 – Budowa Sparka]
2
Dataframe – praktyka [Moduł 2 – Budowa Sparka]
3
RDD – ćwiczenie [Moduł 2 – Budowa Sparka]
4
Test na koniec modułu [Moduł 2 – Budowa Sparka]
5 pytań

Dzień 5

1
Teoria [Moduł 3 – Logika w Sparku]
2
Unions [Moduł 3 – Logika w Sparku]
3
Joins [Moduł 3 – Logika w Sparku]

Dzień 6

1
Pizza w USA [Moduł 3 – Logika w Sparku]
2
Netflix [Moduł 3 – Logika w Sparku]
3
Join – ćwiczenie [Moduł 3 – Logika w Sparku]

Dzień 7

1
Json [Moduł 3 – Logika w Sparku]
2
Prosta praca ze strukturą [Moduł 3 – Logika w Sparku]
3
Netflix – ćwiczenie [Moduł 3 – Logika w Sparku]

Dzień 8

1
Średnia pizza dla każdego – ćwiczenie [Moduł 3 – Logika w Sparku]
2
Test na zakończenie modułu [Moduł 3 – Logika w Sparku]
4 pytania
3
Wprowadzenie [Moduł 4 – Customowe funkcje]
4
Teoria [Moduł 4 – Customowe funkcje]

Dzień 9

1
Podstawy UDF [Moduł 4 – Customowe funkcje] (FAS)
2
Kapitalizacja odsetek [Moduł 4 – Customowe funkcje] (FAS)
3
Praktyczny przykład UDF (AI, cosin similarity) [Moduł 4 – Customowe funkcje] (FAS)
4
Funkcja transform [Moduł 4 – Customowe funkcje] (FAS)
5
Netflix v2 - ćwiczenie [Moduł 4 – Customowe funkcje] (FAS)

Dzień 10

1
Odsetki z dopłatami – ćwiczenie [Moduł 4 – Customowe funkcje]
2
Test na koniec modułu [Moduł 4 – Customowe funkcje] (FAS)
3 pytania
3
Wprowadzenie [Moduł 5 – Wprowadzenie do serwera]
4
Teoria [Moduł 5 – Wprowadzenie do serwera]

Dzień 11 (dzień projektowy)

1
Praktyka [Moduł 5 – Wprowadzenie do serwera]
2
Test na koniec modułu [Moduł 5 – Wprowadzenie do serwera]
3 pytania
3
Wprowadzenie [Moduł 6 – Projekt]
4
Omówienie projektu [Moduł 6 – Projekt]

Dzień 12 (dzień projektowy)

1
Ogólna budowa [Moduł 6 – Projekt]
2
Przegląd danych [Moduł 6 – Projekt]
3
Loader (ładowanie danych) [Moduł 6 – Projekt]
4
Cleaner (czyszczenie danych) [Moduł 6 – Projekt]

Dzień 13 (dzień projektowy)

1
Analyzers (wyszukiwanie i analiza) [Moduł 6 – Projekt]
2
Efekt (testujemy projekt!) [Moduł 6 – Projekt]
3
Zakończenie projektu [Moduł 6 – Projekt]

Dzień 14 (rozmowa rekrutacyjna)

1
Rozmowa rekrutacyjna i podsumowanie kursu
2
Egzamin końcowy
7 pytań
Dodaj do Ulubionych
Zapisz się na kurs
Zapisano się: 79 studentów
Czas trwania: ~ 2-3 tyg.
Wykłady: 44
Film: 6h
Poziom: Początkujący
Layer 1