fbpx

Tajniki Sparka: Zaawansowane Mechanizmy Przetwarzania Danych

Wbij nowy poziom w Apache Spark! Wejdź do grona garstki inżynierów, którzy rozumieją jak działa Spark “pod maską”. Poznaj budowę i metody optymalizacji. A potem systematycznie otrzymuj aktualizacje i kolejne, nowe lekcje!

1 student enrolled

Wbij nowy poziom w Sparku!

Apache Spark to jedna z najpopularniejszych technologii w inżynierii danych. Ale ilu specjalistów tak naprawdę zagląda pod maskę?

Ilu specjalistów rozumie jak myśli spark i umie analizować to co dzieje się podczas przetwarzania danych?

Takie umiejętności posiada zaledwie garstka. A to właśnie one są decydujące w ciężkich momentach! To inżynierowie, którzy rozumieją co dzieje się w silniku, potrafią zrozumieć “którą śróbkę dokręcić”. I w efekcie uratować budżet firmy.

Tajniki Sparka to kurs, który pomoże Ci nie tylko poznać wiedzę, ale przede wszystkim zrozumieć “jak myśli Spark”.

To jedyny kurs online o zaawansowanych mechanizmach Sparka na polskim rynku.

Dzięki niemu dowiesz się m.in.:

  1. Jak wygląda architektura Sparka?
  2. Na czym polegają Stage?
  3. W jaki sposób Spark rozdziela dane pomiędzy partycje?
  4. Co to jest Query Plan i jak go czytać?
  5. Jak analizować Spark UI?
  6. Czym jest Data Skewnes i jak z nim walczyć?
  7. Jakie metody optymalizacji Spark stosuje automatycznie?
  8. Jak pracować z datami i czasem?
  9. Jakie sa różnice między formatami plików?

To pierwszy KRS – “Kurs Rozwijający Się”!

Wyobraź sobie, że kupujesz auto. Płacisz 120k. Dostajesz solidny, dość luksusowy produkt.

Okazuje się, że po pół roku… Twoje auto dostaje lepsze opony. A po roku możliwość jazdy autonomicznej. WOW!

Dokładnie tak samo jest zbudowany kurs “Tajniki Sparka”. W założeniu to kurs, który jeszcze długo będzie otrzymywał nowe materiały. Miesiące? Lata?

“Tajniki Sparka” to odwrotność abonamentu. Kupujesz raz, a aktualności dostajesz przez długo. Nie dopłacasz do nich pomimo, że cena za kurs będzie rosła!

To jak – wskakujesz na pokład?

Kolejne lekcje:

W ramach “Kursu Rozwijającego Się” w opracowaniu są kolejne lekcje.

Obecnie trwają prace nad całym modułem 4: “Apache Spark Na Serwerze”. Znajdziesz tam wiedzę dotyczącą działania na klastrze on-premise oraz rozmaite zagadnienia chmurowe.

1
Przywitanie (Nie pomijaj tego!)
10:20
2
Zasoby kursowe

Z tego miejsca pobierzesz wszystkie zasoby (kod, zbiory danych, PDFy z wykładami)

3
Ogólny Przegląd Architektury [Teoria] [Moduł 1]
20:09
4
Wide + Narrow Transformations [Teoria] [Moduł 1]
14:26

Dzień 2

1
Spark UI [Praktyka] [Moduł 1]
13:12
2
Transformacje + Spark UI [Praktyka] [Moduł 1]
24:13

Dzień 3

1
Pamięć Executora [Teoria] [Moduł 1]
07:40
2
Partycjonowanie [Teoria + Praktyka] [Moduł 1]
21:32
3
Test Rozwojowy Moduł 1
6 pytań
Czas na Test Rozwojowy. Pamiętaj, że to jeden z lepszych sposobów na naukę. Zasady: 1. Postaraj się odpowiadać bez materiałów 2. Jeśli nie możesz, poszukaj w lekcjach. W ten sposób Twój mózg zostanie poddany wysiłkowi, który utrwali połączenia między neuronami!

Dzień 4

1
Podstawy Query Plan [Teoria] [Moduł 2]
15:54
2
Query Plan [Ćwiczenie] [Moduł 2]
20:18
3
Cachowanie od podstaw [Teoria] [Moduł 2]
18:51
4
Cachowanie danych [Praktyka] [Moduł 2]
11:39

Dzień 5

1
Repartition vs Coalesce [Praktyka] [Moduł 2]
13:23
2
Podstawy Data Skewness [Teoria] [Moduł 2]
10:24
3
Data Skewness: Bebechy [Teoria + Praktyka] [Moduł 2]
53:54

Dzień 6

1
Adaptive Query Execution [Teoria + Praktyka] [Moduł 2]
11:06
2
Test Rozwojowy Moduł 2
Zapraszam do drugiego testu rozwojowego! Pamietaj, że nie musisz się spinać. To znakomity moment, żeby podsumować to, czego już się nauczyłeś/aś! Powodzenia:-)

Dzień 7

1
Broadcast Join [Teoria + Praktyka] [Moduł 3]
20:21
2
Column Pruning [Teoria] [Moduł 3]
11:24
3
Column Pruning [Ćwiczenie] [Moduł 3]
05:16

Dzień 8

1
Praca z Datami i Czasem [Teoria] [Moduł 3]
34:19
2
Daty i Czas [Praktyka] [Moduł 3]
07:56
3
Formaty Danych: CSV + Parquet [Teoria + Praktyka] [Moduł 3]
37:20

Dzień 9

1
Walmart: różnice poranne i wieczorne [Ćwiczenie] [Moduł 3]
12:49
2
Walmart: Przychody [Ćwiczenie] [Moduł 3]
09:07

Dzień 10

1
Formaty Danych: JSON [Teoria + Praktyka] [Moduł 3]
15:19
2
Okna (Window Functions) [Teoria + Praktyka] [Moduł 3]
21:56
3
Pożegnanie!
03:19
Get course
UWAGA! Za tę cenę dostajesz także wszystkie kolejne lekcje!

Includes

>7h
27 lectures
Za ten kurs dostaniesz certyfikat! (Napisz email na marek.czuma@riotechdatafactory.com po ukończeniu kursu)
Layer 1