Fundament Databricks Dla Inżynierów Danych
To NIE JEST kolejny kurs jakich wiele. To praktyczny przewodnik, w którym doświadczony ekspert oprowadza Cię po kluczowym ekosystemie branży danych. Opanuj Databricks od podstaw i stań się specjalistą, którego szukają topowe firmy
Czego nauczy Cię ten kurs?
“Fundament Databricks” sprawi, że będziesz mieć pełną wiedzę potrzebną do wejścia w typowy, komercyjny projekt realizowany w Databricks. Poznasz ze zrozumieniem wszystkie kluczowe komponenty i to jak wykorzystywać je w optymalny sposób
Nauczysz się nie tylko “jak to kliknąć”, ale też “jak to działa pod spodem”. Między innymi po to, aby wiedzieć “ile to kosztuje i jak ten koszt można zmierzyć”.
Nie ryzykuj – zainwestuj w kurs, który na pewno przyswoisz!
“Fundament Databricks” to nie przypadkowy zlepek materiałów. To starannie dobrany program, dzięki któremu wiedza osiądzie w Twojej głowie. Całość to solidna, polska, rzemieślnicza robota wybitnego eksperta. Zrobiona według sprawdzonej formuły, dzięki której kurs jest podobny do pozostałych Kursów RDF.
Autorem jest Krzysiek Nojman – postać znana w branży m.in. z bloga “Cegła Danych”. Od 17 lat związany jest z branżą danych, zrealizował kilka bardzo tłustych projektów w Databricks, które dały mu ogromne doświadczenie. Co więcej – poza doświadczeniem technicznym, Krzysiek jest także wykładowcą AGH. To daje niezastępowalne umiejętności tłumaczenia trudnych tematów.
Zainwestuj na serio! Zdobądź umiejętności warte grubą kasę
Databricks to jeden z kluczowych ekosystemów branży danych. To sprawia, że każdy kto potrafi się nim posługiwać, otwiera sobie drogę do lepszych perspektyw – także tych finansowych.
Choć Databricks to ekosystem stosowany przez firmy różnej wielkości, zaufały mu wielkie, rozpoznawalne marki – takie jak m.in. Rolls-Royce, NASDAQ, LG, Nestle czy Shell.
Inwestycja w kurs to inwestycja w twój rozwój intelektualny, twój wpływ na otaczający nas świat i twój portfel.
Dzień 1
Startujemy z kursem! Czas na wejście w środowisko. Zaczniemy gładko;-)
Jak dodać zewnetrzne repozytorium do Databricks? O tym na tej lekcji!
Nadszedł czas, by zapoznać się z naszym nowym środowiskiem pracy;-)
Dzień 2
Notatnik to proste, ale potężne narzędzie. Będzie z nami do końca, więc czas, żebyście się poznali!
Poznaj system plików, który został stworzony specjalnie dla Databricks!
Dzień 3
Wchodzimy w bardziej zaawansowane programowanie w ramach notatników.
Jak pracować z danymi? Dziś ruszamy do kluczowego tematu fachu inżyniera danych!
Ruszamy do analizy danych na potrzeby naszej aktualnej pracy - tyle, że dziś nauczymy się wspomagać wizualnymi narzędziami, jakie oferuje Databricks
Dzień 4
Czas na drugi moduł! W tej lekcji zajmiemy się Lakehousem i wzorcem Medallion.
Unity Catalog to jedna z kluczowych koncepcji Databricks - skonfigurujmy ją!
Dzień 5
Rozkręcamy się - nauczymy się ładować surowe dane do brązowej warstwy przy użyciu autoloader'a.
Skoro mamy już dane brązowe, czas zasiić warstwę srebrną. Powodzenia!
Czas na ostatni krok w ramach Medallionu. Zasilmy złotą warstwę!
Dzień 6
Czas na 3 moduł! Zaczniemy od wiedzy dotycącej Delta Lake.
Poznajmy kolejne możliwości tabel Delta! Dzięki dzisiejszym informacjom możesz uniknąć kilka bardzo przykrych sytuacji.
Dzień 7
Zmiana schematu to jeden z istotniejszych problemów, z jakimi musimy zmagać się w pracy inżyniera danych. Dzięki tej lekcji dowiesz się, jak sobie z nim radzić!
W tej lekcji zmierzymy się z dwoma bardzo przydatnymi funkcjami: optimize i vacuum.
Dzień 8
Dzisiaj radzimy sobie z problemem, gdy musimy zaktualizować istniejącą tabelę i pracować na danych, które już są.
Optymalizujemy naszą pracę - dziś o grupowaniu, clusteringu, a konkretnie - liquid clusteringu.
Dzień 9
Kolejny moduł i kolejne wyzwania! Przechodzimy z wersjii Free na prawdziwe, "dorosłe" Databricksy.
Nauczmy się integracji Azure z Databricksem!
Dzień 10
Poznanie gdzie mogą uciekać pieniądze to krytyczny element pracy z technologiami chmurowymi. Dzięki tej lekcji nie przepalisz całego swojego budżetu wakacyjnego!
Koszty Databricks to jedno, koszty Azure - to drugie. Dziś zamujemy się właśnie monitoringiem Azure.
Znasz już interfejs Databricks. Czas nauczyć się jak wygląda ten sam panel w "prawdziwych" Databricksach!
Dzień 11
Compute to punkt styku inżynierów operujących na kodzie i twardej infrastruktury. Przejdź przez tę lekcję z uwagą!
Tworzenie klastra potrafi być sztuką - zrób to dobrze, a twój kod będzie działał sprawnie, nie generując ogromnych kosztów!
Przypominamy jak podpiąć repozytorium, ale już w wersji Azurowej;-)
Odchodzimy na chwilę od Databricks, aby utworzyć Storage Account.
Z tej lekcji nauczysz się, jak łączyć Databricks i Azure Storage Account - to otworzy nam drogę do pracy z danymi na zewnętrznych przestrzeniach
Dzień 12
Otwieramy moduł 5! I od razu ruszamy do Unity Catalog
Ruszamy do konfiguracji Unity Catalog, wykorzystamy tu oczywiście metastore i poznamy jego koncepcję w praktyce.
Dzień 13
W tej lekcji kontynuujemy pracę z Unity Catalog i metastore
W Databricks mamy dwa rodzaje tabel. Tym razem zajmiemy się "External Table" - jak to zrobić i po co.
Wiesz jak stworzyć katalog, schematy, tabele - czas zabrać się za ostatni istotny element, czyli volume. Przypominamy to co było już w darmowej wersji.
Dzień 14
Rozpoczynamy moduł 6 - a to oznacza, że jesteś już wyraźnie za połową kursu! Czas zmienić obszar zainteresowania - w tej lekcji ruszamy do SQL Warehouse
Poznaj miejsce, w którym bardzo efektywnie możesz komunikować się z danymi dzięki SQL.
Kontynuujemy temat edytora SQL. Wchodzimy wgłąb, żeby wycisnąć z niego nieco więcej.
Dzień 15
Witam w kolejnym module! Zabieramy się za wyjątkową funkcjonalność Databricksów.
Ruszamy z DLT porównując do kodu, który napisaliśmy wcześniej!
Dzień 16
Z tej lekcji dowiesz się w jaki sposób stworzyć pipeline DLT, wraz z rozeznaniem kwestii sprzętowych.
Krótko i na temat: jak uruchamiać i debugować pojedynczy notatnik?
Nie ma DLT! Ale czy jest się czym przejmować? Czy wiedza którą zdobyliśmy jest bezużyteczna? Niekoniecznie - poznajmy Lakeflow, następcę DLT
W tej lekcji zabieramy się za uruchamianie naszych "starych" notatników w ramach "nowego" systemu Lakeflow.
Dzień 17
Gratulacje, za Tobą już 7 modułów i ogrom wiedzy! Czas to co już wiesz, zorkiestrować;-)
Niestety, "nie zawsze" (;-)) wszystko idzie zgodnie z planem. Dziś zajmiemy się jobami, które się wykrzaczyły.
Jak uruchomić joba? O tym w tej krótkiej lekcji!
Dzień 18
Dziś wchodzimy w nowy moduł i ruszamy do bardziej zaawansowanych tematów! Zaczynami od Databricks CLI
Mierzymy się dziś z deploymentem bundle.
Po deploymencie czas na analizę tego co udało nam się zrobić!
W tej lekcji poznasz dodatkowe metody logowania.
Zakończenie
Za Tobą cały kurs! Czas na ostatnie starcie, bonusowe, w ramach którego przećwiczymy razem rozmowę rekrutacyjną
