O nas Kontakt
Loading images...
Procesy ETL

Realizacja procesu ETL

Głównym zadaniem procesu ETL jest integracja danych źródłowych, a tym samym zamiana źródłowych danych w wartościową informację. Proces integracji składa się z następujących etapów:

  • Pozyskiwanie danych źródłowych – etap ten ma za zadanie zidentyfikowanie danych (tabel i pól tabel relacyjnych), które spełniają wymagania systemu docelowego.
  • Konsolidacja danych – polega na zespoleniu źródeł w jedną zintegrowaną strukturę docelową i stworzenie początkowego modelu danych lub dodaniu nowych źródeł do istniejącego modelu.
  • Konwersja danych polega na zdefiniowaniu sposobów przekształcania danych w taki sposób, aby pasowały one do zintegrowanej struktury danych.
  • Przenoszenie danych – zadaniem tego etapu jest fizyczne przeniesienie danych do docelowej, zintegrowanej bazy danych działających w firmie systemów OLTP.

Realizacja warstwy pośredniej wymaga dużej wiedzy na temat działających w firmie systemów OLTP. Wymagane są także narzędzia, które będą umożliwiały dokonywanie transformacji danych. Realizacja tego zadania może być dokonana przez pracowników firmy PRO-HOLDING przy wsparciu pracowników firmy klienta w trakcie realizacji poszczególnych zagadnieniach tematycznych. Jako narzędzia dla warstwy ETL wykorzystano może być oprogramowanie firmy PRO-HOLDING: ProInfo-Star, lub oprogramowanie firmy Ascential Software: DataStage. Poniżej znajduje się krótka charakterystyka tych produktów.

Narzędzie ETL – „ProInfo-Star”

ProInfo-Star to narzędzie do ekstrakcji, transformacji i ładowania danych do hurtowni danych Algorytm transformacji danych oferowany przez produkt ProInfo-Star składa się z dwóch elementów. Pierwszy pozwala projektantowi na modelowanie bazodanowych obiektów biznesowych, które będą stanowiły części składowe tematycznej hurtowni danych. Dostępne wbudowane mechanizmy umożliwiają wykorzystanie tego narzędzia do opisu bardzo skomplikowanych procesów biznesowych. Drugi z elementów tego środowiska umożliwia projektantowi zdefiniowanie wejściowych źródeł danych skąd pobierane są dane do zasilenia tematycznej hurtowni danych, opracowanie zadań i procesów weryfikujących, transformujących i ładujących dane, jak również zdefiniowanie programów administracyjnych, które zarządzają tymi procesami. Funkcjonalność programów administracyjnych pozwala na pełną automatyzację procesu zasilania danymi. Jedną z najważniejszych cech funkcjonalnych docenianych przez klientów używających produktu ProInfo-Star jest możliwość przyrostowego ładowania danych, które w znaczący sposób skraca czas potrzebny na uaktualnienie danych znajdujących się w tematycznej hurtowni danych. Do realizacji opisanych zadań nie jest wymagana umiejętność programowania. Przyjazny interfejs użytkownika z wbudowanym systemem menu oraz ekranami podpowiedzi pomaga w szybki sposób realizować wyznaczone cele. Dane przygotowane przy pomocy narzędzia ProInfo-Star mogą być wykorzystane przez narzędzia OLAP, np: BusinessObjects, MicroStrategy, Cognos PowerPlay lub inne do prezentacji i analizy danych. Mogą stanowić one także podstawę dla modelu wielowymiarowego składowanego w serwerze wielowymiarowym IBM DB2 OLAP.

Narzędzie ETL – DataStage

DataStage to środowisko rozwojowe przeznaczone do projektowania, wykonywania i utrzymania procesów ekstrakcji, transformacji i ładowania danych. DataStage pozwala na ekstrakcję danych z wielu różnorodnych źródeł danych i składowanie ich w różnych miejscach docelowych. DataStage jest narzędziem specjalnie zaprojektowanym do obsługi zasilania hurtowni danych w procesach ETL. W ramach tego narzędzia definiuje się źródła danych (pobieranie danych), dalsze etapy transformacji (np. czyszczenie danych) oraz docelowe miejsce danych (ładowanie danych do hurtowni). W ramy tego narzędzia wchodzi także moduł kontroli jakości danych. DataStage obsługuje dużą ilość różnorodnych źródeł danych, w tym: plików tekstowych, plików HTML oraz XML (w module XML pack). Narzędzie DataStage Director wchodzące w skład produktu DataStage pozwala na bieżące administrowanie i monitorowanie procesów ETL oraz ich analizę wydajnościową.

Więcej informacji: http://www.ibm.com/software/data/infosphere/datastage/

Ta strona używa ciasteczek (cookies). Pozostając, akceptujesz ich używanie. więcej informacji

Ciasteczka (ang. cookies) są to niewielkie informacje tekstowe, wysyłane przez serwer WWW i zapisywane po stronie użytkownika (zazwyczaj na twardym dysku). Jest to mechanizm powszechnie znany i stosowany w celu zapewnienia wygody przeglądania stron www. Ciasteczka mogą zawierać rozmaite rodzaje informacji o użytkowniku danej strony WWW i „historii” jego łączności z daną stroną (a właściwie serwerem). Zazwyczaj wykorzystywane są do automatycznego rozpoznawania danego użytkownika przez serwer, dzięki czemu może on wygenerować przeznaczoną dla niego stronę. Umożliwia to tworzenie spersonalizowanych serwisów WWW, obsługi logowania, „koszyków zakupowych” w internetowych sklepach itp.
Każde ciasteczko ma określony swój czas życia. Po tym okresie jest automatycznie usuwane z przeglądarki. Informacje prywatne, takie jak parametry logowania, czy aktywność sesjii zazwyczaj mają krótki czas życia - od kilku do kilkunastu minut. Inne mniej istotne dane są zazwyczaj przechowywane przez kilka dni.

W każdej przeglądarce internetowej domyślną opcją jest używanie ciasteczek. W dowolnym momencie osoba używająca przeglądarki może przejrzeć zawartość swoich ciasteczek (cookies) i jeśli zdecyduje, usunąć je. Informacje na temat zmiany ustawień dotyczących ciasteczek w poszczególnych przeglądarkach dostępne są na poniższych stronach:

Zamknij