O nas Kontakt
Loading images...
Procesy ETL

Realizacja procesu ETL

Głównym zadaniem procesu ETL jest integracja danych źródłowych, a tym samym zamiana źródłowych danych w wartościową informację. Proces integracji składa się z następujących etapów:

  • Pozyskiwanie danych źródłowych – etap ten ma za zadanie zidentyfikowanie danych (tabel i pól tabel relacyjnych), które spełniają wymagania systemu docelowego.
  • Konsolidacja danych – polega na zespoleniu źródeł w jedną zintegrowaną strukturę docelową i stworzenie początkowego modelu danych lub dodaniu nowych źródeł do istniejącego modelu.
  • Konwersja danych polega na zdefiniowaniu sposobów przekształcania danych w taki sposób, aby pasowały one do zintegrowanej struktury danych.
  • Przenoszenie danych – zadaniem tego etapu jest fizyczne przeniesienie danych do docelowej, zintegrowanej bazy danych działających w firmie systemów OLTP.

Realizacja warstwy pośredniej wymaga dużej wiedzy na temat działających w firmie systemów OLTP. Wymagane są także narzędzia, które będą umożliwiały dokonywanie transformacji danych. Realizacja tego zadania może być dokonana przez pracowników firmy PRO-HOLDING przy wsparciu pracowników firmy klienta w trakcie realizacji poszczególnych zagadnieniach tematycznych. Jako narzędzia dla warstwy ETL wykorzystano może być oprogramowanie firmy PRO-HOLDING: ProInfo-Star, lub oprogramowanie firmy Ascential Software: DataStage. Poniżej znajduje się krótka charakterystyka tych produktów.

Narzędzie ETL – „ProInfo-Star”

ProInfo-Star to narzędzie do ekstrakcji, transformacji i ładowania danych do hurtowni danych Algorytm transformacji danych oferowany przez produkt ProInfo-Star składa się z dwóch elementów. Pierwszy pozwala projektantowi na modelowanie bazodanowych obiektów biznesowych, które będą stanowiły części składowe tematycznej hurtowni danych. Dostępne wbudowane mechanizmy umożliwiają wykorzystanie tego narzędzia do opisu bardzo skomplikowanych procesów biznesowych. Drugi z elementów tego środowiska umożliwia projektantowi zdefiniowanie wejściowych źródeł danych skąd pobierane są dane do zasilenia tematycznej hurtowni danych, opracowanie zadań i procesów weryfikujących, transformujących i ładujących dane, jak również zdefiniowanie programów administracyjnych, które zarządzają tymi procesami. Funkcjonalność programów administracyjnych pozwala na pełną automatyzację procesu zasilania danymi. Jedną z najważniejszych cech funkcjonalnych docenianych przez klientów używających produktu ProInfo-Star jest możliwość przyrostowego ładowania danych, które w znaczący sposób skraca czas potrzebny na uaktualnienie danych znajdujących się w tematycznej hurtowni danych. Do realizacji opisanych zadań nie jest wymagana umiejętność programowania. Przyjazny interfejs użytkownika z wbudowanym systemem menu oraz ekranami podpowiedzi pomaga w szybki sposób realizować wyznaczone cele. Dane przygotowane przy pomocy narzędzia ProInfo-Star mogą być wykorzystane przez narzędzia OLAP, np: BusinessObjects, MicroStrategy, Cognos PowerPlay lub inne do prezentacji i analizy danych. Mogą stanowić one także podstawę dla modelu wielowymiarowego składowanego w serwerze wielowymiarowym IBM DB2 OLAP.

Narzędzie ETL – DataStage

DataStage to środowisko rozwojowe przeznaczone do projektowania, wykonywania i utrzymania procesów ekstrakcji, transformacji i ładowania danych. DataStage pozwala na ekstrakcję danych z wielu różnorodnych źródeł danych i składowanie ich w różnych miejscach docelowych. DataStage jest narzędziem specjalnie zaprojektowanym do obsługi zasilania hurtowni danych w procesach ETL. W ramach tego narzędzia definiuje się źródła danych (pobieranie danych), dalsze etapy transformacji (np. czyszczenie danych) oraz docelowe miejsce danych (ładowanie danych do hurtowni). W ramy tego narzędzia wchodzi także moduł kontroli jakości danych. DataStage obsługuje dużą ilość różnorodnych źródeł danych, w tym: plików tekstowych, plików HTML oraz XML (w module XML pack). Narzędzie DataStage Director wchodzące w skład produktu DataStage pozwala na bieżące administrowanie i monitorowanie procesów ETL oraz ich analizę wydajnościową.

Więcej informacji: http://www.ibm.com/software/data/infosphere/datastage/

Zapoznaj się z informacją dot. przetwarzania danych osobowych oraz cookies: Kliknij tutaj

Treść polityki przetwarzania danych osobowych osób odwiedzających stronę oraz używania ciasteczek cookies dostępna jest pod adresem: http://www.proholding.com.pl/rodo/

Zamknij