Active Data Warehouse

Skladištenje podataka

Active Data Warehouse

Autori: Siniša Behin i Mislav Parlov, Zagrebačka banka, Sektor financija, Direkcija podrške upravljačkom izvještavanju

1. POSLOVNA INTELIGENCIJA

Jedna od prihvaćenijih definicija govori da je poslovna inteligencija način dostavljanja pravih informacija, u pravom formatu, u prave ruke, u pravom trenutku. Dobar sustav poslovne inteligencije prikuplja informacije iz svih dijelova tvrtke, analizira, priprema posebna izvješća te šalje ljudima koji ih trebaju. Na taj način, svaki pojedinac dobiva informacije skrojene prema njegovim potrebama – financijski direktor financijske podatke, direktor prodaje podatke o prodaji, direktor marketinga marketinške podatke itd.

Tehnološka definicija poslovne inteligencije kaže da je to skup metodologija i platformi za skladištenje podataka (engl. Data Warehousing), on-line analitičke obrade (engl. On-Line Analytical Processing) i otkrivanja znanja u bazama podataka (engl. Data Mining), koje omogućavaju tvrtkama kreiranje korisnih upravljačkih informacija iz podataka o poslovanju, koji se nalaze raštrkani na različitim transakcijskim sustavima, te dolaze iz različitih internih i eksternih izvora.

Namjena sustava poslovne inteligencije je omogućiti i olakšati poduzeću prikupljanje, analizu, distribuciju i djelovanje na osnovi poslovnih informacija, s ciljem donošenja boljih poslovnih odluka. Ona daje pogled na cijelo poduzeće pri čemu svatko može dobiti upravo onu informaciju koja njemu treba. Sustavi poslovne inteligencije omogućavaju proaktivan način vođenja poduzeća, što znači da se može predvidjeti budućnost, izraditi nekoliko scenarija i biti pripremljen za svaku situaciju. Problem je kako pretvoriti informaciju u znanje. Danas se poduzeće vodi na osnovi znanja o konkurenciji, kupcima, dobavljačima, procesima. Slobodno možemo reći kako je poslovna inteligencija proizvodnja znanja, koje je osnovica za donošenje poslovnih odluka. U tom smislu govorimo o sustavima upravljanim znanjem.

2. SKLADIŠTE PODATAKA – «MOZAK» SUSTAVA POSLOVNE INTELIGENCIJE

Većina kvalitetnih projektanata skladišta podataka reći će vam da je skladište podataka njegov najbolji prijatelj. Sustavi poslovne inteligencije temelje se na podacima. Za potrebe analize podaci se prikupljaju u skladištu podataka. Za razliku od skladišta podataka, transakcijski sustav, zasnivan na bazama podataka, orijentiran je na veliki broj istovremenih korisnika, te brzo zapisivanje, čitanje i izmjenu malih količina podataka, najčešće samo jednog sloga. Gledajući s informatičkog aspekta sustave poslovne inteligencije možemo podijeliti u tri dijela: prikupljanje, pohranjivanje, te analiziranje prikupljenih podataka.

Podaci potrebni za donošenje odluka najčešće se nalaze na različitim mjestima. U većoj organizaciji podaci su često smješteni na nekoliko različitih relacijskih baza podataka pokretanih na različitim operacijskim sustavima, MS Excel i MS Access tablicama, koji se koriste u raznim aplikacijama, na Internetu, itd. Proces definiranja koji su to podaci, gdje se oni nalaze, kako ih izvući i strukturirati vrlo je važna faza izgradnje svakog sustava poslovne inteligencije. U tu se svrhu koriste alati za ekstrakciju, transformaciju i punjenje – ETL (engl. Extract, Transform, Load). Svi se relevantni podaci zatim spremaju u skladište podataka koje može biti izgrađeno u relacijskom ili dimenzijskom modelu.

U skladištima podataka se najčešće koristi dimenzijska struktura podataka, koja omogućava visok stupanj vizualizacije podataka, a to je upravo ono što menadžeri žele vidjeti. Za brzo i kvalitetno donošenje odluka menadžerima su potrebni integrirani i vremenski pravovremeni podaci, a sustavi poslovne inteligencije upravo to omogućavaju. Dimenzijska struktura skladišta podataka omogućuju sagledavanje podataka kombinirajući više relevantnih faktora, npr. prodaja određenog proizvoda po regijama u nekom vremenskom periodu.

3. ACTIVE DATA WAREHOUSE (ADW) – EVOLUCIJA SKLADIŠTENJA PODATAKA

Pojam ADW ili kako ga još neki nazivanju Real-Time Data Warehouse evolucijski je korak naprijed u odnosu na postojeći koncept skladištenja podataka. ADW predstavlja vremenski ažuran, integriran koncept detaljnih podataka o poslovanju, koji se koristi prilikom donošenja odluka. Podrazumijeva prožimanje taktičkog i strateškog odlučivanja na svima razinama managementa. Teži ka uspostavljanju organizacije u kojoj će se odluke donositi na svim razinama, od vrha managementa do front-end zaposlenika. Koristi od ADW-a trebali bi imati svi članovi organizacije. To će biti postignuto obradom podataka u kraćem vremenskom intervalu i alatom primjerenijim za korištenje od strane svih zaposlenika. U današnjim uvjetima žestoke konkurencije, temelj uspješnog poduzeća su pravovremeno donesene informacije, koje se temelje na podacima. Klasičan se DW pokazao kao vrlo dobar instrument podrške stateškom donošenju odluka. Koncept ADW-a proširuje tradicionalnu funkcionalnost DW-a u sferu donošenja taktičkih odluka. To znači da će zaposlenici u organizaciji, koji dolaze u direktan kontakt s klijentima, biti opskrbljeni informacijama potrebnima za donošenje odluka, u svrhu stvaranja i održavanja dugogodišnjeg surađivanja sa klijentima. Najuočljiviji rezultati ADW-a javljaju se upravo u području CRM-a, dok će u budućnosti taj pokazatelj biti još izraženiji upravo iz razloga što kupci svakim danom postaju sve zahtjevniji.

Tri su osnovna zahtjeva koje mora zadovoljiti svaki ADW:

  • učinkovitost, tj. brzina upita mora biti što kraća,
  • dostupnost – 24x7x365,
  • ažurnost podataka – pohrana podataka u DW neposredno nakon nastanka podataka (nakon transakcija)

Ostvarivanje ovih ciljeva stvoriti će temelje tzv. proaktivnog managementa koji će ići u korak sa novim potrebama klijentata, koji su iz dana u dan sve zahtjevniji, kako bi se uvijek bilo korak ispred konkurencije.

ADW zahtjeva centralizirano mjesto prikupljanja, obrade i analize podataka, koji su vremenski integrirani, logički konzistentni (bez redundancije) i detaljizirani, a služit će kako u svrhu strateškog tako is u svrhu taktičkog odlučivanja.

Tradicionalni DW

ADW

Punjenje velikih količina podataka odjednom Punjenje manjih količina podataka (real time update)
Agregirani, dugotrajni ad-hoc upiti Kratki upiti
Potpora strateškom odlučivanju Omogućava front-end zaposlenicima pristup taktički bitnim podacima, potrebnim za donošenje odluke
Periodičko punjenje (tjedno, mjesečno…) Potpora strateškom, ali i taktičkom odlučivanju

Novi koncept skladištenja podataka kombinira detaljizirane povijesne podatke s trenutnim operativnim podacima, omogućavajući sofisticiranu analizu i donošenje odluke u stvarnom vremenu, pružajući front-end zaposlenicima informacije potrebne za poboljšanje odnosa s klijentima (CRM), efikasnu politiku zaliha, te poboljšanje financijskih transakcija. Nastoji se postići «cross-selling» efekt kod klijenata, i na taj način stvoriti lojalnost i dugoročno povjerenja, što je izuzetno bitno u poslovanju financijskih institucija.

Mnoga poduzeća danas nemaju integrirane podatke na jednom mjestu. Zbog te činjenice razvio se tzv. koncept Operational Data Store (ODS) ili transakcijski sustav, koji će pohranjivati «žive» podatke, koji će u kombinaciji sa statičkim podacima sadržanim u DW dovesti do razvoja Active Data Warehouse. Efikasan sustav poslovanja kombinira transakcijski sustav, sa sustavom za potporu odlučivanju međusobno povezanim metapodacima. Tu shemu prikazuje slijedeća slika.

Karakteristika ODS-a je da je on subjektno orijentiran, integriran, pohranjuje najsvježije podatke, koji su detaljizirani. Subjektno orijentiran znači da sadrži klasificirane podatke npr. o kupcima. Znači na jednom mjestu su pohranjeni svi podaci o pojedinom kupcu (kao npr. jedna datoteka sa svim podacima o XY klijentu banke), osobni podaci, podaci o transakcijama koje je obavio taj klijent, koje usluge je koristio itd. Također ODS može biti orijentiran i prema uslugama ili procesima. U tom slučaju podaci će se klasificirati s obzirom na vrstu usluge odnosno s obzirom na neki proces. Integracija podataka kao obilježje ODS-a vrlo je važna sa stajališta CRM-a i brzog prilagđavanja potrebama klijenata. Prava vrijednost je formiranju centraliziranog DW-a, gdje će svaki zaposlenik organizacije moći dobiti potrebne podatke, bez obzira gdje se nalazio i neovisno o vremenu. «Svježina» podataka je također obilježje transakcijskih sustava, koji posjeduju malo ili nimalo povijesnih podataka. Za razliku od DW, u kojem se čuvaju podaci na duži period, za potrebe strateškog odlučivanja ODS daje trenutnu sliku poslovanja. Ovisno o djelatnosti kojim se bavi poduzeće, podaci će se čuvati u različitim vremenskim periodima. Što se tiče bankarske djelatnosti običaj je da se podaci stari tjedan dana ili mjesec dana tretiraju kao svježi iz razloga manjeg broja transakcija nego kod prodajne djelatnosti. Stupanj detaljiziranja kod ODS-a razlikuje se od podataka sačuvanih u DW-u. Transakcijski podaci pružaju dinamički uvid u poslovanje u određenom razdoblju, dok za razliku od statičkom pogleda na stanje iz DW-a.

Slijedeća vrlo bitna karakteristika ODS-a je brzina njegovog ažuriranja, koja se obavlja u mnogo kraćim vremenskim intervalima nego kod pohrane podataka u DW. Tu govorimo o «instant» update-u, tj. u trenutku nastanka podataka, oni se ažuriraju u ODS. Za arhitekturu ADW-a integracija DW-a i ODS-a je jednostavniji i lakši način postizanja optimizacije procesa, nego zasebna izgradnja tih sustava. Slijedeća slika prikazuje željenu arihtekturu ADW-a. Presjek triju krugova predstavljaju tzv. «živi» najsvježiji podaci, koji biti potpora i strateškom i taktičkom odlučivanju.

Tradicionali DW ne mora biti dosutpan 24/7/365. Za razliku od DW-a, ADW uvijek mora biti na raspolaganju korisnicima. Prikupljanje podataka u ADW iz transakcijskih baza mora biti češće (neoposredno po nastanku podataka) – kontinuirano punjenje. Također ADW mora moći lakoćom podnijeti česta paralelena punjenja i promjene podataka. Jednostavno rečeno ODS je baza podataka koja sadrži sve podatke vezane uz pojedini subjekt, npr. uz pojedinog kupca, narudžbu, uslugu itd.

ADW je izvrsna prilika da se optimizira održavanje našeg već postojećeg skladišta, te vremenski napreduje u izvršenju svih procesa vezanih za održavanje DW-a. U bližoj budućnosti trebalo bi doći do zaokreta u omjeru korištenja vremena za procese punjenja i održavanja DW-a, te kreiranja OLAP kocaka u korist vremena provedenog za strateško i taktičko planiranje poslovanja i djelovanja u skladu s tim odlukama.

Slijedeća tablica pokazuje način korištenja vremena zaposlinika u poduzeću koje ne koristiti sustave poslovne inteligencije i poduzeću sa BI sustavima. Lako je za uočiti veliku uštedu vremena s obzirom na prikupljanje i analizu podataka, koja zahtjeva manje vremena kod organizacija sa BI sustava, a posljedično više vremena ostaje za planiranje i djelovanje.

Vrijeme koje zaposlenici tvrtki tijekom radnog dana koriste za…

Bez BI softvera

S BI softverom

prikupljanje podataka

35%

10%

analizu podataka

35%

15%

izbor odluke

15%

35%

planiranje

10%

20%

djelovanje prema planu

5%

20%

U svrhu usporedbe našeg postojećeg sistema sa principima ADW-a raščlanili smo naš sistem obrade informacije te izdvojili jedan od alata korišetnih u procesu obrade podataka, generiranje OLAP (engl. On-Line Analitical Processing) kocaka.

Podaci unutar organizacije su rašireni između različitih sektora, direkcija, službi i osoblja. Sva tijela organizacije generiraju međusobno ovisne podatke. Problem je u različitom načinju prikazivanja podataka, što u konačnici otežava komunikaciju između pojednih odjela. Gotovo je nemoguće vremenski generirati izvještaje koristeći sve podatke koje posjeduje organizacija. Jedna od prihvaćenih metoda povezivanja podataka je kroz multidimenzionalne OLAP kocke.

Primjetili smo nekoliko nedostataka vezanih za korištenje OLAP kocaka:

  • nefleksibilnost metapodatka
  • smanjenje kvalitete performansi kroz prilagođavanje korisnicima
  • ograničena dostupnost detaljnim podacima
  • poteškoće kod ugrađivanje promjena u kocke (engl. refreshing)

Jednom definirana OLAP kocka, njezina hijerahijska struktura, zahtjeva dodatne napore prilikom mijenjanja podataka i njihove prezentacije. Potrebno je provesti ažuriranje metapodataka. Glavni problem prilikom izrade ad-hoc izvještaja je utvrđivanje korisničkih zahtjeva. Naime, nije rijedak slučaj da dobiveni zahtjevi budu vrlo neprecizni, tj. da korisnik toga zahtjeva ne zna što točno želi u izvještaju dobiti. Taj problem se javlja kod većine poduzeća, a rješenje vidimo u konstatnoj obuci i edukaciji zaposlenika, kako s poslovne tako i s informatičke strane.

Kada dolazi do mijenjanja metapodataka, kroz promjene u samom poslovanju (npr. promjena ciljanog tržišta), važno je voditi računa o kockama, koje treba ažurirati. Proces prilagodbe novim uvjetima mora krenuti od «prve razine» BI-a, ETL procesa.

ADW dizajniran kao relacijsko skladište podataka će zadovoljiti svim uvjetima modernog poslovanja. Omogućit će:

  • ažuriranje u stvarnom vremenu – odmah po nastanku događaja, tj. transakcije
  • sposobnost brze prilagodbe novonastalim promjenama vezanim uz poslovanje
  • detaljne upite, s mogućnošću lakog pretraživanja podatka (agregiranje i detaljiziranje)

Osnovna prednost Active Data Warehouse je omogućavanje krajnim korisnicima (engl. front-end users) da samostalno vrše «drillanje» kroz podatke. Osim toga, ADW može procesuirati mnogo više podataka nego klasična struktura OLAP kocke. Vrlo lagana mogućnost promjene je velika prednost ADW-a nad klasičnim DW-om jer krajnji korisnici nisu navikli, a i nemaju ovlaštenja promjene metapodatka, kao ni operiranje sa OLAP varijablama.

Mogućnost kreiranja cjelovitih i posve personaliziranih izvještaja u stvarnom vremenu, bez potrebe za drastičnim promjenama unutar kocaka, i u ETL procesima osnovni su zahtjevi ADW-a, a primarni cilj je smanjivanje «vremenskog gapa» između nastajanja nekog događaja i njegove dostupnosti aplikacijama koje koriste DW, a posljedično i donošenja odluke vezane uz taj događaj. Jedostavno rečeno, ADW omogućava dostupnost podataka iz warehouse tamo gdje su i nastali.

4. PROCES STVARANJA ADW-a

ADW nije ništa drugo nego radikalan zaokret u tradicionalnom skladištenju podataka i izvješćivanja. U ranim danima DW se fokusirao isključivo na pružanje informacija za strateško odlučivanje, a te informacije su služile samo vrhu zapovijednog lanca u poduzeću. Odjeli poduzeća koji su se u najvećoj mjeri koristili produktom DW-a su bili marketing, strateško planiranje, financije i sl. Krajni korisnici, tj. front-end zaposlenici nisu od tih podataka imali nikakve koristi. Dostupnost podacima drastično je povećala kvalitetu donosenih odluka. Razvijanje korporativne strategije je samo dio slagalice potrebne za uspjeh poduzeća na tržištu, gdje vlada žestoka konkurencija. Međutim, dobra strategija bez dobrog provđenja te strategije neće polučiti željene rezultate.

Stvaranje ADW-a moramo shvatiti kao evolucijski proces, a ne kao neku aplikaciju koja će za sama od sebe promijeniti način prikupljanja, obrade i analize podataka. Izgradnja DW-a je samo prva razina u razvijanju poduzeća koje će biti upravljano znanjem. Podizanjem kvalitete podataka u DW-u, standartizacijom i automatizacijom procesa, moći će se u budućnosti više pažnje posvetiti planiranju, analiziranju i predlaganju odluka, na temelju živih podataka koje naša direkcija prikuplja i obrađuje.

Prva faza k razvoju prema ADW-u jest izvještavanje. Taj korak u našoj banci je već ostvaren, znači da su stvoreni temelji za daljnju nadogradnju sustava. U toj fazi se podaci iz raziličitih izvora, transakcijskih baza, nastoje prikupiti na jedno centrlizirano mjesto u skladište podataka. Takvi podaci, pohranjeni na jednom mjestu pružaju mogućnost brzog i kvalitetnog donošenja strateški bitnih odluka. Najveći izazov u ovoj fazi razvoja jest integracija i optimizacija prikupljenih podataka.

Slijedeća faza u stvaranju ADW-a jest analiza, u kojoj se donositelji odluka fokusiraju na uzroke nastajanja nekog događaja (npr. Zašto se broj klijenata starijih od 60 godina smanjuje?). Takova analiza će se morati moći obavljati bez velike intervencije programera.

Treća faza razvoja ADW-a jest predviđanje na korporativnoj razini. U ovoj fazi odgovori na pitanja «Što?» i «Zašto?» postoje, a teži se ka informacijama koje će služiti za poslovno planiranje, tj. e-planiranje. U ovoj fazi teži se prikupljanju eksternih podataka, a ne samo podataka unutar banke. Trebalo bi se više pozornosti posvetiti pribavaljanju podataka o tržištu, konkurenciji, gospodarskim kretanjima u svijetu, preferencijama klijenata itd. U trećoj fazi zahtjeva se implentacija alata za rudarenje podatak (engl. Data Mining) za razvijanje modela predviđanja koristeći povijesne podatke. Također je bitno da organizacija posjeduje podatke stare čak i preko 5 i više godina, jer jedino na temelju analize podataka u nekom dužem periodu moći će se prepoznati neka zakonitost i predvidjeti budućnost.

Četvrta faza jest operacionalizacija sustava. Ovu fazu već možemo smatrati početkom stvaranja ADW-a. U ovoj fazi osim potpore strateškom odlučivanju, podaci kojima organizacija raspolaže koristit će se i u svrhu taktičkog odlučivanja. Potpora taktičkom odlučivanju nije fokusirana na razvijanja korporativne strategije na razini top managementa, nego pomaganje front-end zaposlenicima, koji su u doticaju s klijentima. Svrha takvog načinja poslovanja je stvaranje tješnjijeg odnosa s klijentima, i razvijanja CRM-a. Za potrebe stateškog odlučivanja, mjesečno ili tjedno punjenje DW-a polučit će sasvim zadovoljavajuće rezultate, zadovoljit će potrebe poslovanja. Međutim za donošenju taktičkih odluka, koje su temelj ADW-a podaci moraju biti znatno svježiji. Stoga u ovom slučaju govorimo o «real-time update», odnosno o živim podacima.

Zadnja faza je faza aktivnog DW-a, u kojem je proces donošenja odluka, kako strateških tako i taktičnih automatiziran. Prikupljanje i analiza podataka iziskuje znatno manje vremena, dok više vremena ostanje za planiranje i djelovanje u skladu donesenom odlukom. Nastoji se stvoriti interaktivni odnos s klijentima (CRM), koji će povećati stupanj zadovoljstva i lojalnosti klijenta poduzeću. Na kraju možemo zaključiti da proces stvaranja ADW-a nije moguće realizirati preko noći, nego to je evolucijski proces kojem treba pristupiti sustavno i s unaprijed utvrđenim ciljevima. (S.B.)