Skladištenje podataka

Integracija podataka i aplikacija

Svaki informacijski sustav temelji se na podacima koje sadrži, koji se u njega unose i kroz njega održavaju. U poslovanju moderne tvrtke imaju sve više različitih aplikacija za prikupljanje i diseminaciju podataka, a podatke iz njih je nužno prikupljati, razmjenjivati i usklađivati kako bi se osigurala pravovremena informacija za rukovoditelje.

Piše: Dražen Oreščanin

Problem integracije podataka iz različitih sustava, te razmjene podataka među sustavima već je dugo prisutan u poslovnom svijetu, a s vremenom dobija sve više na važnosti. Analitičari tvrde da se u prosjeku se svake tri godine količina ukupno kreiranih podataka i informacija na svijetu udvostruči, što znači da ćemo u slijedeće tri godine proizvesti jednaku količinu informacija kao što je cjelokupno čovječanstvo proizvelo u ukupnoj svojoj povijesti. Ne samo da raste količina podataka, nego raste i raznovrsnost, postoji sve više različitih platformi, baza podataka, poslovnih aplikacija, podatkovnih formata i standarda. Također, poznata je činjenica da se sve veći dio poslovnih informacija nalazi u e-mail porukama i datotekama kreiranim u tekstualnim procesorima i tabličnim kalkulatorima poput Microsoft Worda ili Excela, pohranjenim na osobnim računalima i često nedostupnima za integraciju s ostalim potrebnim podacima.

Inicijalno su sustavi poslovne inteligencije, odnosno sustavi za podršku poslovnom odlučivanju, bili prvo mjesto na kojem je bila potrebna integracija podataka iz više različitih informacijskih sustava transakcijke prirode. Globalizacijom poslovanja, i razvojem business-to-business poslovnih modela putem Interneta, sve je više i rasla potreba za integracijom podataka iz različitih sustava. Velike svjetske tvrtke, a i mnoge hrvatske tvrtke, imaju pogone ili predstavništva u raznim zemljama svijeta, na različitim kontinentima, u kojima ne samo da se govori različitim jezicima, negu su i pisma koja se koriste različita.

Za uvid u konsolidirano poslovanje mora se omogućiti da svi ti sustavi međusobno nesmetano komuniciraju i razmjenjuvo podatke na pouzdan i pravovremen način. Osnovna pretpostavka za komunikaciju među sustavima su standardni formati za komunikaciju, poput SWIFT standarda za međubankovne transakcije ili EDI standarda za elektroničke transakcije, te u novije vijeme sve više XML-a kao plaforme za komunikaciju među sustavima na kojoj se mogu razvijati specifična rješenja.

Tipovi integracija podataka i aplikacija

Zahtjev poslovanja je da se mora omogućiti da se podaci iz različitih sustava, koji za komunikacju koriste različite standarde i protokole, iz različitih aplikacija na različitim jezicima razmjenjuju među sustavima.

Tu trebamo razlikovati tri osnovne vrste interakcija među sustavima. U prvom slučaju je je riječ o razmjeni podataka u realnom vremenu ili u relativno katkim vremenskim razmacima. U ovu kategoriju možemo ubrojiti sinhronizacije podataka između sustava ili replikacije podataka na drugu lokaciju radi osiguravanja nastavka nesmetanog funkcioniranja u slučaju havarije. Tu se najčešće radi o malim do srednjim količinama podataka i visokoj učestalosti razmjene, te malim potrebama za transformacijama.

U drugu kategoriju spadaju kategoriju punjenja skladišta podataka i analitičkih sustava za podršku odlučivanju. Takvi integracijski zadaci najčešće se dešavaju jednom dnevno u doba kada izvorni i ciljni sustavi nisu opterećini korisničkim zahtjevima, najčešće tijekom noći. Količine podataka koje se prebacuju su srednje do velike, uz složene transformacije.

U treću kategoriju spadaju migracije s jednog sustava na drugi, poput slučaja kada se uvodi novi ERP sustav u tvrtku, pa se podaci iz starog sustava trebaju prebaciti u novi. Takavi integracijski zadaci dešavaju se jednokratno, uz veliku količinu podataka i najčešće vrlo složene transformacije i kontrole. U skupinu migracija spadaju i migracije podataka iz testnog u produkcijski sustav kod uvođenja novog sustava.

Kvaliteta podataka

Poseban problem predstavlja i kvaliteta podataka. Naime, mnogi sustavi zbog brzine rada često nemaju ugrađene kontrole ispravnosti podataka, te se u podacima nalazi dosta “smeća”. To je posebno slučaj kod tvrtki koje rade s krajnjim korisnicima, kod kojih se dešava da se ista osoba vodi pod nekoliko različitih imena i adresa, ili da se ista ulica u podacima za različite klijente piše na različite načine. Ulica Miroslava Kraljevića 2, Kraljevićeva 2, M. Kraljevića 2 i još desetak raznih inačica su ispravni načini zapisivanja adrese i svi znače isto, ali su zapisani različito. Naravno, postoji i problem podataka koji izgledaju potpuno ispravno, ali u biti to nisu…

Put k rješenju

Kroz zadnjih desetak godina nastale je nekoliko specifičnih grupa proizvoda koji su rješavali te probleme. Većina ih je grupirana u dvije osnovne grupe koje se baziraju na tipu integracije. Prvu i veću grupu čine platforme koji omogućavaju komunikaciju i integraciju transakcijskih sustava, koje se nazivaju EAI – Enterprise Application Integration platforme. EAI je segment informatičkog tržišta koji ima najveći rast od preko 30% godišnje, što je daleko iznad tržišnog prosjeka, budući da je i potreba za integracijom sve veća i veća.

Drugu grupu čine platforme koje služe za punjenje skladišta podataka, odnosno analitičku integraciju, koje su poznate pod zbornim imenom ETL – Extraction, Transformation and Load platforme. U obje grupe, osim proizvođača specijaliziranih za takva rješenja poput BEA Software, TIBCO-a ili Informatice, nalaze se i uvijek prisutni Microsoft, Oracle i IBM.

Kompetencija za integraciju

S vremenom zadaci koji se postavljaju i pred jednu i pred drugu skupinu platformi sve više konvergiraju prema jednoj jedinoj riječi, a to je integracija, neovisno o tipu aplikacije, količini podataka ili složenosti transformacija. Tako je nastao i koncept koji Integration Competency Centra (ICC) koji je vrlo brzo zadobio vrlo snažnu podršku i informatičke struke i poslovnih korisnika. O čemu se zapravo radi?

Osnovna ideja koja stoji iza ovog koncepta je da postoji središnje mjesto u organizaciji koje se brine za integraciju aplikacija i podataka, organizacijska jedinica sa skupinom ljudi i platformom ili platormama s kojima mogu rješavati integracijske izazove svih triju tipova, umjesto da se svaki zadatak integracije sustava gleda kao zaseban problem. Na taj način se razvija kompetencija, te se za svaki slijedeći projekt integracije štede resursi iz dva razloga – prvi je da postoji interno znanje platforme koja se koristi i sustava koji se integriraju, a drugi je da se pojedine integracijske komponente i logika iz prethodnih projekata mogu ponovo koristiti.

Naravno, kičma takve organizacije je repozitorij metapodataka, podataka o podacima, koji sadrži informacije o svim mapiranjima i tijeku podataka među različitim sustavima. Na taj način su i najsloženiji poslovni sustavi detaljno i precizno dokumentirani, te je integracija novih podsustava u cjelinu brža i jednostavnija.

Jedna vrlo jednostavna analogija koja se može primijeniti je analogija prema avio-prijevozu i takozvanom „hub and spoke“ konceptu po kojem u svakoj regiji postoji veliki, centralni tranzitni aerodrom (poput Frankfurta u Europi ili Hong Konga na Dalekom istoku) koji se spojen sa svim lokalnim i velikim globalnim aerodromima i koji omogućava da se s jednim presjedanjem može doći iz Zagreba do bilo kojeg dijela svijeta. Analogno tome, ICC ima ulogu takvog prometnog čvora koji usmjerava podatke u njihovom prometu između različitih sustava.

U Hrvatskoj već mnoge velike tvrtke, poglavito telekomi i banke, imaju grupe stručnjaka i vanjskih konzultanata koji se bave integracijom informacijskih sustava. Za očekivati je da će uskoro ideja centra kompetencije za integraciju, koja adresira jedan od najkritičnijih problema današnjice, zaživjeti i u hrvatskoj poslovnoj praksi. (D.O.)