Didieji duomenys – neabejotinai viena įtakingiausių pastarojo dešimtmečio tendencijų. Tačiau gauti apčiuopiamą didžiųjų duomenų naudą – įžvalgas, padedančias priimti verslui svarbius sprendimus realiu laiku – įmanoma tik išsprendus duomenų struktūravimo problemą. Šiandien įveikti šį svarbiausią duomenų valdymo iššūkį gali padėti net kelios duomenų saugojimo technologijos, sako „Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys ir vyresnysis sistemų inžinierius Edgar Viršilo.

Visi duomenys virsta didžiaisiais duomenimis

Didžiuosius duomenis paprasčiausia apibrėžti kaip visus duomenis, kuriuos gauname iš įrenginių ir generuojame patys – nuo el. laiškų iki nuotraukų socialiniuose tinkluose.

„Blue Bridge“ infrastruktūros sprendimų vadovas Algirdas Lunys paaiškina, kad didžiuosius duomenis galima apibūdinti ir kaip duomenis, kurie plečiasi trimis kryptimis: didėja jų apimtis, įvairovė ir kaitos greitis. Tai, pavyzdžiui, reiškia, kad nuo periodinių duomenų pereiname prie realaus laiko duomenų naudojimo; tokius duomenis saugant prireikia jau ne gigabaitų, o terabaitų ir t. t.

„Didžiųjų duomenų sąvokos centre – prielaida, kad iš esmės bet kokie duomenys yra vertybė. Loginė to seka praktikoje –„išankstinis“ duomenų kaupimas, kai kaupiame duomenis, iki galo nežinodami, ar jų prireiks. Pavyzdžiui, galbūt tam tikra informacija leis nustatyti vartotojų elgesio tendencijas ir atlikti prognozes tik po kelerių metų, tačiau šių duomenų kaupimą turime pradėti jau šiandien – tam, kad įžvalgos, grįstos jų analize, būtų korektiškos, paremtos istorine informacija“, – sako A. Lunys.

Vis dėlto kaupiant bet kuriuos duomenis būtina bent minimali struktūra. Tad duomenų kaupimo etape jau turi atsirasti sistema ir įrankiai, padedantys ne tik kaupti, bet ir ateityje greitai atpažinti, apdoroti ir galiausiai – apibendrinti verslui svarbius duomenis.

Nuo duomenų bazės prie duomenų ežero

Ko gero, pirmoji asociacija, paminėjus duomenų saugojimą, yra duomenų bazės. Kaip pastebi A. Lunys, duomenų bazės iš tikrųjų gali padėti apdoroti kliento užsakymus, sugeneruoti sąskaitą ir t. t. Tačiau duomenys atskirose sistemose turi mažą vertę, be to, duomenų bazės pirmiausia yra skirtos duomenų „įrašymui“, o ne jų analitikai. Todėl norint išnaudoti visą duomenų potencialą ir gauti informaciją, leidžiančią pastebėti sudėtingus priežastinius ryšius, reikėtų susipažinti su tokiomis sąvokomis kaip duomenų sandėlis (angl. Data Warehouse) ir duomenų ežeras (angl. Data Lake).

Apibūdindamas pagrindines šių duomenų saugojimo technologijų funkcijas trumpai, pašnekovas sako, kad jos abi padeda patogiai saugoti įvairiuose apdorojimo etapuose esančius duomenis.

„Duomenų sandėliai gali padėti atlikti tokius kasdienius darbus kaip mažiausiai parduodamų produktų nustatymas, klientų maržos analizė ir t. t. Apibendrinant – integruoti duomenis iš kelių skirtingų sistemų. Duomenų sandėlius vis dažniau papildo duomenų ežerai, kuriuose galima kaupti netransformuotus, labai įvarius duomenis, tarp jų – ir naujesnių formatų“, – sako „Blue Bridge“ infrastruktūros sprendimų vadovas.

Duomenų sandėliavimas – būtinas, bet reikalaujantis laiko

Big data, Blue Bridge

Duomenų sandėlyje visi duomenys turėtų būti sudėti kaip bibliotekoje – pagal iš anksto numatytą schemą, formatą ir tokiomis formomis, kurios lengviau suprantamos galutiniams naudotojams. Pavyzdžiui, informacija apie operacijas turi būti struktūruojama pagal verslo procesus, tokius kaip pervežimas, pardavimas ar inventoriaus kontrolė.

„Iš čia kyla svarbiausias praktinio duomenų sandėlio naudojimo iššūkis – prieš nukreipiant duomenis į duomenų sandėlį, reikia vienaip ar kitaip juos transformuoti, o tai atima laiko, prarandamas duomenų apdorojimo greitis, be to, paaiškėjus, kad transformuoti ne patys vertingiausi duomenys, visą procesą reikia pradėti iš naujo“, – paaiškina „Blue Bridge“ vyresnysis sistemų inžinierius Edgar Viršilo.

Būtent šie duomenų sandėlio apribojimai paskatino naujausios duomenų saugojimo technologijos – duomenų ežero – atsiradimą.

Duomenų ežerai leidžia greičiau nustatyti duomenų vertę

Duomenų ežeras – tai vieninga saugykla, skirta dideliam skirtingų duomenų kiekiui saugoti jų gimtuoju formatu. Tai reiškia, kad duomenų ežere gali būti saugomi įvairių tipų duomenys – nuo tradicinių veiklos duomenų, tokių kaip „Excel“ lentelės, iki informacijos, surinktos iš įvairių įrenginių daviklių.

„Svarbiausias duomenų ežero privalumas, lyginant su duomenų sandėliu, yra tai, kad nereikia skirti laiko duomenų įsavinimui ir kaupimui – duomenų ežere duomenys gali būti nestruktūruoti ir netransformuoti iki tol, kol nebus žinoma jų vertė ir nuspręsta, ar jie bus analizuojami. Todėl su duomenų ežeru gauname mažesnį duomenų vėlavimą, momentinę prieigą prie įvairių tipų duomenų, lengvesnį išplėstinių duomenų analizės scenarijų kūrimą ir galiausiai – taupų didelių duomenų kiekių saugojimą“, – vardija „Blue Bridge“ vyresnysis sistemų inžinierius.

Tam tikra struktūra būtina ir duomenų ežere

Nepaisant greitesnio duomenų pateikimo ir lankstumo, kurį suteikia duomenų ežeras, bent minimalaus duomenų struktūrizavimo išvengti nepavyks ir čia – kitaip duomenų ežeras gali pavirsti duomenų pelke.

„Pavyzdžiui, duomenys gali būti kaupiami pagal savaites, mėnesius, metus, saugumo reikalavimus arba taikant tam tikrą klasifikaciją – pavyzdžiui, vieši duomenys, konfidencialūs duomenys ir t. t. Prieš planuodami duomenų kaupimo sistemą duomenų ežere, turite nuspręsti bent jau tai, kokiu cikliškumu norite duomenis gauti ir talpinti duomenų ežere“, – sako E. Viršilo.

Pirmieji žingsniai link vertę kuriančio duomenų saugojimo

Taigi – nuo ko pradėti didžiųjų duomenų pritaikymą savo verslo tikslams? Pasak E. Viršilo – pirmasis žingsnis, tai – duomenų sandėlio struktūros sudarymas. Šiame etape pats svarbiausias yra vertingiausių duomenų šaltinių nustatymas.

„Antra, įvairesnių duomenų kaupimui patarčiau naudoti duomenų ežerą, o jeigu naudojote duomenų sandėlį jau anksčiau, pirmiausia reikėtų perkelti iš jo archyvinius duomenis į duomenų ežerą, ir tokiu būdu duomenų sandėlyje „įvesti tvarką“. Duomenų ežere taip pat galite pradėti saugoti naujo tipo ar formato duomenis ir lygiagrečiai spręsti dėl jų tinkamumo išsamesnei analizei, perkėlimui į duomenų sandėlį ir t. t. Nepamirškite, kad duomenų ežeras taip pat turi turėti savo struktūrą“, – apibendrina „Blue Bridge“ vyresnysis sistemų inžinierius.

Norint įsitikinti, ar renkami ir analizuojami tikrai vertingiausi duomenys, periodiškai reikėtų atlikti koncepcinius projektus (angl. Proof-of concept). Jie gali padėti pastebėti „nereikalingus“ duomenis arba prijungti papildomų duomenų, kuriuos skirtingais formatais vėliau leidžia saugoti ir panaudoti duomenų ežeras.

Didžiųjų duomenų infrastruktūros projektavimas, diegimas, migravimas, konsolidavimas, dirbtinis intelektas duomenų valdyme – susisiekite su „Blue Bridge“ komanda!