Duomenų platforma „Vienas į vieną“: nekeičiama duomenų platforma (1 dalis)

Šiandien turime prieigą prie labai keičiamo dydžio duomenų įrankių, tvarkančių didžiulius kiekius, kurie būtų buvę neįsivaizduojami vos prieš kelerius metus. LLM apdoroja milijardus parametrų, srautinio perdavimo platformos apdoroja milijonus įvykių per sekundę ir duomenų saugyklos, kurias galima lengvai padidinti iki petabaitų. Ironiška, kad nors atskiri įrankiai yra labiau keičiami nei bet kada anksčiau, organizacijos susiduria su vis labiau nepakeičiamomis duomenų platformomis.

Sudėtingumo ir išlaidų spiralė

Duomenų platformos aplinka pastaraisiais metais sparčiai pasikeitė. Komandos perėjo nuo atvirojo kodo įrankių valdymo iki debesų tiekėjų, siūlančių integruotus sprendimus, iki įmonės masto duomenų platformų, tokių kaip Snowflake ir Databricks, kurios tvarko duomenų perdavimą, saugojimą, apdorojimą ir analizę. Šios įmonės duomenų platformos, nors ir galingos, yra labai sudėtingos ir kainuoja organizacijoms.

Šiandien pagrindinis pramonės atsakas į didėjantį duomenų valdymo sudėtingumą ir išlaidas yra duomenų tinklelis. Iš esmės atskiroms komandoms suteikiama autonomija kurti savo duomenų sistemas ir sukurti papildomą automatizavimą bei integravimą, kad būtų galima sujungti šias atskiras sistemas.

Žvelgiant į bendrą tendenciją, dauguma organizacijų tikrai nesivargina dėl to, kad negali pakankamai greitai sukurti duomenų sistemų, o platformų komandos negali tvariai palaikyti šių atskirų sistemų ir jų integruoti. Dar blogiau, nenuoseklus įgyvendinimas yra valdymo košmaras dėl saugumo ir atitikties. Šie didėjantys sudėtingumo, saugumo ir atitikties reikalavimai yra pagrindiniai augančios sąnaudų spiralės varikliai.

Neteisingai suderintos komandos

Su duomenimis dirbančios komandos yra iš esmės nesuderintos – programų kūrėjai yra atsakingi už duomenų rinkimą, tačiau jų pagrindinis dėmesys skiriamas klientams skirtoms funkcijoms, duomenų mokslininkams reikia gerų duomenų, tačiau jiems reikia aprūpinti infrastruktūrą, o platformų komandos turi optimizuoti išlaidas, bet negali kontroliuoti, kaip duomenys. srautai. Šiandien daugelis tiekėjų sprendimų bando išspręsti nesutapimo problemą naudojant duomenų linijos, katalogo, kokybės patikrų automatizavimą. Tačiau šios priemonės yra skirtos problemos analizei, o ne problemos sprendimui.

Pleistras nesikeičia

Daugumoje didelių sistemų beveik visada lengviau ir pigiau, jei iš anksto žinote, ką bandote sukurti. Duomenų sistemos nėra išimtis. Vis dėlto dauguma komandų kreipiasi į duomenų publikavimą atsižvelgdami į „mums to gali prireikti vėliau“, o ne „kaip šie duomenys bus naudojami? Dėl to komandos praleidžia daugiau laiko duomenims rasti ir valyti, nei juos naudoti, todėl sukuriami bereikalingai sudėtingi transformavimo procesai, o saugumas ir atitiktis tampa eksponentiškai brangesni. Pradinė pastato kaina be aiškaus ketinimo gali būti mažesnė. Tačiau kiekviena nauja funkcija ir priežiūra laikui bėgant žymiai kainuoja.

Prieš 15–20 metų, kai pirmą kartą turėjome skaičiavimo galią apdoroti didžiulius duomenų kiekius, o įmonės tik pradėjo mokytis apie duomenų potencialą, buvo suprantama, kad tiek įmonės, tiek inžinieriai dar nežinojo, kaip kurti duomenų sistemas. Šiandien turime daug aiškių modelių ir patikrintų naudojimo atvejų analizės, automatizavimo ir operacijų srityse. Daugumą pagrindinių verslo duomenų poreikių galima ir reikia apibrėžti iš anksto.

Kitas

2 serijos „One Off to One Data Platform“ dalyje mes išdėstysime duomenų platformų projektavimo sistemą, pagrįstą įprastais verslo naudojimo atvejais. Apibrėždami duomenų komponentus ir laiko reikalavimus kiekvienam naudojimo atvejui, galime sistemingai nustatyti, ko reikia gamybos sistemai – nuo ​​atitikties ir saugos kontrolės iki infrastruktūros komponentų iki integravimo galimybių.

Naudodamos sistemą, komandos gali panaudoti esamus platformos komponentus naujiems naudojimo atvejams, o ne kiekvieną kartą įkelti infrastruktūrą nuo nulio. Šis metodas ne tik sumažina techninį sudėtingumą, veiklos naštą ir infrastruktūros išlaidas, bet ir leidžia organizacijoms greitai prisitaikyti prie kintančių verslo poreikių.