Syksyllä Cloud1:lla aloitti data-arkkitehtina Sanna Uusimäki. Hänellä oli jo takanaan yli kymmenen vuoden ura datan ja analytiikan parissa. Hän on työskennellyt suurimmaksi osaksi konsulttina suurissa globaaleissa yrityksissä. Rohkeutta vaatinutta hyppyä uuteen pehmitti se, että Cloud1:lla työskenteli monia Sannalle jo entuudestaan tuttuja asiantuntijoita, joiden ammattitaitoa hän arvostaa.
DataOps ottaa kantaa, DevOpsilta lainattujen asioiden lisäksi, myös projektinhallintamalliin, sekä esittää uuden tavan nähdä tietojärjestelmät tuotantolinjaston kaltaisena perinteisen ohjelmistotuoteajattelun sijaan. Vaikka DevOpsin opit ovat itsessään tärkeitä, ei se ole silti saanut samaa pitoa datapuolella, kuin ohjelmistokehityksessä. Syynä tähän nähdäkseni on se, että dataprojektit eivät noudata täsmälleen samoja lainalaisuuksia kuin perinteinen ohjelmistokehitys. Näin ollen DevOpsin opit eivät suoraan...
DataOps rantautui Gartnerin hype-termistöön vuonna 2018. Sen ympärille on noussut muutama startup ja suuremmat yritykset ovat sovitelleet termiä tuotteisiinsa. DataOps on saanut myös manifestin (koska sehän kuuluu nykyään asiaan), ja aiheesta löytyy myös muutama laajempia ideaa avaavia dokumentteja. Käsitteenä se on kuitenkin hyvin uusi, mutta ideat joista se koostuu on hyödynnetty datakehityksessä jo aikansa.
Data-arkkitehti Lasse Rautopuro kehittää Cloud1:lla arkkitehtuureihin ja pilvitransformaatioon liittyviä kokonaisuuksia. Pitkä kokemus tietovarastoinnista, siihen liittyvistä prosesseista ja analytiikasta ovat olleet hyödyksi uudessa roolissa. Nyt Cloud1:lla hän suunnittelee sitä, miten tietovarastointitoteutuksia sekä niihin liittyviä prosesseja toteutetaan pilvityövälinein Microsoft Azurella.
Antti Koskinen työskentelee Cloud1:lla data-arkkitehtina. Antilla on pitkä kokemus erityisesti keskitetyistä tietovarastoista ja tietokantojen hallintajärjestelmistä, mutta työ on usein ollut teknologiavetoista. Viime vuosina hän on halunnut suuntautua enemmän teknologia-agnostisempaan suuntaan ja dataan, ja siksi hän onkin päätynyt juuri Cloud1:lle.
Sana ”pilvi” voidaan liittää miltei kaikkeen siihen, mitä IT:llä on perinteisesti tarkoitettu. Yhä edelleen olemme automaattisen tietojenkäsittelyn viitoittaman jatkuvan kehityksen tiellä, helpottamassa ihmisten työtä automaation avulla. Jos asioita pohditaan laajemmassa perspektiivissä, pilviteknologia asettuu osaksi luonnollista jatkumoa, jossa asioita tehdään aina vain fiksummin, nopeammin ja edullisemmin – siis kaikkea sitä, mistä IT elää. Pilvi kuvaakin nähdäkseni lähinnä modernin aikakauden tekemistä ja...
Patrick Ståhl on työskennellyt data-arkkitehtina Cloud1:lla elokuusta alkaen. Data on jo pitkään ollut hänen sydäntään lähellä, ja siksi Cloud1 tuntuikin luonnolliselta askeleelta urapolulla.
Aikaisemmissa blogipostauksissa esiteltiin Databricksin arkkitehtuuria, kehitystä, tehokkuutta ja kustannuksia sekä visualisointien avustamaa analysointia. Tässä blogisarjan viimeisessä osassa esittelen mielestäni tärkeimmät huomiot toteutuksesta teknisellä tasolla. Pyrin ennen kaikkea nostamaan esille ne hankalammin Googlella löydettävät yksityiskohdat, jotka mahdollistavat sarjassa esitellyn arkkitehtuurillisen toteutuksen.
Edellisissä osissa on käyty läpi miten data saadaan käyttöön ja hyödynnettävään muotoon. Jäljellä on vielä tiedon analysointi johon tässä osassa syvennytään.
Edellisissä osissa käytiin läpi arkkitehtuuri sekä kokemukset kehityksestä. Tässä osassa käyn läpi miten laskennan hajautus käytännössä vaikuttaa ajoaikoihin ja miten tämä vaikuttaa tuotantoratkaisun kustannusten arvioimiseen.
