Organisatorisen datan ja raportoinnin salaisuudet Mistä tämä data oikein tulee?
tl;dr Came here just for the script? You can find it here: https://dev.azure.com/cloud1public/_git/Blog%20Source
Tuomo Riihentupa työskentelee Lead Architectina Cloud1:lla. Hän vastaa osasta Cloud1:n merkittävimpiä asiakkuuksia. Tuomon taustasta löytyy kokemusta toimimisesta sekä konsulttina että loppuasiakkaana. Nykyiseen työhönsä hän haluaakin tuoda mukanaan vahvaa ymmärrystä asiakkaan tarpeista ja arjen haasteista. Datasta kaikki irti on ollut Cloud1:n statement jo useita vuosia. Tuomo allekirjoittaa edelleen ydinajatuksen, jonka kenties jo hieman käytettykin lausahdus pitää sisällään. Samalla Tuomo avaa tuota...
DataOps ottaa kantaa, DevOpsilta lainattujen asioiden lisäksi, myös projektinhallintamalliin, sekä esittää uuden tavan nähdä tietojärjestelmät tuotantolinjaston kaltaisena perinteisen ohjelmistotuoteajattelun sijaan. Vaikka DevOpsin opit ovat itsessään tärkeitä, ei se ole silti saanut samaa pitoa datapuolella, kuin ohjelmistokehityksessä. Syynä tähän nähdäkseni on se, että dataprojektit eivät noudata täsmälleen samoja lainalaisuuksia kuin perinteinen ohjelmistokehitys. Näin ollen DevOpsin opit eivät suoraan...
Aikaisemmissa blogipostauksissa esiteltiin Databricksin arkkitehtuuria, kehitystä, tehokkuutta ja kustannuksia sekä visualisointien avustamaa analysointia. Tässä blogisarjan viimeisessä osassa esittelen mielestäni tärkeimmät huomiot toteutuksesta teknisellä tasolla. Pyrin ennen kaikkea nostamaan esille ne hankalammin Googlella löydettävät yksityiskohdat, jotka mahdollistavat sarjassa esitellyn arkkitehtuurillisen toteutuksen.
Edellisissä osissa on käyty läpi miten data saadaan käyttöön ja hyödynnettävään muotoon. Jäljellä on vielä tiedon analysointi johon tässä osassa syvennytään.
Edellisissä osissa käytiin läpi arkkitehtuuri sekä kokemukset kehityksestä. Tässä osassa käyn läpi miten laskennan hajautus käytännössä vaikuttaa ajoaikoihin ja miten tämä vaikuttaa tuotantoratkaisun kustannusten arvioimiseen.
Edellisessä Databricksiä käsittelevässä blogipostauksessa kerroin millainen kokonaisarkkitehtuuri tarvitaan big data AdHoc-analytiikkaan. Hajautetun laskentamoottorin virkaa toimitti tässä esimerkissä Databricks. Tässä osassa käyn läpi millaisen kehitysponnistuksen tiedon valmisteleminen vaatii.
Ad hoc -raportointi. Itsepalveluanalytiikka. Niistähän on puhuttu jo vuosia. Markkinoilla onkin useita Self-Service BI-tuotteita, kuten Microsoft Power BI (Desktop). Näiden työkalujen käyttöä kuitenkin usein rajoittaa käyttäjän läppärin suorituskyky, ja ne soveltuvat lopulta huonosti tai jopa surkeasti suurten tietomassojen pika-analyyseihin.
Cloud1:n data-arkkitehti Marko Oja on avannut aiemmin blogissa Microsoft PowerAppsin ominaisuuksia erilaisin case-esimerkein. Nyt kirjoitusvuorossa on Cloud1:n kumppanin ja Familyyn kuuluvan Devisioonan arkkitehti Risto-Matti Ratilainen, joka kertoo alla PowerAppsin ja Serverless -teknologioiden yhteensovittamisesta.
