DataOps ottaa kantaa, DevOpsilta lainattujen asioiden lisäksi, myös projektinhallintamalliin, sekä esittää uuden tavan nähdä tietojärjestelmät tuotantolinjaston kaltaisena perinteisen ohjelmistotuoteajattelun sijaan. Vaikka DevOpsin opit ovat itsessään tärkeitä, ei se ole silti saanut samaa pitoa datapuolella, kuin ohjelmistokehityksessä. Syynä tähän nähdäkseni on se, että dataprojektit eivät noudata täsmälleen samoja lainalaisuuksia kuin perinteinen ohjelmistokehitys. Näin ollen DevOpsin opit eivät suoraan...
Aikaisemmissa blogipostauksissa esiteltiin Databricksin arkkitehtuuria, kehitystä, tehokkuutta ja kustannuksia sekä visualisointien avustamaa analysointia. Tässä blogisarjan viimeisessä osassa esittelen mielestäni tärkeimmät huomiot toteutuksesta teknisellä tasolla. Pyrin ennen kaikkea nostamaan esille ne hankalammin Googlella löydettävät yksityiskohdat, jotka mahdollistavat sarjassa esitellyn arkkitehtuurillisen toteutuksen.
Edellisissä osissa on käyty läpi miten data saadaan käyttöön ja hyödynnettävään muotoon. Jäljellä on vielä tiedon analysointi johon tässä osassa syvennytään.
Edellisissä osissa käytiin läpi arkkitehtuuri sekä kokemukset kehityksestä. Tässä osassa käyn läpi miten laskennan hajautus käytännössä vaikuttaa ajoaikoihin ja miten tämä vaikuttaa tuotantoratkaisun kustannusten arvioimiseen.
Edellisessä Databricksiä käsittelevässä blogipostauksessa kerroin millainen kokonaisarkkitehtuuri tarvitaan big data AdHoc-analytiikkaan. Hajautetun laskentamoottorin virkaa toimitti tässä esimerkissä Databricks. Tässä osassa käyn läpi millaisen kehitysponnistuksen tiedon valmisteleminen vaatii.
Ad hoc -raportointi. Itsepalveluanalytiikka. Niistähän on puhuttu jo vuosia. Markkinoilla onkin useita Self-Service BI-tuotteita, kuten Microsoft Power BI (Desktop). Näiden työkalujen käyttöä kuitenkin usein rajoittaa käyttäjän läppärin suorituskyky, ja ne soveltuvat lopulta huonosti tai jopa surkeasti suurten tietomassojen pika-analyyseihin.
Cloud1:n data-arkkitehti Marko Oja on avannut aiemmin blogissa Microsoft PowerAppsin ominaisuuksia erilaisin case-esimerkein. Nyt kirjoitusvuorossa on Cloud1:n kumppanin ja Familyyn kuuluvan Devisioonan arkkitehti Risto-Matti Ratilainen, joka kertoo alla PowerAppsin ja Serverless -teknologioiden yhteensovittamisesta.
Olette varmaankin kuulleet mahdollisuudesta esittää Power BI:llä reaaliaikadataa? Normaalistihan tämä toteutetaan siten, että tiedot ohjataan IoT- tai Event-hubista Stream Analyticsiin, josta julkaistaan reaaliaikainen tietojoukko Power BI:hin. Siellä tietojoukosta voidaan rakentaa dashboard, joka esittää kyseistä reaaliaikaista tietoa.
Tässä jatkoa blogikirjoitukseen PowerAppsilla luot applikaation ilman koodia: Case SQL-taulun ylläpito, jossa kerroin, miten yksinkertaisia ylläpitonäyttöjä on mahdollista toteuttaa ilman ohjelmointiosaamista.
PowerApps on Microsoftin pilvipohjainen lomaketyökalu. Sen ideana on mahdollistaa yksinkertaisten applikaatioiden tuottaminen ilman koodaamista. Tuotteen etuihin kuuluvat vuonhallinta ja kohtuulliset integraatiot Microsoftin järjestelmiin, kuten SharePointiin. Työkalun hienouksia ovat lisäksi mahdollisuus upottaa toiminnallisuutta Power BI -raporteille, sekä luoda mobiililaitteille yhteensopivia käyttöliittymiä. Kaiken kaikkeaan siis erittäin mielenkiintoinen työväline!
