Marko Oja
Data-arkkitehti, joka auttaa asiakasta ymmärtämään tekniikan mahdollisuudet ja muuntaa innovatiiviset ideat teknisiksi ratkaisuiksi. Ketterät kehitysmenetelmät ja kehitystyötä tukevat prosessit ovat lähellä Markon sydäntä.
Ad hoc -raportointi. Itsepalveluanalytiikka. Niistähän on puhuttu jo vuosia. Markkinoilla onkin useita Self-Service BI-tuotteita, kuten Microsoft Power BI (Desktop). Näiden työkalujen käyttöä kuitenkin usein rajoittaa käyttäjän läppärin suorituskyky, ja ne soveltuvat lopulta huonosti tai jopa surkeasti suurten tietomassojen pika-analyyseihin.
Pilvimaailma kuitenkin on ja on aina ollut big datan luvattu maa, joten voisiko sieltä saada apua tämän kaltaisiin ongelmiin?
Helppo vastaus on tietysti kyllä, mutta mitä se sitten tarkoittaa käytännössä? Mitä tekniikoita, palveluja ja osaamista käyttäjillä täytyy olla, jotta he pystyisivät hyödyntämään pilven laskentakapasiteettia nopeaan analytiikkaan suurilla tietomassoilla? Vastauksia on varmasti lähes yhtä monta kuin vastaajiakin. Tässä blogissa paneudun siihen, miten Databricksin ja Power BI:n yhdistelmä sopii tähän tarkoitukseen.
Azuressa on toki tarjolla muitakin teknisiä vaihtoehtoja, joista toivottavasti pääsen vielä lähitulevaisuudessa kirjoittamaan jatkoblogia. Tällä hetkellä Spark-pohjainen Databricks tarjoaa edistyneille business-käyttäjille ja data-analyytikoille kohtuullisen helppokäyttöisen vaihtoehdon, jolla pääsee pöyhimään yrityksessä tarjolla olevaa dataa.
Yksinkertaisimmillaan tässä esiteltyyn arkkitehtuuriin kuuluu
- Tallennuspalvelu kuten esimerkiksi Data Lake Storage Gen2
- Hajautettu laskentamoottori Databricks
- Visualisointityökalu Power BI
- Näiden lisäksi tuotantojärjestelmässä ajoja hallitaan keskitetysti Data Factoryllä, joka huolehtii ajojen orkestroinnista. Eli siirtää uutta tietoa valittuun tallennuspalveluun ja käynnistää laskennat tämän jälkeen.
Seuraavassa blogipostauksessa kerron mitä aloittaminen vaatii käytännössä.
(Blog in English coming soon...)