Aikaisemmissa blogipostauksissa esiteltiin Databricksin arkkitehtuuria, kehitystä, tehokkuutta ja kustannuksia sekä visualisointien avustamaa analysointia. Tässä blogisarjan viimeisessä osassa esittelen mielestäni tärkeimmät huomiot toteutuksesta teknisellä tasolla. Pyrin ennen kaikkea nostamaan esille ne hankalammin Googlella löydettävät yksityiskohdat, jotka mahdollistavat sarjassa esitellyn arkkitehtuurillisen toteutuksen.
Edellisissä osissa on käyty läpi miten data saadaan käyttöön ja hyödynnettävään muotoon. Jäljellä on vielä tiedon analysointi johon tässä osassa syvennytään.
Edellisissä osissa käytiin läpi arkkitehtuuri sekä kokemukset kehityksestä. Tässä osassa käyn läpi miten laskennan hajautus käytännössä vaikuttaa ajoaikoihin ja miten tämä vaikuttaa tuotantoratkaisun kustannusten arvioimiseen.
Edellisessä Databricksiä käsittelevässä blogipostauksessa kerroin millainen kokonaisarkkitehtuuri tarvitaan big data AdHoc-analytiikkaan. Hajautetun laskentamoottorin virkaa toimitti tässä esimerkissä Databricks. Tässä osassa käyn läpi millaisen kehitysponnistuksen tiedon valmisteleminen vaatii.
Ad hoc -raportointi. Itsepalveluanalytiikka. Niistähän on puhuttu jo vuosia. Markkinoilla onkin useita Self-Service BI-tuotteita, kuten Microsoft Power BI (Desktop). Näiden työkalujen käyttöä kuitenkin usein rajoittaa käyttäjän läppärin suorituskyky, ja ne soveltuvat lopulta huonosti tai jopa surkeasti suurten tietomassojen pika-analyyseihin.
Teemu Virtanen aloitti Cloud1:lla ratkaisuarkkitehtina elokuun alussa. Hänellä on vahva kokemus raportointi- ja analytiikkaratkaisuista Qlikin teknologialla, ja aiemmat työtehtävät ovat vaihdelleet järjestelmän ylläpidosta ja kehityksestä palvelupäällikön tehtäviin sekä SaaS-palveluiden myyntiin. Cloud1:lla Teemu haluaa syventää osaamistaan erityisesti data platformin ja pilviarkkitehtuurin parissa, ja raportoinnin asiantuntijana hän on toki myös hyvin kiinnostunut Microsoft Power BI:n tarjoamista...
Olen välillä yrittänyt herätellä keskustelua kiireen keinotekoisuudesta projekteissa. Tällä tarkoitan tilannetta, joissa projektissa ei ole lainkaan suvantovaiheita kiireellisten ominaisuuksien tuottamiseksi, vaan tekijöillä on jatkuvat kiireelliset määräajat, milloin minkäkin ominaisuuden valmiiksi saattamiseksi. Tällainen voi jatkua kuukausia tai pahimmillaan jopa vuosia. Olen itsekin ollut kehittäjänä tällaisissa projekteissa. Asia, jonka tuona aikana opin oli se, että hyvin harva ominaisuus oli oikeasti...
NEP Finland Oy tarjoaa teknisiä palveluita ja ratkaisuja kaikenkokoisiin tv- ja elokuvatuotantoihin. Se on osa kansainvälistä NEP Group -konsernia, joka on yksi maailman suurimpia tv-alan teknisiä toimijoita. Kotimaassa tunnetuimpia NEP Finlandin teknisesti toteuttamia tuotantoja ovat mm. Tanssii tähtien kanssa, Haluatko miljonääriksi ja Vain elämää. Kansainvälisiä tuotantoja ovat mm. rallicrossin ja rallin MM-sarjojen televisiointi. Kuva: Neste Rally Finland 2019, Toni Ollikainen/AKK Sports Oy
Cloud1:n data-arkkitehti Marko Oja on avannut aiemmin blogissa Microsoft PowerAppsin ominaisuuksia erilaisin case-esimerkein. Nyt kirjoitusvuorossa on Cloud1:n kumppanin ja Familyyn kuuluvan Devisioonan arkkitehti Risto-Matti Ratilainen, joka kertoo alla PowerAppsin ja Serverless -teknologioiden yhteensovittamisesta.
Kyllä tässä saa jo ihan satasella painaa, naurahtaa data-arkkitehti Marko Lång. Hän aloitti Cloud1:lla toukokuun alussa, ja jos ensimmäinen viikko oli vielä rauhallista asioihin tutustumista, nyt ei voi enää sanoa samaa. Cloud1:lla alkukesä on usein kiireistä aikaa. Erityisesti tänä vuonna on työn alla ollut paljon isoja projekteja, kuten Alko Oy:n tietovaraston modernisointi. Marko on ehtinyt osallistua lyhyessä ajassa jo kolmeen eri projektiin, ja siitä Accenturelta Cloud1:lle siirtynyt data-arkkitehti onkin...
