Streaming duomenys Power BI: push, srautiniai rinkiniai ir Event Hubs

Power BI realiojo laiko duomenis gali rodyti trimis būdais: per push semantinį modelį, kuris saugo duomenis ir leidžia kurti ataskaitas, per srautinį (streaming) modelį, kuris laiko duomenis tik laikinoje talpykloje ir rodo juos prietaisų skydelio plytelėse beveik be vėlavimo, ir per abiejų derinį, dažniausiai maitinamą iš Azure Event Hubs ir Stream Analytics. Svarbiausia žinoti: naujų realiojo laiko modelių kūrimas palaikomas iki 2027 m. spalio 31 d., todėl naujus ilgalaikius sprendimus verta planuoti jau dabar. Žemiau paaiškiname, kuo šie modeliai skiriasi, kaip juos sukurti, kokie jų limitai ir kada verslui pakanka automatiškai atnaujinamų ataskaitų.

Trumpai

• Push modelis sukuria duomenų bazę Power BI tarnyboje: galima kurti ataskaitas, įspėjimus ir realiuoju laiku atsinaujinančias plyteles.
• Srautinis modelis neturi duomenų bazės: duomenys laikomi vienos valandos laikinoje talpykloje ir rodomi tik pasirinktinėse srautinėse plytelėse.
• Event Hubs duomenis į Power BI dažniausiai perduoda per Azure Stream Analytics, kuris sukuria mišrų push ir srautinį modelį.
• Nuo 2027 m. spalio 31 d. naujų push, srautinių ir PubNub modelių kurti nebebus galima, o Microsoft rekomenduoja Fabric Real-Time Intelligence.
• Finansiniams rodikliams iš apskaitos programų paprastai pakanka automatiškai atnaujinamų Power BI ataskaitų, be atskiros srautinės infrastruktūros.

Turinys

• Trys realiojo laiko semantinių modelių tipai
• Push ar srautinis modelis: kaip pasirinkti
• Kaip sukurti srautinį rinkinį ir siųsti į jį duomenis
• Event Hubs ir Stream Analytics: kelias iki prietaisų skydelio
• Limitai, kuriuos verta žinoti iš anksto
• Kas keičiasi iki 2027 m. spalio 31 d.
• Kada pakanka automatiškai atnaujinamų ataskaitų
• Mūsų požiūris
• Paruošti Power BI rinkiniai Rivilė ir Finvalda naudotojams
• Dažniausiai užduodami klausimai
• Šaltiniai

Trys realiojo laiko semantinių modelių tipai

Microsoft dokumentacija išskiria kelis realiojo laiko modelių tipus. Kiekvienas sprendžia skirtingą uždavinį, todėl pasirinkimas priklauso nuo to, ar jums reikia istorijos, ar tik akimirkos vaizdo.

Savybė	Push modelis	Srautinis modelis	Mišrus (pushStreaming)
Duomenų saugojimas	Duomenų bazė Power BI tarnyboje	Tik laikina talpykla, apie 1 val. langas	Ir duomenų bazė, ir talpykla
Ataskaitos (report)	Taip	Ne	Taip
Prietaisų skydelio plytelės	Prisegtos vizualizacijos, atsinaujinančios realiuoju laiku	Tik pasirinktinės srautinės plytelės	Abu variantai
Duomenų įspėjimai	Taip	Ne	Taip
Vėlavimas	Nedidelis	Minimalus	Priklauso nuo vizualizacijos
Užklausų limitas	1 užklausa iki 16 MB, iki 1 mln. eilučių per valandą	5 užklausos po 15 KB, pralaidumas neribojamas	Taikomi abu

Duomenys lentelėje pateikti pagal Microsoft Learn realiojo laiko srautų aprašą. Ten pat nurodyta, kad įjungus parinktį Historic data analysis modelis tampa ir push, ir srautiniu. Trečiasis oficialus tipas, PubNub, duomenų į Power BI nesiunčia: vizualizacija jungiasi tiesiai prie PubNub srauto.

Push ar srautinis modelis: kaip pasirinkti

Sprendimą lemia trys klausimai.

1. Ar reikia istorijos? Jei norite matyti ne tik paskutinę valandą, bet ir dienos, savaitės ar mėnesio tendencijas, rinkitės push arba mišrų modelį. Srautinis modelis duomenų ilgai nesaugo.
2. Ar svarbi kiekviena sekundė? Srautinis modelis tinka, kai vėlavimą reikia sumažinti iki minimumo, o duomenis galima rodyti tokius, kokie jie yra: temperatūrą, įrenginio būseną ar iš anksto apskaičiuotus vidurkius.
3. Kur žiūrės vartotojai? Srautinis modelis rodomas tik prietaisų skydelyje. Jei komanda dirba su ataskaitų puslapiais, filtrais ir pjūviais, reikia push modelio.

Kuriant modelį per Power BI REST API, režimą nurodo vėliavėlė defaultMode: jei jos nenurodote, sukuriamas push modelis, o reikšmė pushStreaming suteikia abiejų tipų privalumus.

Kaip sukurti srautinį rinkinį ir siųsti į jį duomenis

Srautinis modelis kuriamas Power BI tarnyboje (naršyklėje), o ne Power BI Desktop programoje. Bendra eiga tokia:

1. Atidarykite darbo sritį Power BI tarnyboje ir pasirinkite naujo srautinio semantinio modelio kūrimą.
2. Pasirinkite šaltinį: API, Azure Stream Analytics arba PubNub.
3. Aprašykite laukus ir jų tipus. Jei planuojate linijinę diagramą laiko ašyje, įtraukite datos ir laiko lauką.
4. Jei reikia istorijos ir ataskaitų, įjunkite Historic data analysis.
5. Nukopijuokite sugeneruotą push URL ir siųskite į jį JSON eilutes iš savo programos, skripto ar automatizavimo įrankio.
6. Prietaisų skydelyje pridėkite pasirinktinę srautinę plytelę ir pasirinkite vizualizaciją: kortelę, linijinę diagramą, matuoklį ar stulpelių diagramą.

Atminkite, kad Pro licencija reikalinga, norint kurti Power BI elementus ne „My workspace“ darbo srityse. Ten pat paaiškinta, kad Premium Per User (PPU) licencijos leidžia naudoti Premium funkcijas licencijuojant kiekvieną vartotoją ir yra ekonomiškesnės, kai jų reikia mažiau nei 250 žmonių.

Event Hubs ir Stream Analytics: kelias iki prietaisų skydelio

Kai duomenys ateina iš daug šaltinių vienu metu, pavyzdžiui, jutiklių, kasų sistemų ar programų žurnalų, juos patogiausia surinkti per Azure Event Hubs, apdoroti Stream Analytics ir išvesti į Power BI.

Microsoft be kodo Stream Analytics vadove prijungimas atrodo taip:

1. Pasirenkate Event Hubs vardų sritį (namespace) ir konkretų event hub.
2. Spaudžiate Process data ir renkatės tuščios drobės šabloną.
3. Nustatote vartotojų grupę Default, serializaciją JSON ir autentifikavimą Connection String.
4. Pridedate transformacijas (filtrus, agregavimą laiko languose) ir Power BI išvestį.

Stream Analytics į Power BI sukuria mišrų modelį, todėl gaunate ir saugomus duomenis ataskaitoms, ir srautines plyteles. Įvykių tvarkos nustatymuose rekomenduojama nurodyti toleranciją ne eilės tvarka atėjusiems (pvz., 5 sekundės) ir vėluojantiems įvykiams (pvz., 10 sekundžių). Jei duomenis siunčia daiktų interneto įrenginiai, Azure IoT Hub papildomai suteikia įrenginių valdymą ir autentifikavimą kiekvienam įrenginiui.

Limitai, kuriuos verta žinoti iš anksto

Projektuojant srautinį sprendimą, svarbu atsižvelgti į techninius apribojimus:

• Power BI taiko FIFO saugojimo politiką: duomenys kaupiami, kol pasiekia 200 000 eilučių, tada seniausios eilutės šalinamos.
• Iš Stream Analytics Power BI galima kviesti maždaug kartą per sekundę, o srautinės vizualizacijos palaiko 15 KB dydžio paketus.
• Srautinio modelio talpykla laiko apie valandos langą, todėl ilgesnio laikotarpio analizė jame neįmanoma.
• Srautinis modelis rodo duomenis tokius, kokie jie atkeliauja, todėl vidurkius ir kitus skaičiavimus patogiausia atlikti prieš siunčiant, pavyzdžiui, Stream Analytics užklausoje.

Kas keičiasi iki 2027 m. spalio 31 d.

Microsoft paskelbė, kad realiojo laiko srautai Power BI bus nutraukiami. Pagal oficialią dokumentaciją, srautinių modelių kūrimas lieka įjungtas iki 2027 m. spalio 31 d. Po šios datos nebebus galima kurti naujų push, srautinių ir PubNub modelių bei srautinių plytelių, tačiau jau sukurti modeliai toliau veiks.

Azure Stream Analytics pusėje pokytis griežtesnis: nuo 2027 m. spalio 31 d. nebebus galima kurti užduočių su Power BI išvesties jungtimi, o veikiančios užduotys su šia jungtimi bus sustabdytos. Kaip alternatyvą Microsoft rekomenduoja Real-Time Intelligence sprendimą Microsoft Fabric aplinkoje.

Fabric aplinkoje Event Hubs jungiamas kaip eventstream šaltinis: pasirenkate New source, Azure Event Hubs, įvedate vardų srities ir event hub pavadinimus, sukuriate prieigos politiką su Manage arba Listen teisėmis, pasirenkate vartotojų grupę ir duomenų formatą. Fabric pamokoje nurodyta, kad įvykiai į lakehouse rašomi kas dvi minutes, o ataskaitos atnaujinimo intervalą galima nustatyti formato skiltyje Page refresh.

Kada pakanka automatiškai atnaujinamų ataskaitų

Ne kiekvienam rodikliui reikia sekundžių tikslumo. Pajamos, sąnaudos, pelnas, balansas, skolos ar sandėlio likučiai keičiasi kartu su apskaitos dokumentais, todėl vadovui svarbiausia, kad ataskaita būtų atnaujinta automatiškai ir be rankinio darbo. Tokiems duomenims tinka suplanuotas atnaujinimas: apie jo nustatymus ir limitus rašėme straipsnyje apie Power BI suplanuotą atnaujinimą. Jei duomenys laikomi įmonės serveryje, prie debesies juos patikimai prijungia Power BI duomenų šliuzas.

Jei reikia dažnesnio vaizdo be importo, Power BI tarnyboje automatinis puslapio atnaujinimas veikia su DirectQuery šaltiniais. Kai auga duomenų kiekis ir šaltinių skaičius, verta įvertinti, kada verslui reikalinga duomenų saugykla.

Mūsų požiūris

Mes kasdien dirbame su Lietuvos įmonių finansiniais duomenimis iš Rivilė ir Finvalda, todėl matome, ko iš tiesų reikia vadovams, buhalteriams ir finansų direktoriams. Dažniausiai tai ne sekundžių tikslumas, o patikimi, vienoje vietoje sujungti rodikliai, kurie atsinaujina patys.

Srautinė analitika puikiai tinka jutikliams, įrenginiams ir įvykių srautams. Finansiniams sprendimams svarbiau vientisas Power BI modelis, kuriame apskaitos duomenys susieti su SharePoint, Excel, CRM ar logistikos šaltiniais. Būtent tokius sprendimus kuriame: paruoštus ataskaitų rinkinius ir individualius projektus, pritaikytus įmonės procesams ir esamoms IT sistemoms.

Mūsų ataskaitos atsinaujina automatiškai, be papildomo vartotojo įsikišimo. Tai reiškia, kad restorano savininkas ar buhalteris ryte mato aktualius pajamų, sąnaudų ir pelno skaičius, o laiką skiria sprendimams, ne duomenų rinkimui.

Analitika360

Paruošti Power BI rinkiniai Rivilė ir Finvalda naudotojams

Jei jūsų įmonė naudoja Rivilė arba Finvalda, Analitika360 pasiūlys paruoštus Power BI ataskaitų paketus su automatiniu duomenų atnaujinimu: pajamos, sąnaudos, pelnas, balansas, pardavimai, sandėlis ir skolos viename modelyje.

• Rivilė Basic ir Finvalda Basic: 59 Eur per mėnesį.
• Rivilė PRO ir Finvalda PRO: 89 Eur per mėnesį.
• Individualūs projektai: 70 Eur per valandą, kai reikia integruoti papildomus šaltinius ar pritaikyti ataskaitas jūsų procesams.

Taip pat padedame įsigyti reikalingas Microsoft Pro ir Premium licencijas. Visas sąlygas rasite verslo analitikos kainų puslapyje, o Rivilė naudotojams verta pradėti nuo Rivilė Basic paketo.

Dažniausiai užduodami klausimai

Ar srautinį rinkinį galima sukurti Power BI Desktop programoje?

Ne. Srautinis semantinis modelis kuriamas Power BI tarnyboje arba per REST API. Desktop programoje galite kurti ataskaitas iš push modelio, bet ne patį srautinį rinkinį.

Kiek laiko srautiniame modelyje saugomi duomenys?

Srautinis modelis duomenis laiko tik laikinoje talpykloje, kurios langas yra apie vieną valandą. Jei reikia ilgesnės istorijos, įjunkite Historic data analysis arba naudokite push modelį.

Ar mano esami srautiniai modeliai nustos veikti 2027 m.?

Pagal Microsoft dokumentaciją, po 2027 m. spalio 31 d. esami srautiniai semantiniai modeliai lieka nepaveikti, nebebus galima kurti tik naujų. Tačiau Stream Analytics užduotys su Power BI išvesties jungtimi tą dieną bus sustabdytos, todėl jas verta perkelti į Fabric Real-Time Intelligence iš anksto.

Kokios licencijos reikia realiojo laiko prietaisų skydeliui?

Norint kurti Power BI elementus bendrose darbo srityse, reikia Pro licencijos. Premium funkcijoms mažesnėms komandoms dažnai ekonomiškesnė Premium Per User licencija.

Ar Rivilė ir Finvalda duomenims reikia srautinio modelio?

Dažniausiai ne. Apskaitos rodikliams pakanka automatiškai atnaujinamo Power BI modelio, kurį Analitika360 paruošia kaip paketą su mėnesine prenumerata.

Šaltiniai

• Microsoft Learn: Real-time streaming in Power BI
• Microsoft Learn: Power BI output from Azure Stream Analytics
• Microsoft Learn: Build real-time Power BI dashboards with Stream Analytics no-code editor
• Microsoft Learn: Ingest, filter, and transform real-time events (Fabric)
• Microsoft Learn: Understand Microsoft Fabric licenses and capacity
• Microsoft Learn: Automatic page refresh in Power BI
• OneUptime: How to Build Real-Time Power BI Dashboards with Azure Stream Analytics

Rekomendacijos

• Power BI duomenų šliuzas: kaip veikia ir kaip jį įdiegti
• Inkrementinis atnaujinimas Power BI: kaip jį nustatyti
• Power BI valdymas: vaidmenys, taisyklės ir duomenų sauga
• Power BI suplanuotas atnaujinimas: limitai ir nustatymai