26.3.2024

D2000 Informačný WorkShop II - Archivácia

Dňa 21. júna 2018 sa konal v sídle spoločnosti IPESOFT workshop o archivácii v systéme D2000. Čo zaujímavé tam odznelo?

Na úvod privítal účastníkov šéf vývoja B. Čonto. Téma archivácie bola zrejme pre našich partnerov a zákazníkov zaujímavá, keďže tento workshop mal vysokú účasť - kapacity našej veľkej zasadačky boli naplnené.

Po pár úvodných slovách o archíve a archivácii sme prešli základnú funkcionalitu archívu - s akými typmi hodnôt pracuje a čo vlastne archivuje. Nasledovala sekcia o podporovaných typoch SQL databáz - podľa spätnej väzby pre viacerých zaujímavá (možno aj v dôsledku prebiehajúcich upgradov u zákazníkov a kvôli potrebe prechodu medzi databázovými platformami).

Obr: D2000 Archív ako jeden z procesov aplikačného servera D2000

V ďalšej časti sme si prešli typy archívnych objektov, ktoré v systéme D2000 existujú. O tých základných (primárne a štatistické archívy) sme si povedali nejaké zaujímavosti (napr. že dáta pre štatistické archívy môžu byť z iného časového intervalu ako je perióda archivácie) a dostali sme sa k vypočítaným a skriptom plneným archívom. Aj tu odzneli informácie, ktoré boli pre viacerých účastníkov novinkou. Napríklad že pre vypočítané archívy existujú funkcie ako %Arc_GetValue alebo konštanta @EvalTime udávajúca čas, pre ktorý sa výpočet koná. A že výpočet môže skončiť funkciou %Arc_NoWrite, ktorá spôsobí, že vypočítaná hodnota sa do archívu nezapíše .. prípadne %Arc_UnWrite, ktorá dokonca vymaže hodnotu v čase výpočtu, pokiaľ už v archívnej databáze existovala!

Od typov archívov sme sa dostali k tomu, že môžu existovať celé archívne "stromy" navzájom závisiacich archívnych objektov. A plynule sme prešli ku konzistencii archívov a k podmienke výpočtu. Vedeli ste, že napríklad príchod starých hodnôt z komunikácie môže spôsobiť (v závislosti od konfigurácie podmienky výpočtu) automatický prepočet všetkých závislých vypočítaných a štatistických archívov, takže hodnoty v archíve sú konzistentné?

Po prestávke sme sa dostali k existencii štruktúrovaných archívov, ktoré zjednodušujú, zrýchľujú a sprehľadňujú konfiguráciu veľkých aplikácií s opakujúcimi sa technológiami. Ak máme napríklad 50 takých istých výrobných strojov, po organizácii do štruktúrovaných premenných ich vieme vizualizovať jedinou inštančnou schémou a pomocou štruktúrovaných archívov zase efektívne archivovať.

Ďalšou oblasťou bolo trezorovanie - dlhodobá archivácia dát. Vysvetlili sme základné princípy ako aj spôsoby implementácie trezorov na platformách Sybase, Oracle a PostgreSQL.

Ako je na tom D2000 Archív a redundancia, bolo témou ďalšej časti. Rozprávali sme o redundantných archívoch (štandardne sa používajú dve inštancie, prípadne v HADR systémoch až tri) a popísali optimálny spôsob konfigurácie, pokiaľ je zredundantnený aj aplikačný server.

Keď už máme dva alebo viac archívov, je potrebné riešiť ich synchronizáciu a patchovanie dier v nich - na to slúži utilita arcsynchro, ktorej jednotlivé módy fungovania (automatický a manuálny) sme popísali.

O výkonnostných vylepšeniach archívov sa mohli záujemci dozvedieť v ďalšej kapitole. Vlastnosti ako load-balancing viacerých D2000 Archívov, paralelizácia pomocou multiwrite a multiread archívov, časové rezy, archívna cache a optimalizácia prepočtu intervalov umožňujú efektívne využitie RAM a CPU výkonu dostupných v dnešných serveroch s cieľom archivovať a poskytovať dáta čo najrýchlejšie. Spomenuté boli aj výkonnostné optimalizácie pre platformu PostgreSQL.

Sekcia "Ladenie a diagnostika" predstavila prehľad možností, ktoré D2000 Archív ponúka pri rôznych výkonnostných analýzach, diagnostických zásahoch a pri zbere štatistických dát o najviac zaťažujúcich archívnych objektoch.

Bonusom bola časť o historickom režime schém - vedeli ste, že ľubovolná SCADA schéma sa dá veľmi jednoducho prepnúť do historického režimu pomocou tlačidla s funkciou %History a následne je možné prechádzať (po jednotlivých zmenách alebo špecifikovaními časových krokov) hodnoty, ktoré schéma zobrazovala v tom-ktorom čase v minulosti? Pochopiteľne, hodnoty objektov v schéme musia byť archivované, aby mal proces HI zdroj historických dát.

V časti Otázky a odpovede sme okrem otázok na archív "navnadili" účastníkov aj na niektoré z vlastností pripravovanej D2000 verzie 12. A spomenuli sme aj plán najbližších školení D2000:

  • High performance archivation - 10.-11.7.2018
  • Event script language - 22.-23.8.2018
  • Java Application Interface (JAPI) - 26.-27.9.2018

Verím, že všetci účastníci workshopu si z neho odniesli nové informácie o archivácii a odchádzali s presvedčením, že možnosti D2000 Archívu pokrývajú všetky ich súčasné a budúce potreby - čo sa týka rozsahu aj výkonu.

2.7.2018, Ing. Peter Humaj, www.ipesoft.com

Dodatok: na základe požiadaviek účastníkov workshopu bol v priebehu následných dní v online dokumentácii zverejnený návod o migrácii trezorov na platformu PostgreSQL, dokument o nastaveniach PostgreSQL pre optimálny výkon archívu a v dokumente o konfigurácii trezorovania doplnený príklad skriptu, ktorý slúži na upratanie a export trezorov po ich uzavretí. Nech Vám slúžia!

Iné blogy