V predchádzajúcom pododdiele sa poznamenalo, že na primerané zastúpenie predmetnej oblasti, jednoduchosť vývoja a údržby databázy by sa mal vzťahovať na tretiu normálnu formu (existujú forma normalizácie a vyššie objednávky, ale V praxi sú veľmi zriedka používané), to znamená, že je silná normalizovaná. Zároveň majú slabo normalizované vzťahy aj svoje výhody, ktorých hlavným spôsobom je, že v prípade, že databáza sa vzťahuje najmä len s požiadavkami a úpravami a pridá údaje na vykonávanie veľmi zriedkavo, potom ich vzorka je oveľa rýchlejšia. To je vysvetlené skutočnosťou, že v slabo normalizovanom vzťahu existuje už kombinácia ich kombinácie a toto nie je vynaložené čas procesora. Rozlišujú sa dve triedy systémov, pre ktoré sú normalizované vzťahy dostatočne a slabo.

Silne normalizované dátové modely sú vhodné pre aplikácie OLTP - On-line spracovanie transakcií (OLTP) - Prevádzkové aplikácie aplikácií. Typické príklady aplikácií OLTP sú skladové účtovné systémy, operačné bankové systémy a ďalšie. Hlavnou funkciou takýchto systémov je vykonávať veľký počet krátkych transakcií. Samotné transakcie sú celkom jednoduché, ale problémy sú to, že existuje mnoho takýchto transakcií, vykonávajú sa súčasne a keď sa transakcia vyskytne, transakcia sa musí vrátiť späť a vrátiť systém do stavu, v ktorom bol pred transakciou. Takmer všetky požiadavky databázy v aplikáciách OLTP pozostávajú z vloženia, aktualizácie a vymazania príkazov. Požiadavky na odber vzoriek sú určené najmä na poskytovanie užívateľských odberu vzoriek z rôznych druhov referenčných kníh. ᴀᴋᴎᴍᴀᴋᴎᴍ ᴏϭᴩᴀᴈᴏᴍ, väčšina požiadaviek je vopred známa v dizajne systému. Kritické pre aplikácie OLTP je rýchlosť a spoľahlivosť implementácie krátkych operácií aktualizácie dát. Čím vyššia je úroveň normalizácie údajov v aplikáciách OLTP, tým rýchlejšie a spoľahlivejšie. Ustúpy z tohto pravidla sa môžu vyskytnúť, keď existujú niektoré často vznikajúce žiadosti, ktoré si vyžadujú kombináciu vzťahov a fungovanie žiadostí o vývoji tohto pravidla.

Ďalším typom aplikácií sú aplikácie OLAP - On-line analitické spracovanie (OLAP) - Uplatňovanie prevádzkových analytických spracovaní údajov. Ide o generalizovaný termín charakterizujúcimi zásady pre systémy podpory na podporu rozhodovania - systém podpory rozhodovania (DSS), dátové sklady - dátový sklad, dátové inteligentné systémy - ťažba dát. Takéto systémy sú navrhnuté tak, aby našli závislosti medzi údajmi, pre dynamickú analýzu na princípe "čo ak ..." a pravdepodobnosti. Aplikácie OLAP pôsobia s veľkými dátovými poliami nahromadené na podnik alebo prevzaté z iných zdrojov. Takéto systémy sú charakterizované nasledujúcimi vlastnosťami:

Pridanie do systému nových údajov sa vyskytuje relatívne zriedkavé veľké bloky, napríklad raz mesačne alebo štvrtinu;

Údaje pridané do systému sa zvyčajne nikdy neodstránia;

pred stiahnutím sa údaje podrobia rôznym prípravným postupom spojeným s ich prinášaním do definovaných formátov;

Systémové požiadavky sú nevolené a pomerne zložité;

rýchlosť dotazov je dôležitá, ale nie je kritická.

Databázy Aplikácie OLAP sú zvyčajne reprezentované ako jeden alebo viac hypercubres, ktorých merania sú referenčné údaje a hodnoty týchto údajov sú uložené v bunkách samotného Hypercube. Fyzicky, Hypercube môže byť postavený na základe špeciálneho multidimenzionálneho dátového modelu - Multidimenzionálne OLAP. (MolaP) alebo je reprezentovaný pomocou modelu relačného dát - Relačný OLAP (Rolap).

V systéme OLAP pomocou modelu relačného dát sú údaje určené na uloženie ako zle normalizované vzťahy obsahujúce vopred vypočítané hlavné konečné údaje. Redundancia údajov a problémy spojené s ním nie sú hrozné, pretože ich aktualizácia je zriedkavo zriedkavá a výsledky sa prepočítajú spolu s aktualizáciou údajov.

- spôsoby zabezpečenia spoľahlivosti systému zásobovania vodou

Zabezpečenie spoľahlivosti systému zásobovania vodou, ako aj iných systémov údržby hmotnosti, je jednou z hlavných úloh, keď sú dizajn. Systém musí byť navrhnutý a vybudovaný tak, aby v procese prevádzky vykonával svoje funkcie zo zadanej ... [Čítajte viac]

- I. Koncepcia zabezpečenia systému ochrany

Koncepcia bezpečnosti systému, ktorý sa vyvíja, je "tento súbor zákonov, pravidiel a noriem správania, ktorý definuje, ako organizačné procesy chráni a distribuuje informácie. Najmä pravidlá určujú, v ktorých prípadoch má užívateľ právo pracovať s ... [Čítajte viac]

- po vykonaní hlavných rozhodnutí o konštrukcii vykurovacieho systému

Projektovanie systému na vykurovanie vody. Inštrukcia schémy tepelného uzla pri pripájaní vykurovacieho systému otvorenými a uzavretými okruhmi. Otázky na seba-test s dodávkou tepla niekoľkých budov. Čerpadlá a iné zariadenia sú nainštalované ... [Čítajte viac]

- Požiadavky na požiarnu bezpečnosť systému požiarnej ochrany.

Základy na zabezpečenie požiarnej bezpečnosti technologických procesov. Otázka 2. Zahraničná prevencia predmetu (25min.) Požiarna prevencia zahŕňa komplex organizačných a technických opatrení zameraných na zabezpečenie bezpečnosti ľudí ... [Čítajte viac]

- tkaniny a orgány živočíšnych orgánov

Živočíšne tkaniny. Zvieratá tiež rozlišujú niekoľko typov tkanív. Najdôležitejšie z nich sú nasledovné. Epitelové naturety sú hraničné tkaniny, ktoré pokrývajú telo vonku, obloženie vnútorných dutín a orgánov, ktoré sú súčasťou pečene, pľúc, žliaz .... [Čítajte viac]

V genómach vyšších eukaryotov existujú početné repetitívne DNA sekvencie. U ľudí, napríklad takéto opakovanie zaberajú viac ako 40% celkového genómu. A to znamená, že pri vytváraní DSBS, pravdepodobnosť simultánneho vzdelávania niekoľkých medzier ... [Čítajte viac]

- Definícia krvných skupín systému AVO Zollononi Anti-A, Anti-V a Anti-AV

Definícia krvných skupín Podľa tohto pravidla môžu byť všetci pacienti pretekali krv o (1) skupiny, pretože neobsahuje agglutinogén, a skupiny iných skupín môžu byť preplnené pásmami iných skupín, pretože neobsahuje aglutininogén. Preto sú koncepty zavedené ...

Preskúmanie určené na prevádzkové a analytické spracovanie údajov

Úspešne preskúmať materiál, budete vedieť:

koncept a hlavný účel OLTP systémov;

koncepcia a hlavný účel OLAP systémov;

triedy OLAP systémy;

Úlohy vyriešené systémami OLTP- a OLAP.

Po štúdiu tejto témy budete môcť:

rozlišovať úlohy riešené systémami OLTP a OLAP;

zamerajte sa do systémov triedy OLAP.

Po štúdiu materiálu bude mať zručnosti Použite systémy OLTP a OLAP v práci manažéra.

Základné koncepty na tému 7

technológie zamerané na operačné (transakčné) spracovanie údajov. Tieto technológie sú základom KISU určené na prevádzkové spracovanie údajov. Nazvané podobné systémy - systém OLTP (online spracovanie transakcií);

technológie a rozhodovanie o analýze údajov. Tieto technológie sú založené na KISU určenom na analýzu akumulovaných údajov. Existujú podobné systémy - systém OLAP (online analytický proces spracovania).

OLAP systémy

Hlavným účelom OLAP systémov: dynamická multi-dimenzionálna analýza historických a aktuálnych údajov stabilných v čase; Analýza trendov; Modelovanie a prognózovanie budúcnosti. Takéto systémy sa zvyčajne zameriavajú na spracovanie ľubovoľných, predregulovaných žiadostí. Ako základné charakteristiky Tieto systémy možno poznamenať nasledovné:

podpora multidimenzionálneho reprezentácie údajov, rovnosť všetkých meraní, nezávislosť produktivity na počtu meraní;

transparentnosť pre metódy ukladania, skladovania a spracovania;

automatické zobrazenie logickej dátovej štruktúry do externých systémov;

dynamické spracovanie vypúšťaných matríc účinným spôsobom.

Termín OLAP sa často identifikuje s systémami podpory podpory DSS (systémy podpory rozhodovania). A ako synonym pre termín "riešenia" Dátové skladovanie - "Skladovanie (sklady) údajov". To znamená súbor organizačných riešení, softvéru a hardvéru na zabezpečenie analytikov s informáciami založenými na údajoch zo spracovateľských systémov transakcií nižších úrovní a iných zdrojov.

"Dátové sklady" umožňujú spracovanie údajov nahromadené počas dlhých časových období. Tieto údaje sú heterogénne (a nie nevyhnutne štruktúrované). Pre "dátové sklady" spojené s multidimenzionálnou povahou žiadostí. Obrovské množstvá dát, zložitosť štruktúry ako údajov a dotazov - to všetko vyžaduje použitie špeciálnych metód prístupu na informácie.

V iných zdrojoch sa koncepcia systému rozhodovania (SPRR) považuje za širší. Dátové sklady a prevádzkové analytické spracovateľské nástroje môžu slúžiť ako jedna zo zložiek Architektúry SPRD.

OLAP vždy zahŕňa interaktívne spracovanie požiadaviek a následnú viacbodeninu analýzu informácií, ktoré vám umožní identifikovať rôzne, nie vždy zjavné trendy pozorované v oblasti predmetu.

Niekedy sa OLAP rozlišuje v úzkom zmysle - ako systémy, ktoré poskytujú iba vzorku údajov v rôznych rezoch a OLAP v širšom zmysle, alebo jednoducho OLAP, vrátane:

podpora pre viacerých užívateľov editáciu databáz.

modelovacie funkcie, vrátane výpočtových mechanizmov na získanie výsledkov derivátov, ako aj agregáciu a kombináciu údajov;

prognóza, identifikácia trendov a štatistickej analýzy.

Každý z týchto typov systémov vyžaduje osobitnú organizáciu údajov, ako aj špeciálne softvérové \u200b\u200bnástroje, ktoré zabezpečujú účinnú výkonnosť stálych úloh.

OLAP znamená poskytovať analýzu obchodných informácií o rôznych parametroch, ako je typ výrobku, geografická poloha kupujúceho, času transakcie a predávajúceho, z ktorých každý umožňuje vytvorenie hierarchie reprezentácie. Takže, na čase môžete použiť ročné, štvrťročné, mesačné a dokonca týždenné a denné intervaly; Geografický oddiel môže vykonávať mestá, štáty, regióny, krajiny, alebo v prípade potreby pre celé hemisféry.

Systémy OLAP môžu byť rozdelené do troch tried.

1 trieda. Najkomplexnejšie a nákladné z nich sú založené na technológiách v oblasti vlastníctva. servery Multidimenzionálna databáza. Tieto systémy poskytujú úplný cyklus spracovania OLAP a buď zahŕňajú okrem komponentu servera, vlastné integrované klientske rozhranie alebo použitie pre analýzu údajov, externé pracovné programy s tabuľkami. Výrobky tejto triedy sú najviac v súlade s podmienkami aplikácie vo veľkých informačných zásobách. Pre ich služby sa vyžaduje celý personál personálu zaoberajúcich sa inštaláciou aj údržbou systému a tvorba názorov pre koncových používateľov. Zvyčajne sú podobné balíky dosť drahé. Ako príklady tejto triedy, systém Essbase Software Arbor, Express Express Company (prichádzajúce teraz v Oracle), Lightship vyrobené pilotným softvérom a ďalšími.

2 triedy OLAP systémy - relačné systémy OLAP (Rolap). Tu sa staré relačné DBMS používajú na ukladanie údajov a medzi databázou a klientskym rozhraním, metadáta vrstva organizuje správca. Prostredníctvom tejto medzivrstvy môže klientsky komponent komunikovať s relačnou databázou ako multidimenzionálne. Rovnako ako prvé nástroje triedy, systém Rolap je dobre prispôsobený na prácu s veľkými zariadeniami na ukladanie informácií, vyžadujú značné náklady na servis informačných divízií podľa špecialistov a zabezpečiť prácu v režime Multiplayer. Medzi produkty tohto typu sú softvér IQ / Vision IQ, DSS / Server a DSS / Agent, Microstrategy a Rozhodujúca výhoda.

Nástroje Rolap implementujú funkcie podpory rozhodovania v nadstavbe nad vzťahom databázy.

Takéto softvérové \u200b\u200bprodukty musia reagovať na niekoľko požiadaviek, najmä: \\ t

majte silný SQL Expresívny generátor optimalizovaný pre OLAP, ktorý vám umožní použiť vybrané operátory SQL a / alebo korelované podkoky;

majú dostatočne vyvinuté prostriedky na spracovanie non-triviálneho spracovania, ktoré poskytujú poradie, porovnávaciu analýzu a výpočet úrokových pomerov v triede;

generovať výrazy SQL optimalizované pre cieľové relačné DBMS vrátane podpory pre rozšírenie tohto jazyka, ktorý je v ňom k dispozícii;

poskytnite mechanizmy na opis modelu dát pomocou metaúdajov a umožňujú použitie týchto metaúdajov na vybudovanie dotazov v reálnom čase;

zahrnúť mechanizmus, ktorý umožňuje posúdiť kvalitu stavebných konsolidovaných tabuliek z hľadiska miery výpočtu, je žiaduce s akumuláciou štatistík o ich používaní.

Stupeň 3 OLAP systémy - nástroje na výrobu požiadaviek a správ pre stolové počítačeDoplnené funkciami OLAP alebo integrované s externými prostriedkami, ktoré vykonávajú funkcie. Tieto vysoko vyvinuté systémy vykonávajú odber vzoriek údajov zo zdrojov zdrojov, transformujú a umiestnia sa do dynamickej multidimenzionálnej databázy, ktorá pracuje na PC koncového používateľa. Tento prístup, ktorý umožňuje robiť s tak drahým multidimenzionálnym databázovým serverom a bez komplexnej medziproduktovej metadátovej vrstvy potrebnej pre fondy Rolap, súčasne poskytuje dostatočnú analýzu. Tieto tabuľky pre stolný počítač sú najvhodnejší pre prácu s malými, jednoducho organizovanými databázami. Potreba kvalifikovanej údržby je nižšia ako pre iné systémy OLAP, a približne zodpovedá úrovni konvenčných prostredí spracovania dotazov. Medzi hlavnými účastníkmi tohto trhu je technológia Brio s jej firmou Brio Dowery Enterprise, Obchodné objekty a Cognos a Cognos s elektrickým prúdom.

OLTP Systems

OLTP Systems, Byť vysoko účinným prostriedkom na realizáciu operačného spracovania, ukázalo sa, že je dostupné pre analytické spracovanie úloh. Je to spôsobené nasledovným.

Prostriedky tradičných systémov OLTP možno vybudovať analytickú správu a dokonca aj prognózu akejkoľvek zložitosti, ale vopred regulované. Akýkoľvek krok k boku, akákoľvek nepalená požiadavka koncového používateľa, spravidla vyžaduje znalosť dátovej štruktúry a dostatočne vysokú kvalifikáciu programátora;

Mnohé funkčné schopnosti potrebné pre operačné systémy sú nadbytočné pre analytické úlohy a zároveň nemusí odrážať oblasť predmetu. Na vyriešenie väčšiny analytických úloh sa vyžaduje použitie externých špecializovaných nástrojov na analýzu, predikciu a modelovanie. Tvrdá štruktúra základne neumožňuje dosiahnuť prijateľný výkon v prípade komplexných vzoriek a triedenie, a preto si vyžaduje vysoké časové náklady na organizovanie brán.

Na rozdiel od transakčných, analytické systémy sa nevyžadujú, a preto nie sú poskytnuté vyvinuté prostriedky na zabezpečenie integrity údajov, ich rezervácie a zhodnocovania. To umožňuje nielen zjednodušiť prostriedky na implementáciu, ale tiež znížiť vnútornú režijnú úroveň, a preto zvýšiť produktivitu pri výbere údajov.

Úlohy vyriešené systémami OLTP a OLAP

Úlohy efektívne riešené každým systémom, definujeme na základe porovnávacích charakteristík OLTP a OLAP systémov (tabuľka 7.1, 7.2).

Tabuľka 7.1.
Úlohy vyriešené systémami OLTP a OLAP

Charakteristický
Frekvencia aktualizácie dát	Vysoká frekvencia, malé "porcie"	Malé frekvencie, veľké "porcie"
Zdroje dát	Väčšinou interné	Vo vzťahu k analytickému systému, väčšinou externé
Vek údajov	Prúd (niekoľko mesiacov)	Historicky (v priebehu rokov) a predpokladané
Úroveň agregácie údajov	Podrobné údaje	V podstate agregované údaje
Príležitosti pre analytické operácie	Regulované správy	Sekvencia interaktívnych správ, dynamická zmena úrovne agregácií a údajov
Účel systému	Fixácia, prevádzkové vyhľadávanie a spracovanie dát, regulované analytické spracovanie	Práca s historickými údajmi, analytickým spracovaním, predikciou, modelovaním

Tabuľka 7.2.
PorovnanieOLTP I. OLAP.

Charakteristický
Prevládajúce operácie	Zadanie údajov, vyhľadávanie	Analýza dát
Popis žiadostí	Mnoho jednoduchých transakcií	Komplexné transakcie
Uložené údaje	Prevádzkové, podrobné	pokrytie dlhého času, agregované
Druh činnosti	Prevádzkové, taktické	Analytické, strategické
Dátový typ	Štruktúrovaný	Viacsmerný

Hlavné závery

V oblasti IT riadenia existujú dve vzájomne doplnkové destinácie:

• operačné (transakčné) technológie spracovania údajov - systém OLTP (online spracovanie transakcií);

  technológie analýzy dát a rozhodovanie - systém OLAP (online analytický spracovanie).

Hlavným účelom OLAP systémov je dynamická multiserosimerová analýza historických a súčasných údajov stabilných v čase, analýze tendencie, modelovanie a prognózovanie budúcnosti.

Systémy OLAP môžu byť rozdelené do troch tried.

1 trieda. Servery Multidimenzionálna databáza. Tieto systémy poskytujú úplný cyklus spracovania OLAP a buď zahŕňajú okrem komponentu servera, vlastné integrované klientske rozhranie alebo použitie pre analýzu údajov, externé pracovné programy s tabuľkami.

Stupeň 2. Relačné systémy OLAP (ROLAP). Tu sa staré relačné DBMS používajú na ukladanie údajov a medzi databázou a klientskym rozhraním, metadáta vrstva organizuje správca. Prostredníctvom tejto medzivrstvy môže klientsky komponent komunikovať s relačnou databázou ako multidimenzionálne.

Stupeň 3. Nástroje na výrobu požiadaviek a správ pre stolné počítače, doplnené Funkcia OLAP alebo integrované s externými prostriedkami, ktoré vykonávajú funkcie. Tieto systémy vyberú údaje zo zdrojov zdrojov, previesť ich a umiestniť do dynamickej multidimenzionálnej databázy fungujúce na počítači koncového používateľa.

Systém OLTP, ktorý je vysoko účinným prostriedkom vykonávania operačného spracovania, sa ukázalo byť nevhodné na analytické spracovanie úloh.

Dátové skladovanie - "Skladovanie (sklady) údajov". To znamená súbor organizačných riešení, softvéru a hardvéru na zabezpečenie analytikov s informáciami založenými na údajoch zo spracovateľských systémov transakcií nižších úrovní a iných zdrojov.

Kontrolné otázky

Aké dve smery sa vzájomne dopĺňajú v oblasti riadenia IT?

Slovo hlavným účelom OLAP systémov

Formulovať hlavný účel OL T P-Systems

Čo sa chápe pod termín dátový sklad?

Úlohy pre nezávislú prácu

dátový sklad na základe pevných období okamžitého času databáz prevádzkových údajov informačný systém A možno aj rôzne externé zdroje. V dátových skladoch, databázová technológia, OLAP, hĺbková analýza, vizualizácia dát.

Hlavné charakteristiky dátových skladov.

• obsahuje historické údaje;
• ukladá podrobnosti, ako aj čiastočne a úplne zovšeobecnené údaje;
• Údaje sú prevažne statické;
• non-insamettovaný, neštruktúrovaný a heuristický spôsob spracovania údajov;
• stredná a nízka intenzita spracovania transakcií;
• nepredvídateľná metóda používania údajov;
• určené na analýzu;
• zameraný na oblasti predmetu;
• podpora strategických rozhodnutí;
• slúži relatívne malý počet starších pracovníkov.

OLAP Termín (on-line analytické spracovanie) sa používa na opis modelu reprezentácie údajov a podľa ich spracovateľskej technológie v dátových skladoch. OLAP používa multidimenzionálny pohľad na agregované údaje, aby sa zabezpečil rýchly prístup k strategicky dôležitým informáciám pre hĺbkovú analýzu. Aplikácie OLAP musia mať tieto základné vlastnosti:

• multidimenzionálny prezentácia údajov;
• Podpora komplexných výpočtov;
• správne účtovanie časového faktora.

Výhody OLAP:

• zdvíhanie výkon Výrobný personál, vývojári aplikovaný softvér. Včasný prístup k strategickým informáciám.
• poskytovanie užívateľom s dostatočnými príležitosťami na vytvorenie vlastných zmien v systéme.
• aplikácie OLAP sú založené na dátový sklad a OLTP systém, prijímajúci skutočné údaje z nich, ktoré dáva zachovanie kontrola integrity firemné údaje.
• znížené zaťaženie systému OLTP a dátový sklad.

OLAP a OLTP. Charakteristiky a hlavné rozdiely

OLAP.	OLTP.
Uloženie údajov Mal by zahŕňať interné firemné údaje a externé údaje.	hlavným zdrojom informácií prichádzajúcich do operačnej databázy je činnosť spoločnosti a pre analýzu údajov si vyžaduje príťažlivosť externých zdrojov informácií (napríklad štatistické správy)
Objem analytickej databázy je aspoň rádovo viac ako funkčný. Pre spoľahlivú analýzu a prognózovanie uloženie údajov Je potrebné mať informácie o činnostiach korporácie a stavu trhu už niekoľko rokov	Pre operačné spracovanie vyžaduje údaje v posledných mesiacoch
Uloženie údajov Mal by obsahovať jednotne prezentované a konzistentné informácie, najvhodnejší obsah prevádzkových databáz. Komponent je potrebný na extrakciu a "čistenie" informácií z rôznych zdrojov. V mnohých hlavných spoločnostiach existuje niekoľko operačných IP s vlastnými databázami (z historických dôvodov).	Operačné databázy môžu obsahovať sémanticky ekvivalentné informácie prezentované v rôznych formátoch, s rôznymi údajmi o jej prijatí, niekedy dokonca protichodné
Súbor žiadostí o analytickú databázu nie je možné predvídať. dátový sklad Existujú s cieľom reagovať na žiadosti nevolených analytikov. Môžete sa spoľahnúť len na skutočnosť, že požiadavky nebudú plynúť príliš často a neovplyvňujú veľké množstvo informácií. Rozmery analytickej databázy stimulujú používanie požiadaviek s agregátmi (množstvo, minimálne, maximálne, \\ t znamenať atď.)	Systémy na spracovanie údajov sú vytvorené na základe riešenia špecifických úloh. Informácie z databázy sú vybraté často a v malých častiach. Zvyčajne sa pri navrhovaní známy súbor požiadaviek na operačnú databázu
S nízkou variabilitou analytických databáz (len keď sa dáta zaťaženia), existujú rozumné polia, rýchlejšie metódy indexovania pre hmotnostnú vzorku, skladovanie predbežných údajov	Systémy na spracovanie dát sú veľmi variabilné, ktoré sa berú do úvahy v použitej DBMS (normalizovaná štruktúra databázy, struny sú uložené neusporiadané, b- stromy pre indexovanie, transakcionalita)
Informácie o analytickej databáze sú pre korporáciu tak kritické, že sa vyžaduje veľká granulácia ochrany (individuálne prístupové práva na určité riadky a / alebo stĺpce tabuľky)	Pre systémy na spracovanie údajov, zvyčajne chytí ochrana informácií Na úrovni tabuľky

Kódový kód pre systémy OLAP

V roku 1993 kód uverejnil prácu s názvom "OLAP pre užívateľov analytik: Čo by to malo byť." Načrtnila základné pojmy operačného analytického spracovania a identifikovali 12 pravidiel, ktoré majú byť splnené s výrobkami, ktoré poskytujú schopnosť vykonávať prevádzkové analytické spracovanie.

1. Koncepčné multidimenzionálne zastúpenie. Model OLAP by mal byť multidimenzionálny na jeho základni. Multidimenzionálny koncepčný systém alebo vlastné zastúpenie uľahčuje modelovanie a analýzu, ale ako výpočet.
2. Transparentnosť. Užívateľ je schopný získať všetky potrebné údaje z OLAP-MASHINA, bez toho, aby podozrenie, odkiaľ pochádzajú. Bez ohľadu na to, či je produkt OLAP súčasťou nástrojov používateľa alebo nie, táto skutočnosť musí byť pre používateľa neviditeľná. Ak OLAP je zabezpečený zákazníkom zákazníka, potom táto skutočnosť tiež, ak je to možné, by malo byť pre používateľa neviditeľný. OLAP by mala byť poskytnutá v kontexte skutočne otvorenej architektúry, čo umožňuje užívateľovi všade, kde je to, komunikovať s pomocou analytického nástroja so serverom. Okrem toho by sa mala dosiahnuť transparentnosť a pri interakcii analytického nástroja s homogénnymi a heterogénnymi databázami prostrediami.
3. Dostupnosť. OLAP musí poskytnúť svoje vlastné logická schéma Pre prístup v heterogénnom databázovom prostredí a vykonajte vhodné konverzie na poskytovanie údajov užívateľovi. Okrem toho je potrebné, aby sa vopred starať o tom, kde a ako, a aké typy fyzikálnej organizácie sa použijú. OLAP-systémy majú prístup k skutočne požadovaným údajom a neplatia všeobecnú zásadu "lievika kuchyne", čo znamená zbytočné vstupy.
4. Konštantný výkon Pri vývoji správ. Výkon Hlásenie nemusí významne klesať s nárastom počtu meraní a veľkostí databáz.
5. Architektúra zákazníkom. Vyžaduje sa, že výrobok nie je len servery, ale tiež, že serverový komponent je dostatočne inteligentný pre rôznych klientov, aby sa pripojili s minimálnym úsilím a programovaním.
6. Všeobecná multidimenzionilnosť. Všetky merania musia byť ekvivalentné, každé meranie musí byť ekvivalentné ako v štruktúre av prevádzkových schopnostiach. TRUE, dodatočné prevádzkové možnosti sú povolené pre individuálne merania (zrejme, čas je implicitný), ale takéto dodatočné funkcie by mali byť poskytnuté akéhokoľvek merania. By nemali byť tak, že základné dátové štruktúryVýpočtové alebo reportovacie formáty boli charakteristické pre niektoré z jedného rozmeru.
7. Dynamické riadenie robrble Matrices. Systémy OLAP musia automaticky prispôsobiť svoj vzorec fyzického obvodu v závislosti od typu modelu, objemu údajov a klírens databázy.
8. Podpora multiplayerov. OLAP nástroj musí poskytnúť príležitosti prístupový prístup (Žiadosť a doplnky), integrity a bezpečnosť.
9. Neobmedzené krížové operácie. Všetky druhy operácií musia byť povolené pre všetky merania.
10. Intuitívna manipulácia s údajmi. Manipulácia s dátou bola vykonaná prostredníctvom priamych akcií na bunkách v režime prezerania bez použitia ponuky a viacerých operácií.
11. Flexibilné možnosti príjmu. Merania musia byť zverejnené v správe, ako je to potrebné pre používateľa.
12. Neobmedzený

Všetko to začalo s jedným príbehom, ktorý pred tromi rokmi sa stalo v mojej profesionálnej kariére, keď som pracoval v Kirgizsku, v spoločnosti, ktorá bola sieť maloobchodných predajní. Potom som mal konverzáciu s mojím riaditeľom, ktorý povedal: "Denis, máme jednu z dôležitých, kritických operácií je vykonať dokument" Kontrola "na pokladni. Ako môžeme tento proces urýchliť čo najviac, paralery, zatiaľ čo získavajú prevádzkové zvyšky? "

Ihneď poviem, že v tom čase sme použili platformu 8.1 a automatické zámky. A potom som mu odpovedal, že áno, môžeme prepínať na riadené zámky a tento proces porovnávame na úrovni nomenklatúry. Na ktorú sa ma spýtal prirodzenú otázku: "Čo sa stane, ak máme jednu a tú istú nomenklatúru súčasne?" Potom som nemohol dať nejakú zrozumiteľnú odpoveď na túto otázku, ale dúfam, že teraz to bude fungovať.

Trendy na vývoj hardvéru

Ak sa pozrieme vývoj priemysluZa posledných niekoľko rokovUvidíme určité trendy v hardvéri:

• Prvý trend sa týka pamäte. Nikto nie je správa, že pamäť je časom lacnejšia a momentálne sme už môžeme získať pomerne veľké množstvo pamäte pre relatívne málo peňazí..
• Druhý trend - podľa procesorov. Každý pozná zhodu rast produktivity, spotrebovanej energie a teploty procesorovej teploty podľa zákona o Moore. V určitom bode, táto korešpondencia na úrovni jedného jadra je u konca (teraz máme jedno jadro na dlhú dobu, nemôže splniť jednu jednoduchú prevádzku rýchlejšie ako predtým), ale pokračovala v mnohých jadrách (viacjadrových procesoroch). Preto všetky naše nádeje a myšlienky idú do oblasti paralelného výpočtu a myAko vývojári a architekti DBMS, na zlepšenie výkonnosti našich aplikácií musí byť v nich plánovaná.

Trendy vývoja podnikov

A čo sa deje v tomto čase na obchodnej úrovni? Dodržiavame: viac ako viac používateľovktoré používajú viac a viac zariadeniana ktorom sa vykonáva rastúce množstvo programA to všetko na druhej strane generuje rastúce množstvo dáta.

Kde väčšina z týchto procesov je podporovaná oblakami..

Okrem oblakov, stále existuje takáto entita ako mobilita, ktorá je kombináciou všetkých mobilných zariadení, ako aj programov a údajov, ktoré vytvorili.

Mraky a mobilita boli vždy prepojené, a to je z interakcie týchto dvoch subjektov v budúcnosti môžeme dostať nejaké prielomy. Takáto interakcia viedla k vzniku stratégie známej na Západe: Mobile-First - Cloud-First (pôvodne mobilný a pôvodne zakalený).

IT priemysel sa vždy zmenil a teraz sa zmení, testy transformácie. A v tomto svete, spočiatku mobilný a spočiatku oblak, neustále zvyšuje tempo formácie Títo a rast tohto - exponenciál. Na základe tohto existuje problém uchovávania, akumulácie a aktualizácie informácií.ktoré s stále rastúcou rýchlosťou spadá do našich systémov.

Respektíve, Existuje potreba špeciálnych technológií. A ak sa závereš špecificky na pamäti OLTP, potom je to len jedna z mnohých technológií navrhnutých v súčasnosti na zabezpečenie ďalšieho rozvoja IT priemyslu.

Technológia OLTP na pamäti

Prečo sa objavila technológia OLTP v pamäti? A prečo je to dôležité?

• Faktom je, že obchodné miesta umiestni všetky veľké požiadavky:
  • na viacnásobnú šírku pásma:
  • k očakávanému procesu OLTP s plánovanými rýchlosťami a minimálnymi oneskoreniami a malými peniazmi.
• Na druhej strane, hardvér požiadavky na relačné databázy, takže dodržiavajú najnovšie zmeny v hardvérovej architektúre.

Respektíve, In-pamäť.OLTP. - toto je: vysokovýkonný mechanizmus, ktorý spĺňa moderný hardvér amaximálny optimalizované pre prácu s pamäťou.

A čo je najdôležitejšie, v pamäti OLTP nie je nejakým druhom samostatného výrobku (nie je samostatná licencia, pre ktorú potrebujete zaplatiť). ZačiatokSqlServer 2014.OLTP na pamäti - toto je súčasť jadratohto produktu ktorý je k dispozícii ako súčasť redakčnej kanceláriePodnik.

Tu vidíte tri hlavné komponenty, ktoré sú technológieIn-pamäť.OLTP.. Dovoľujú jej vykonať takýto prelomový efekt:

• Prvá je jasná inštalácia o tom, že všetky údaje sú v pamäti.
• Druhá, ktorá je dôležitá: tieto Údaje sa nachádzajú všpeciálne navrhnuté bez blokovania dátových štruktúr.
• A tretia je rodná, natívna kompilácia. To reprezentuje uložené procedúry obsahujúce obchodnú logiku, ktoré sú zostavené do počítača v pamätiSQL Server.

Porovnanie interakčnej infraštruktúry (tradičná schéma a OLTP pamäte)

Keby sme pozrime sa na systém interakcie tradičného klienta a DBMS, potom je všetko zrejmé:

• Máme klient s jeho výzvami klienta,
• existuje server 1c: Podnik, ktorý ubytuje všetky obchodné logiky.
• A je dBMS Server. Používa sa v tradičnej schéme pre manipuláciu s údajmi (a konkrétne - pre štyri operácie: vzorka, akumulácia, zmena a vymazanie).

V prípade systémuIn-Pamäť.OLTP. Ako súčasť 1C platformy sa systém trochu líši:

• Zostať Rovnaký zákazníkov s ich výzvami klienta.
• Ale v tomto prípade server 1c: Podnik Malý transformovaný. Všeobecne platí, že všetky jeho funkcie a vymenovanie zostávajú úplne, ale teraz nemožno povedať, že plne kontroluje všetky existujúce obchodné logiky. Tu som nazval vrstvu softvérového servera. Prečo?
  • Pretože zobrazí sa ďalšie externé priame pripojenie k DBMS, s ktorými sú uložené postupy napadnutéHovoril som o starších.
  • Podstata Títo uložené procedúry Teraz pozostáva na výrobu dátových transakcií v súlade shračky Obchodná logikaktoré ste položili na úrovni DBMS.

Živý príklad, ako je fyzická vrstva "zametania" na vrstve logická.

Hlavná výhoda OLTP v pamäti

Tu na prezentácii uvádza niektoré z hlavných charakteristík technológie OLTP pamäte. Môžete si to podrobnejšie prečítať na internete (hlavne na webovej stránke spoločnosti Microsoft, ako aj vo veľkom počte blogov západných vývojárov). Tu chcem objasniť jeden nuance, ktorý som ešte nepovedal: úplne sa objavila na pamäti OLTP multivorená optimistická kontrola paralelného vykonávania. Vo svojom rámci neprítomný akýkoľvek koncepcia zámkov pri práci s údajmi. Keď to funguje, konflikty medzi rôznymi tokmi sú zriedkavé, ale ak sa stanú, sú rýchlo vyriešené, a nie je potrebné čakať veľmi dlho, ako v prípade použitia štandardného blokovacieho mechanizmu.

Skript na kontrolu technológie OLTP v pamäti v platforme 1C

Analýza príležitostí, ktoré poskytujú technológiu OLTP na pamäti, som sa rozhodol implementovať pomerne jednoduchý testovací scenár na overenie práce tejto technológie ako súčasť platformy 1C. Demonštračné prostredieV dôsledku toho som sa ukázal vyzerá takto:

• zobral som Veľmi jednoduché Konfigurácia s jedným akumulačným registromv ktorom boli zohľadnené zvyšky nomenklatúry v kontexte množstva.
• Aj v tejto konfigurácii dva dokumenty - Príchod a spotrebaV ktorom bola implementovaná nasledujúca obchodná logika:
  • Dokument o príchode poskytol podporu pre minimálny zvyšok.
  • A pri vykonávaní dokumentu bol prietok kontrolovaný absenciou nulových zvyškov.
• Pre simulovať konkurenčné multi-závitový naložiť Pri vykonávaní týchto dokumentov použil štandardný prístup s procesmi pozadiaKto bola prevažná väčšina, aby vykonali prietok toku.
• Treba tiež poznamenať, že som použil v mojej demonštračnej sieti dva virtuálne stroje:
  • Jeden - pre server 1c: Podnik,
  • A ostatné - preSQL Server.

Ale obe virtuálne stroje boli v rámci jedného virtualizačného hostiteľa.

Prvé meranie - Základný ukazovateľ

Po implementácii tohto systému som strávil kontrolné meranie základných ukazovateľov pre štandardné, tradičné Dokumenty s prostriedkami 1C pomocou spravovaných zámkov. Čo som sa dostal ako výsledok prvého merania?

Snímka je zvýraznená hodnota indikátora, ktorú som dostal : 120 dokumentov za sekundu S 64 procesmi na pozadí je to základný ukazovateľ, ktorý som mal.

SQL Server. - spracovatelia odpočívajú, iba spravované zámky fungujú.

Druhým meraním je migrácia len v tabuľkách v pamäti

Ďalším krokom som sa rozhodol urobiť migráciu štruktúr, v ktorých boli štandardné údaje uložené, vIn-pamäťové tabuľky. A potom, čo som ich migroval, som spustil môj štandardný test. Stalo sa to všetko rovnaké: Prostriedky 1C platformy boli vykonané dokumenty, ale teraz boli uložené v stoloch v pamäti (samotná platforma o tom nevedela).

Výsledok Ukázalo sa, že v oblasti 150 dokumentov za sekunduPreto sa malé zvýšenie stále stalo, ale nevýznamné, a v niektorých systémoch môžete ešte vidieť toto zvýšenie. Vo všeobecnosti zaťaženie procesorov sa v žiadnom prípade nezmenili, takže ich ani ich nedám.

Chcem k nemu pridať, že ak sa niekto pokúsil realizovať tú istú úlohu, potom to zvyčajne spôsobuje problémy - trochu neskôr vám poviem, ako sa tieto problémy vyriešia.

Tretie meranie - migrácia v pamäti a tabuľkách a obchodnej logike

V treťom kroku, okrem skutočnosti, že migrácia dátových štruktúr vIn-pamäťová tabuľka bola tiež úplne vyrytá atrať obchodná logikaKtorý bol potrebný na vykonávanie dokumentov - všetky opatrenia potrebné pre: \\ t

• Tvorba dokumentov a ich tabuľkových častí;
• Ich záznamov;
• Tvorba dokumentov dokumentov;
• A zmeny v súčasných zvyškoch.

V dôsledku toho bola prijatá výsledok 250 dokumentov za sekundu. V skutočnosti, vzhľadom na základňu 120 a 250, je to o niečo viac ako dvakrát.

Tu sa môžete mierne smiať a povedať, že môžeme brať železo dvakrát silnejšie a získať približne rovnaký výsledok. Ale všetko je vysvetlené, ak sa pozriete na stiahnutie procesora v tomto prípade:

• Server 1C: Enterprises sú plne naložené;
• Zatiaľ čo serverSQL je zapojený len tretím.

Podarilo sa mi zistiť, že toto zaťaženie na serveri 1C: Spoločnosť ukázala, že jednoducho nemal čas na generovanie tohto počtu dokumentov o lietať, a tiež nemal čas na to, aby im držal SQL Server, aby ste si úplne stiahli to.

Neskôr bolo možné zistiť, že s cieľom plne si stiahnuť SQL Server v tomto príklade, bolo by potrebné asi osem podobných virtuálnych strojov. V tom by však nebolo bod, pretože som použil len jeden rad virtualizácie, a ja som nemal žiadne ďalšie železné vybavenie. Ale v budúcnosti to nebolo potrebné.

Štvrté meranie - Prenos 15 dokumentov pre jeden hovor

Štvrtý zmrazil Urobil som to v nádeji, že by bolo možné poskytnúť viac práce na serveri SQL v jednom sieťovom hovore. Pre toto, obchodná logika bola prepísaná tak, aby pre jeden hovor uveďte 15 dokumentov naraz. Ako výsledok rýchlosť sa zvýšila na 550 dokumentov za sekundu.

V rovnakom čase, ako je možné vidieť na grafoch, server 1c: Podnik Bol všetko je tiež plne naložené, aleSQL Server pokračoval v "odpočinku".

V skutočnosti je tento scenár pomerne falošný, pretože nemá vôbec žiadny praktický prínos a bol implementovaný len ako inšpekcia. Ale v každom prípade jasne vidíme problém prevodu dostatočného zaťaženia na SQL Server, aby ste ho plne stiahli.

Piata meranie - spustenie pripraveného zaťaženia na strane SQL Server

Ďalší krok som sa rozhodol vygenerovať všetko zaťaženie. Toto zaťaženie vyzeralo vo forme vytvorených 64 súborovSQL skripty pre 700 megabajtov. Ja presunuli ichSQL Server.A s použitím známeho ostrého nástroja, ktoré môžete "zvýšiť" tieto súbory na spustenie paralelného zaťaženia, dostal nasledujúci výsledok.

• Načítaním procesora - výsledný čas testovania bol umiestnený v štandardnom okne Dispatcher Dispecher: Existuje začiatok zaťaženia, potom úplne všetky spracovatelia skoro
• Výsledkom je, že zaťaženie bolo vytvorené 112 tisíc dokumentov Zároveň boli úplne udržiavané všetky tieto procesy, ktoré boli pri vykonávaní "spotreby", boli plne udržiavané: všetky zvyšky boli kontrolované, všetky akcie boli vykonané.
• Zaťaženie obsadené 53 Časté sekundy.
• Ak urobíte určité výpočty, ukáže sa to priemerný čas Jeden dokument predstavoval menej ako polovica milisekúnd,
• ale priemerná rýchlosť dokumentov bola viac ako 2000 dokumentov za sekundu.

Keď som tento výsledok dostal prvýkrát - nemohol som tomu uveriť. Len si predstavte, aké zväzky sú teraz k dispozícii, teraz môžete myslieť v úplne odlišných kategóriách. A teraz môžem odpovedať na svojho bývalého riaditeľa, pretože môžeme urýchliť držanie dokumentov "Skontrolovať" na pokladni. A aj keď máme nejaké konflikty, blokovanie, samotný proces bude teraz veľmi rýchlo.

Metodika migrácie

Ak sa vrátite do metodiky migrácie v In-Pamäť.OLTP.Potom treba poznamenať, že ona nie je vhodný pre všetky prípady.Je potrebné ho použiť len pre niektoré úzke miesta vášho systému, kde je zaručený rýchly prístup k dátam. teda pred implementáciou tejto technológie musíte stráviť dôkladnú analýzu:

• Napríklad, ak porovnáte stavby (tradičné a na pamäti OLTP), potom na úrovni siete sa nemenila. Preto, ak je váš program (vaša aplikácia) veľmi "hovorca", výmeny s DBMS servera veľmi veľkému počtu správ, potom nebudete pomáhať v technológii v pamäti - tu nie sú žiadne zlepšenia.
• Tiež, ak sa pozrieme registrácia databázy Registrácia, potom tu tiežnajmä nič sa nezmenilo. Hoci veľkosť registračného denníka počas operácií v pamäti OLTP je znížená, minimálna oneskorenie transakcie pri písaní k tomuto protokolu zostáva rovnaká.
• Hlavná výhoda vy sa bude môcť získať len na úrovni vykonávania požiadaviek a prístupu k údajom.

Výhodu technológieIn-pamäť.OLTP. nie v nichže údaje sa nachádzajú v pamäti. Hoci technológia sa nazýva v pamäti, z toho nevychádzajú - zrýchlenie dochádza v dôsledku Čo mení infraštruktúru samotnej databázy:

• sa používajúnové, špeciálne navrhnuté Dátové štruktúry, ktoré sú zbavené zámkov,
• ako aj uložené uložené procedúry zostavené v strojových kódochUdržujte vašu kritickú obchodnú logiku.

A ak sa pozrieme na štandardný systém, v prípade pridania veľkého počtu prúdov do nej, nakoniec navzájom zasahujú, čím sa priepustnosť vášho systému znižuje. Zároveň, keď používate technológiu OLTP pamäte, systém je naďalej zmenšený, pretože neexistujú žiadne zámky (používajú sa nové dátové štruktúry, ktoré sú zbavené) a rýchlo zostavené uložené postupy.

Čo môžem povedať o tom veľmi migračný proces B.In-pamäť.? Vo všeobecnosti pozostáva z dvoch krokovktoré sa striedavo opakujú:

• Prvým krokom je migrácia dátových štruktúr.
• A druhý krok je migrácia Vaše kritické.

Riešenie problému písania v pamäti z 1c

Pri vypracovaní 1C s migrovanými dátovými štruktúrami DBMS sú možné niektoré ťažkosti. Napríklad, ak existuje určitý subjekt v rámci platformy 1C, akýkoľvek záznam v tabuľke alebo do dokumentov (príchod alebo spotreba), uvidíte Štandardné chybové hlásenie, ktoré všeobecne hovorí o niektorých problémoch v úrovniach izolácie.

Aká je priradená chyba? Štandardná schéma vykonávania podporuje päť úrovní izolácie a mechanizmus OLTP v pamäti je len tri úrovne. Kde predvolená platforma používa úroveň izolácieČítanie, ku ktorémuproste nie zhoda v mechanizmeIn-Pamäť.OLTP.. V dôsledku toho sa vyskytuje problém konzistentnosti medzi týmito úrovňami izolácie.

Snažím sa vyriešiť túto úlohu, strávil som veľa času. A hľadanie riešenia ma dokonca začalo v reverznom inžinierstve ("reverzné inžinierstvo"), zdalo sa mi, že by ste mali dynamicky zachytiť požiadavky, ktoré idú z platformy do DBMS a zmenia svoj text o letisku v poriadku Zodpovedá syntaxe pamäte. Ukázalo sa však, že riešenie je na povrchu - je to triviálne a jednoduché.

V samotnom SQL Serveri 2014, v ktorom sa objavila technológia IN-MEMORY vlastnosť databázyako jE_pamäť_optimalizované_výškato_snapshot_na.. V predvolenom nastavení je neaktívny, vypnutý - toto je možné skontrolovať dotaz, ktorý je zobrazený na snímke.

Respektíve, ak vykonáte príkaz, ktorý aktivuje túto nehnuteľnosťT. nebudú žiadne problémy s súdržnosťou úrovne izolácie.

Zároveň budete zvýšiť úroveň izolácie, ktorú DBMS používa predvolené, a to bude len zhodovať s úrovňou izolácie snímok, predvolené sa používa pre tabuľky IN-MEMORY. Takto, s malými manipuláciami na strane DBMS, akékoľvek dokumenty a akékoľvek údaje budú zaznamenané v tabuľkách v pamäti.

Všeobecná schéma migrácie obchodnej logiky na strane DBMS

Čo môžem povedať pokiaľ ide o všeobecnú schému migrácie Sama obchodná logika na strane DBMS?

Obsahujev tebe dva objekty:

• Po prvé kompilovaný postupktorý bude priamo hotový.
• A vyššie. obal, ktorý implementujetzv Retrogické. (pracovná logika). Prečo? Pretože neexistuje žiadna záruka, že sa vykoná váš uložený postup. V procese jeho vykonávania sa môže vyskytnúť určitý konflikt, takže je potrebné urobiť tak ako výsledokŠpecifický sieťový hovor postupImplementácia vašej obchodnej logiky nevyhnutne dokončené až do konca.

Tu približný impleximácia schémy "wrap". Tu je addrouto externý štandard-sql- (wrapper). Vo vnútri cyklu existuje postup už zostavený do strojových kódov. Videl skúste (opakovaný) blok. V súlade s tým, ak existuje konflikt, potom existuje výnimka, v ktorej ste ako developer, položte obdobie čakania, aby sa konfliktná transakcia podarilo byť vykonaná, a potom, podľa toho vaše vykonanie.

Záver

Na záver môžeme to povedať migrácia v tabuľkáchIn-Pamäť.OLTPRODUCTORY to 1C bude vyžadovať:

• Veľký počet intelektuálnych a finančných zdrojov,
• Pripojenie veľkého počtu špecialistov.
• No, najzákladnejšia otázka je to technológia podporyIn-Pamäť.OLTP v súčasnosti chýba v platformeAv tomto ohľade sa môžu vnímať len na 1c. Aspoň dúfam, že dobre reagujú na vzhľad možnosti využitia tejto technológie v rámci platformy.

*****************

Pozývame vás na novú konferenciu.

V oblasti informačných technológií existujú dve vzájomne doplnkové destinácie:

Technológie zamerané na operačné (transakčné) spracovanie údajov. Tieto technológie sú základom ekonomických informačných systémov určených na spracovanie prevádzkových údajov. Nazvané podobné systémy - OLTP. (Online spracovanie transakcií) systém;

Technológie a rozhodovanie o analýze údajov. Tieto technológie sú základom ekonomických informačných systémov určených na analýzu

akumulované údaje. Nazvané podobné systémy - OLAP.

(Online analytické spracovanie) systém.

Hlavné vymenovanie OLAP-systémy- dynamický viacročný

analýza historických a aktuálnych údajov stabilných v čase, analýza

trendy, modelovanie a prognóza budúcnosti. Taký

systémy sa zvyčajne zameriavajú na spracovanie ľubovoľného

vopred nie je regulované žiadosti. Základný

charakteristiky týchto systémov možno poznamenať takto: \\ t

Podpora multidimenzionálneho reprezentácie údajov, rovnosť všetkých meraní, nezávislosť produktivity na počtu meraní;

Transparentnosť pre metódy ukladania, skladovania a spracovania;

Automatické zobrazenie logickej dátovej štruktúry do externých systémov;

Dynamické spracovanie vypúšťaných matríc účinným spôsobom.

Termín OLAP je relatívne nový a v rôznych literárnych zdrojoch sa niekedy interpretuje rôznymi spôsobmi. Tento termín je často identifikovaný s rozhodovacou podporou (DSS (systémy na podporu rozhodovania) - systémy na podporu rozhodovania. A ako synonymum pre posledné obdobie, skladovanie dátových skladov (sklady) údajov sa používa ako synonymum pre posledný termín, Pochopenie súboru organizačných riešení, softvéru a hardvéru. Poskytoval som analytikom s informáciami na základe údajov z systémov spracovania transakcií a iných zdrojov

"Dátové záhyby" vám umožňujú spracovať údaje akumulované počas dlhých časových období. Tieto údaje sú heterogénne (a nie nevyhnutne štruktúrované). Pre "dátové sklady" obsiahnuté v multidimenzionálnom charaktere požiadaviek. Obrovské množstvá dát, zložitosť štruktúry ako údajov a požiadaviek si vyžaduje použitie osobitného prístupu k informáciám.

V iných zdrojoch sa koncepcia systému rozhodovania (SPRR) považuje za širší. Dátové sklady a prevádzkové analytické spracovateľské nástroje môžu slúžiť ako jedna zo zložiek Architektúry SPRD.

OLAP vždy zahŕňa interaktívne spracovanie požiadaviek a následnú viacobľové analýzy informácií, ktoré vám umožní identifikovať odrodu, nie vždy zrejmé, trendy pozorované v oblasti predmetu.

Niekedy rozlišujú "OLAP v úzkom zmysle" sú systémy, ktoré poskytujú iba vzorku údajov v rôznych rezoch, a "OLAP v širokom zmysle", alebo len OLAP, vrátane:

Podpora pre viacerých užívateľov editáciu databáz.

Modelovacie funkcie, vrátane výpočtových mechanizmov na získanie výsledkov derivátov, ako aj agregáciu a kombináciu údajov;

Prognóza, identifikácia trendov a štatistickej analýzy.

Prirodzene, každý z týchto typov IP vyžaduje špecifickú osobnú organizáciu údajov, ako aj špeciálne softvérové \u200b\u200bnástroje, ktoré zabezpečujú účinný výkon stálych úloh.

OLAP - znamená poskytovať analýzu obchodných informácií o viacerých parametroch, ako je typ výrobku, geografická poloha kupujúceho, času transakcie a predávajúceho, z ktorých každý umožňuje vytvorenie hierarchie reprezentácie. Takže, na čase môžete použiť ročné, štvrťročné, mesačné a dokonca týždenné a denné intervaly; Geografický oddiel môže vykonávať mestá, štáty, regióny, krajiny, alebo v prípade potreby pre celé hemisféry.

OLAP - Systémy môžu byť rozdelené do troch tried.

Najkomplexnejšie a nákladné z nich sú založené na technológiách v oblasti vlastníctva. servery Multidimenzionálna databáza. Tieto systémy poskytnite celý cyklus OLAPa buď zahrnie, okrem komponentu servera, jeho vlastné integrované klienta rozhranie sa buď používajú na analýzu externých pracovných programov s údajmi s tabuľkami. Výrobky tejto triedy sú najviac v súlade s podmienkami aplikácie vo veľkých informačných zásobách. Pre ich služby sa vyžaduje celý personál personálu zaoberajúcich sa inštaláciou aj údržbou systému a tvorba názorov pre koncových používateľov. Zvyčajne sú podobné balíky dosť drahé. Ako príklady tejto triedy, systém Essbase Software Arbor, Express Express Company (prichádzajúce teraz v Oracle), Lightship vyrobené pilotným softvérom a ďalšími.

Treba poznamenať, že jeden zo spôsobov, ako zabezpečiť rýchle spracovanie údajov pri analýze, je organizácia údajov vo forme multidimenzionálnych databáz (MDD). Informácie v MDD nie sú uložené vo forme indexovaných záznamov v tabuľkách, ale vo forme logicky objednaných polí. Zjednotený všeobecne prijatý model multidimenzionálneho skladovania neexistuje. MDD nemá štandardizovaný spôsob prístupu k údajom a môžu spĺňať požiadavky špecifických analytických spracovaní dát.

Berúc do úvahy všetky vyššie uvedené porovnanie medzi rôznymi produktmi MDD môžu vykonávať len najviac všeobecné kategórie. V lacnejšej trhovom sektore sú pre malé lokálne siete prítomné len jednorazové a zamýšľané multidimenzionálne zobrazenia údajov. Hoci majú pomerne vysokú úroveň funkčnosti a sú vhodné na použitie, tieto systémy sú obmedzené na ich rozsah. A chýbajú finančné prostriedky potrebné na implementáciu spracovania OLAP v širšom zmysle. Táto kategória zahŕňa produkty, ako je napríklad PowerPlay Cognos Corporation, Andyne a Mercury Pablo Company Company. Nádherný trhový sektor predstavuje systémy ACUMATE ES spoločnosti Kenan Technologies, Express Corporation Oracle, Gentium plánovacích vied a Holos Company Holistic Systems. Sú tak odlišné vo svojich schopnostiach, ktoré niektorý z nich môže byť bezpečne pridelený v samostatnej kategórii. Nakoniec, MDD-systémy v čistej forme: Essbase Corporation Arbor softvér, Lightship Server Pilot Software a TM / 1 Spoločnosť SINPER [N. Radenie (softvérový trh)].

Druhá trieda OLAP - zariadenia - relačné OLAP-systémy (Rolap). Tu sa staré relačné DBMS používajú na ukladanie údajov a medzi databázou a klientskym rozhraním, metadáta vrstva organizuje správca. Prostredníctvom tejto medzivrstvy môže klientsky komponent komunikovať s relačnou databázou ako multidimenzionálne. Podobne ako fondy prvej triedy, Rolap sú dobre prispôsobené pre prácu s hlavnými informáciami, vyžadujú značné náklady na údržbu špecialistami informačných divízií a zabezpečujú prácu v režime Multiplayer. Medzi produkty tohto typu sú softvér IQ / Vision IQ, DSS / Server a DSS / Agent, Microstrategy a Rozhodujúca výhoda.

Rolap - znamená implementovať riešenia na podporu rozhodovania o doplnku nad procesorom relačného databázy.

Takéto softvérové \u200b\u200bprodukty musia reagovať na niekoľko požiadaviek, najmä: \\ t

Majte silný generátor SQL optimalizovaný pre OLAP, čo umožňuje používať multifrekvenčné operátorov SQL a / alebo korelované podkoky;

Majú dostatočne vyvinuté prostriedky na spracovanie non-triviálneho spracovania, ktoré poskytujú poradie, porovnávaciu analýzu a výpočet úrokových pomerov v triede;

Generovať očakávania SQL optimalizované pre cieľové relačné DBMS vrátane podpory pre rozšírenia, ktoré sú v ňom k dispozícii;

Poskytnite mechanizmy na opis modelu dát pomocou metaúdajov a umožňujú použitie týchto metaúdajov na vybudovanie dotazov v reálnom čase;

Zahrnúť mechanizmus, ktorý umožňuje posúdiť kvalitu stavebných konsolidovaných tabuliek z hľadiska miery výpočtu, je žiaduce s akumuláciou štatistík o ich používaní.

Tretí, relatívne nový typ OLAP - zariadenia - nástroje na výrobu požiadaviek a správ pre stolové počítačeDoplnené OLAP-Funkcie alebo integrované s externými prostriedkami, ktoré vykonávajú funkcie. Tieto vysoko vyvinuté systémy vykonávajú odber vzoriek údajov zo zdrojov zdrojov, transformujú a umiestnia sa do dynamickej multidimenzionálnej databázy, ktorá pracuje na PC koncového používateľa. Tento prístup, ktorý umožňuje robiť bez drahého multidimenzionálneho databázového servera a bez komplexnej medzivrstvy metaúdajov potrebnej pre fondy Rolap, poskytuje dostatočnú analýzu súčasne. Tieto tabuľky pre stolný počítač sú najvhodnejší pre prácu s malými, jednoducho organizovanými databázami. Potreba kvalifikovanej údržby pre nich je nižšia ako pre iné OLAP-systémy a približne zodpovedá úrovni konvenčných prostredí spracovania dotazov. Medzi hlavné účastníkov tohto trhu v technológii BRIO, Brio Technology, s jeho firmou Brio Query Enterprise, systém obchodných objektov s rovnakým názvom a Cognos s elektrickým prúdom.

V súčasnosti sa zvyšuje počet webových produktov OLAP.

Je dôležité nastaviť OLAP na zvyšok softvéru. Aj keď poskytovatelia OLAP začínajú ponúkať niektoré spôsoby, ako komunikovať s SQL -SUBD a inými nástrojmi, ale však používatelia a analytici varujú, že úroveň integrácie môže byť odlišná a pravdepodobne bude vyžadovať značné množstvo kódovania, vrátane písania sql dotazov. Okrem toho neexistuje žiadny priemyselný štandard pre integráciu OLAP so zvyškom softvéru Enterprise.

Riešenie tohto problému môže spočívať v nasledujúcom texte. Napríklad mnohé spoločnosti umiestnite databázy so spoločnosťou OLAP ako klientske časti dátových skladov. S týmto úložným prístupom, jadra multidimenzionálnych vzoriek údajov OLAP, na ktoré môžu používatelia pristupovať k rýchlemu vykonaniu komplexných požiadaviek. Cieľom je zároveň vytvoriť dotaz, ktorý skrýva miesto používateľa od užívateľa. V tomto prostredí sa automaticky vykoná komplexné dotazy k multidimenzionálnym spracovateľským jadrom alebo vyhľadávania podrobných informácií a jednoduchých požiadaviek na relačné servery. Pre spoločnosti, ktoré nemôžu ísť takto, dôležitú úlohu pri zriaďovaní pripojení medzi nástrojmi OLAP a iným softvérom hrá konzultačné firmy.

OLTP SystemsByť vysoko účinným prostriedkom na realizáciu operačného spracovania, ukázalo sa, že je to málo vhodné pre úlohy analytického spracovania. Je to spôsobené nasledovným:

1. Finančné prostriedky tradičných OLTP-systémov môžu vybudovať analytickú správu a dokonca aj prognózu akejkoľvek zložitosti, ale vopred regulované. Akýkoľvek krok k boku, akákoľvek nepalená požiadavka koncového používateľa, spravidla vyžaduje znalosť dátovej štruktúry a dostatočne vysokú kvalifikáciu programátora;

2. Mnohé funkčné schopnosti potrebné pre prevádzkové systémy sú nadbytočné pre analytické úlohy a zároveň nemusí odrážať oblasť objektu. Na vyriešenie väčšiny analytických úloh sa vyžaduje použitie externých špecializovaných inštrumentálnych nádrží na analýzu, predikciu a modelovanie. Tvrdá štruktúra základne neumožňuje dosiahnuť prijateľný výkon v prípade komplexných vzoriek a triedenie, a preto si vyžaduje vysoké časové náklady na organizovanie brán.

3. Na rozdiel od transakcií sa nevyžadujú analytické systémy, a preto nie sú stanovené pre vyvinuté prostriedky na zabezpečenie integrity údajov, ich rezervácie a zhodnocovania. To umožňuje nielen zjednodušiť prostriedky na implementáciu, ale tiež znížiť vnútornú režijnú úroveň, a preto zvýšiť produktivitu pri výbere údajov.

Rozsah úloh, účinne riešených každým systémom, definujeme na základe porovnávacích charakteristík OLTP - a OLAP-Systems (tabuľka 8).