av: Arshad Ali | uppdaterad: 2013-06-24 | kommentarer (9) | relaterad: > utveckling av analystjänster
Problem
i mina senaste tips talade jag om vikten av en Business Intelligence-lösning, varför det blir prioriterat förexecutives, vilken typisk Business Intelligence System arkitektur ser ut, etc. I det här tipset kommer jag att prata i detaljom hur ett datalager skiljer sig från operativt datalager och de olika designmetoderna för ett datalager.
lösning
detta tips kommer att täcka datalager (DW, som ibland också kallasan Enterprise Data Warehouse eller EDW), hur det skiljer sig från operativ datalagring (ODS) och olika Datalagerdesignmetoder.
Enterprise Data Warehouse (EDW eller DW) Vs. Operativt datalager (ODS)
syftet med datalagret i den övergripande Business Intelligence-arkitekturen är att integrera företagsdata från olika heterogena datakällor för att underlätta historisk och trendanalysrapportering. Det fungerar som ett centralt arkiv och innehåller ”single version of truth” för organisationen som har konstruerats noggrant från data lagrade i olika interna och externa operativa databaser\system. För bättre prestanda kommer mestadels data i data warehouse att vara i normaliserad form som kan kategoriseras i antingen stjärna eller snöflinga scheman (mer om detta i nästa tips).
syftet med Operation Data Store (ODS) är att integrera företagsdata från olika heterogena datakällor för att underlätta operativ rapportering i realtid eller nära realtid. Ofta kommer data i ODS att vara strukturerade som källsystemen, även om det under integrationen kan innebära datarensning, deduplikation och kan tillämpa affärsregler för att säkerställa dataintegritet. En ODS är främst avsedd att integrera data ganska ofta på den lägsta granulära nivån för operativ rapportering i ett nära realtidsdataintegrationsscenario. Normalt kommer en ODS inte att optimeras för historisk och trendanalys på stor uppsättning data.
låt oss sammanfatta skillnaderna mellan en ODS och DW:
- en ODS är avsedd för operativ rapportering och stöder nuvarande eller nära realtidsrapporteringskrav därasa DW är avsedd för historisk och trendanalys rapportering på en stor mängd data
- en ODS är inriktad på låga granulära frågor medan en DW används för komplexa frågor mot sammanfattningsnivå eller på aggregerade data
- en ODS ger information för operativa, taktiska beslut om nuvarande eller nära realtidsdataförvärv därasa DW DW ger feedback för strategiska beslut som leder till övergripande systemförbättringar
- i en ODS frekvensen för databelastning kan vara timme eller dagligen medan i en Dwfrekvensen för databelastningar kan vara dagligen, veckovis, månadsvis eller kvartalsvis
Data Warehouse Design Methodologies
det finns två olika metoder som normalt följs när man utformar en data Warehouse-lösning och baserat på kraven i ditt projekt kan du välja vilken som passar ditt specifika scenario. Dessa metoder ärett resultat av forskning från BillInmon och Ralph Kimball.
Bill Inmon-Top-down Data Warehouse Design Approach
Bill Inmon kallas ibland också ”fadern till datalagring”; hans designmetodik är baserad på en top-down – strategi och definierar datalager i dessa termer
- Ämnesorienterad-data i ett datalager kategoriseras utifrån ämnesområdet och därför är det ”ämnesorienterat”.
- integrerad – Data integreras från olika olika datakällor och därmed universella namnkonventioner, mätningar, klassificeringar och så vidare som används i datalagret. Data warehouse ger en företags konsoliderad bild av data och därför betecknas den som en integrerad lösning.
- icke-flyktig – när data är integrerad\laddad i datalagret kan den bara läsas. Användare kan inte göra ändringar i data och thispractice gör data icke-flyktiga.
- tidsvariant – slutligen lagras data under långa tidsperioder kvantifierade i år och har ett datum och tidsstämpel och därför beskrivs det som ”tidsvariant”.
Bill Inmon såg ett behov av att integrera data från olika OLTP-system i ett centraliserat arkiv (kallat data warehouse) med en så kallad top-down-strategi. Bill Inmon föreställer sig ett datalager i mitten av” Corporate Information Factory ” (CIF), som ger en logisk ram för att leverera business intelligence (BI), affärsanalys och affärshanteringsfunktioner.
denna top-down-design ger en mycket konsekvent dimensionell bild av data över data marts eftersom alla data marts laddas från det centraliserade arkivet (Data Warehouse).Top-down-designen har också visat sig vara flexibel för att stödja affärsförändringar som det ser ut i organisationen som helhet, inte vid varje funktion eller affärsprocess i organisationen. Generera en ny dimensionell data marts mot data som lagras idatalagret är en relativt enkel uppgift. Även om det finns några utmaningar för top-down-metoden, representerar det till exempel ett mycket stort projekt med ett mycket brett omfång och därmed är kostnaden för att implementera ett datalager med hjälp av top-down-metoden betydande.Vidare kan tiden från projektets start till den punkt som slutanvändarna börjar uppleva initiala fördelar med lösningen vara betydande. Top-down-metoden kan också vara oflexibel och inte svara på förändrade avdelningsbehov eller affärsprocessbehov (ett problem för dagens dynamiskt föränderliga miljö) under implementeringsfasen.
Ralph Kimball-Bottom-up Data Warehouse Design Approach
Ralph Kimball är en känd författare i ämnet datalagring. Hans designmetodik kallas dimensionell modellering ellerkimball-metoden. Denna metod fokuserar på en bottom-up-strategi, betonar värdet av datalagret till användarna så snabbt som möjligt. I sin vision är ett datalager en kopia av transaktionsdata som är specifikt strukturerad för analytisk fråga och rapportering för att stödabeslutstödssystemet. Enligt hans metodik skapas data marts först för att tillhandahålla rapporterings-och analysfunktioner för specifika affärsprocesser och senare kan dessa data marts så småningom förenas för att skapa ett omfattande företagsdatalager. Bottom-up-metoden fokuserar på varje affärsprocess vid en tidpunkt så att avkastningen på investeringen kan vara så snabb som first data mart skapas. Även om det inte är noggrant planerat kan du sakna den stora bilden av företagets datalager genom att sakna vissa dimensioner eller genom att skapa överflödiga dimensioner etc. när du är för fokuserad på en enskild affärsprocess.
Ralph Kimballs bottom-up-tillvägagångssätt föreslår att man skapar en affärsmatris som ska innehålla alla vanliga element (som används av data marts som överensstämde\delad dimension, åtgärder etc.) definieras för företaget som helhet. Med detta kan användaren designa och utveckla lösningar som stöder analys över affärsprocesserna för korsförsäljning. Du kan lära dig mer ommatrisen här.
för en person som vill göra en karriär inom Data Warehouse och Business Intelligence domän, skulle jag rekommendera att studera Bill Inmon böcker (bygga Data Warehouse och DW 2.0: arkitekturen för nästa Generation av Data Warehouse) och Ralph Kimballs bok (Microsoft Data Warehouse Toolkit).
nästa steg
- ReviewMicrosoft SQL Server Business Intelligence – vad, varför och hur – Del 1.
- ReviewMicrosoft SQL Server Business Intelligence System arkitektur – del 2.
- kolla in alla theSQL Server Business Intelligence tips på MSSQLTips.com.
Senast uppdaterad: 2013-06-24
om författaren
Arshad Ali är en SQL-och BI-Utvecklare med fokus på Datalagringsprojekt för Microsoft.Visa alla mina tips
- fler Business Intelligence Tips…
