Afstudeeropdracht bachelor informatica

Transcriptie

1 Webgebaseerde ontsluiting loggegevens van IDEAS Afstudeeropdracht bachelor informatica David Beniers, Anand Mandhre, Michiel van Kempen Bastiaan Heeren, Harold Pootjes

2 Inhoud Opdracht IDEAS Aanpak Taakverdeling Demonstratie (?) ABI Project Conclusie Vragen en discussie

3 Opdracht Web-applicatie Informatie over gebruik van IDEAS uit gelogde interacties Voor docenten, beleidsmakers, ontwikkelaars Programma-eisen: Tonen gebruik door applicaties, hoe vaak, wanneer, performance Tonen interacties tussen applicaties en IDEAS Tonen gebruik door individuele gebruikers Open source software

4 IDEAS Interactive Domain-specific Exercise AssistantS Interactieve assistenten voor hulp aan studenten bij oplossen van opgaven (wiskunde middelbare school, propositie logica, lineaire algebra) Web-services bij CS UU Applicaties: oefenomgevingen (activemath, dwo,, mathdox) Project(en) bij Faculteit Computer Science, Open Universiteit en Departement voor Informatie en Computing Sciences. (Alex Gerdes, Bastiaan Heeren, Johan Jeuring)

5 IDEAS: Applicaties ActiveMath DWO Overbruggingscursussen Middelbare school wiskunde (Math-Bridge project) Genexas Logica (Open Universiteit) (Freudenthal Instituut) Programmeertutor Programmeren (Onderzoeksproject Alex Gerdes)

6 Aanpak Non-intrusive approach Business Intelligence Gebruik bestaande software open source BI suite Pro/contra bestaande software Verdeling taken Data-import (Extractie, Transformatie, Laden) Data-analyse van modelleren DataWareHouse Analyse- en Presentatiemodules

7 Aanpak: Non-intrusive approach IDEAS ongemoeid Onafhankelijk van IDEAS omgeving Enige afhankelijkheid IDEAS database (Lezen) Reden: performantie en flexibiliteit

8 Aanpak: Business Intelligence Data Visualisatie Verzamelen van gegevens uit bedrijfsprocessen en omzetten in nuttige informatie voor belanghebbenden Voorbeeld: opgeslagen verkooptransacties omzetten in jaaroverzichten vanuit verschillende dimensies (filiaal, product, balans) Bronnen: IDEAS database, web-sites Engine WOLIP DWH Reporting, Dashboards, KPI & Analysis Datawarehouse ETL WOLIP ODS Integratie CDC/EAI/ESB/ IDEAS SQLITE DB Te ontwikkelen Source

9 Aanpak: gebruik bestaande software Open source BI suite SpagoBI (

10 Aanpak: gebruik bestaande software Verschuiving van ontwikkelen naar leren en configureren Modelleren DWH, softwareontwikkeling in ETL, ontwerpen schermen en grafieken Pro en contra: + Veel meer functionaliteiten en mogelijkheden + Ondersteuning open source groep (forum, web-sites) + Dichter bij dagelijkse praktijk Software Engineering (leerdoel) Installatie en configuratie is complex Veel nieuwe kennis nodig (ETL, DWH) Veel uitzoekwerk (veel modules voor analyse en presentatie)

11 Taakverdeling Data import (Extractie, Transformatie, Laden) Data analyse en modelleren DataWareHouse Analyse- en Presentatiemodules Data Visualisatie Engine WOLIP DWH Reporting, Dashboards, KPI & Analysis Datawarehouse ETL WOLIP ODS Integratie CDC/EAI/ESB/ IDEAS SQLITE DB Te ontwikkelen Source

12 Data analyse en modelleren DataWareHouse (Bron) Source dimension source service generate generate generate derivation derivation onefirsttext derivation derivation derivation derivation generate derivation generate derivation generate generate derivationtext Performance dimension Location dimension responsetime ipaddress Date dimension en Time dimension time :12: :17: :18: :19: :19: :19: :19: :19: :19: :21: :22: :22: :26: :26: :29: :29: :29: Usage dimension exerciseid input output [ } :"generate", "params" : [ } :"generate", "params" : [ } :"generate", "params" : [ } : "derivation", "params [ } : "derivation", "params [ } : "onefirsttext", "param [ } : "derivation", "params [ } : "derivation", "params [ } : "derivation", "params [ } : "derivation", "params [ } :"generate", "params" : [ } : "derivation", "params [ } :"generate", "params" : [ } : "derivation", "params [ } :"generate", "params" : [ } :"generate", "params" : [ } : "derivationtext", "para

13 Data analyse en modelleren DataWareHouse Datawarehouse: database dat is gespecialiseerd voor rapportage en analyse van operationele gegevens. Dimensional modeling: ontwerpen van datawarehouse m.b.v. dimensies en feiten Dimensie: bron voor selecteren van gegevens (b.v. datum, tijd). Feit: kwantitatief (optelbaar) gegeven van iets (b.v. bedrag en hoeveelheid van verkooptransacties).

14 Data analyse en modelleren DataWareHouse

15 Data import (Extractie, Transformatie, Laden) ETL zijn een processen en behelst extractie van data van externe bronnen (IDEAS DB); transformatie naar analytisch database model; laden in datawarehouse ETL processen wordt periodiek uitgevoerd (configuratie SpagoBI) Implementatie ETL is softwareontwikkeling Eigen ontwikkelomgeving (TALEND Open Studio, Eclipse gebaseerd)

16 Data import (Extractie, Transformatie, Laden) DWH Datawarehouse Data Visualisatie & Presentatie ETL ODS Integratie ETL IDEAS DB, XLS, GEOIP data Bronnen Engine Reporting, Dashboards, KPI & Analysis

17 Analyse- en Presentatiemodules OnLine Analytical Processing (Interactief, datakubus) Charts (Voorgedefinieerde interactieve grafieken) Reports (tabellen en tekst) Visual Query (Zelf bevragen en presenteren) Afhankelijk van gebruikerswensen

18 Demonstratie WOLIP applicatie

19 ABI project Okt-dec 2011 Dec 2011 Jan-mei 2012 Mei 2012 Projectplan, aanpak BI Start verdiepingsopdrachten Modelleren, ETL, schermen, prototype Demo prototype, evaluatie, extra programma-eisen Mei-aug 2012 Nieuwe specificaties, modelleren, ETL, schermen Jul-sept 2012 Hervatten verdiepingsopdrachten Sept-nov 2012 Dec 2012 Aanpassen ETL, installeren productieomgeving Afronding?

20 Conclusie Toepassen bestaande software mogelijk Focus verschuift van programmeren naar leren en configureren BI geschikt als oplossing, maar is veel omvattend

21 Vragen en discussie

22

23

24

25

26

27

28

29

30

31

32

33