Gegevensverwerving en verwerking

Transcriptie

1 Gegevensverwerving en verwerking Staalname Bibliotheek - aantal stalen/replicaten - grootte staal - apparatuur - beschrijvend - variantie-analyse Experimentele setup Statistiek - correlatie - regressie - ordinatie - classificatie Websites : => electronic statistic textbook allserv.rug.ac/ ~katdhond/ => reservatie PC zalen / www;dierkunderug.be.tf/ => lesnota s

2 ANOVA (ANALYSIS OF VARIANCE) Voorbeeld 1 Statistische test gebruikt om na te gaan of groepen van waarnemingen significant van elkaar verschillen Staalnameplaats = station herhaling staalname: minimum 3 replicaten/statio Verschillende stations worden bemonsterd langs een gradient Waarnemingen : Tellingen/densiteiten Biomassa Pigmentconcentraties Diversiteit.. Veranderingen in : Saliniteit Licht Temperatuur Diepte.

3 ANOVA (ANALYSIS OF VARIANCE) Voorbeeld 2 Statistische test gebruikt om na te gaan of groepen van waarnemingen significant van elkaar verschillen Experiment - effect van verschillende behandelingen - effect op verschillende populaties Replicatie Waarnemingen : - concentraties - densiteiten.

4 ANOVA (ANALYSIS OF VARIANCE) Statistische test gebruikt om na te gaan of groepen van waarnemingen significant van elkaar verschillen Doel : vergelijking van groepen van waarnemingen Groepen aanduiden dmv groeperende variabele H O Nulhypothese groepen verschillen niet Voorbeeld 1 : stalen afkomstig van dezelfde populatie => geen verschillen over omgevingsgradient Voorbeeld 2 : geen effect van behandeling geen verschil in gevoeligheid van verschillende populaties of organismen

5 ANOVA (ANALYSIS OF VARIANCE) Statistische test gebruikt om na te gaan of groepen van waarnemingen significant van elkaar verschillen H O Nulhypothese groepen verschillen niet Hoe testen? Natuurlijke variatie Variatie t.g.v. gradient behandeling Variatie binnen groepen tussen groepen H O Aanvaard (P > 0.05) === Verworpen <<< Significan verschil

6 Beide groepen zijn afkomstig van de extreme zijden van dezelfde populatie 2 mogelijke verklaringen voor het verschil tussen 2 gemiddelden : Beide groepen van 4 waarnemingen zijn afkomstig van 2 verschillende populaties

7 Parametrisch of niet-parametrische testen 2 groepen t - test F - test Mann- Withney U test > 2 groepen ANOVA Kruskal-Wallis test Als een gekende distributie (normale of Poisson) als model voor data frequentie distributie kan gebruikt worden oorwaarden : - willekeurige en onafhankelijke verzameling van gegevens ( randomness and independence => ingebouwd in staalname) - waarnemingen of data moeten normaal verdeeld zijn (eventueel na transformatie) - homogeniteit van de varianties (transformatie)=> Bartlett s test - variantie onafhankelijk van het gemiddelde (transformatie)

8 Als een gekende distributie (normale of Poisson) als model voor data frequentie distributie kan gebruikt worden - waarnemingen of data moeten normaal verdeeld zijn (eventueel na transformatie)

9 Als een gekende distributie (normale of Poisson) als model voor data frequentie distributie kan gebruikt worden - homogeniteit van de varianties - variantie onafhankelijk van het gemiddelde Relatie gemiddelde - variantie Voor transformatie Na transformatie A B C D LOGA LOGB LOGC LOGD GEMID VAR variantie variantie gemiddelde gemiddelde

10 Parametrisch of niet-parametrische testen 2 groepen t - test F - test t-test : vergelijking van gemiddelden van 2 stalen waarbij wordt uitgegaan van gelijke varianties t waarde vergelijken met getabelleerde waarde t = y s p n 1 1 ² y + 2 s p n 2 ² Met s² p = SS 1 + SS 2 n 1 + n 2 = variantie over beide groepen heen t s = schatting hypothese SD van schatting

11 Parametrisch of niet-parametrische testen 2 groepen t - test F - test t-test : vergelijking van gemiddelden van 2 stalen waarbij niet wordt uitgegaan van gelijke varianties t waarde vergelijken met getabelleerde waarde t = y 1 s1 ² n 1 y + 2 s n 2 2 ² F- test : vergelijking van varianties van 2 grote stalen (n>50) F waarde vergelijken met getabelleerde waardevoor n 1-1 en n 2-1 vrijheidsgraden (grootste variantie in teller) F = s s 1 2 ² ²

12 Parametrisch of niet-parametrische testen > 2 groepen ANOVA Natuurlijke variatie Variatie t.g.v. gradient behandeling Variatie binnen groepen tussen groepen H O Aanvaard === Verworpen <<< Significant verschil

13 ANOVA - tabel Voor k groepen en n waarnemingen in totaal groep 1 2. k data y 1 y n/k y n Totale gemiddelde Y oepsgemiddelde Y Totale variatie Variatie tussen groepen (effect) Variatie binnen groepen (error) Som van de kwadraten (SS) = ( y Y )² Variantie s² = MS = SS ( y Y)² = df df

14 groep 1 2. k Totale gemiddelde data y 1 y n/k y n Y oepsgemiddelde SS = ( y Y )² Y Totale variatie Variatie tussen groepen (effect) Variatie binnen groepen (error) Variantie s² = MS = SS / df ANOVA - tabel Bron van variatie Vrijheidsgraden (df) Som kwadraten SS Gemiddelde kwadraten MS = SS/df Totaal n-1 ( y Y )² SS / n-1 Tussen k-1 ( Y Y )² SS / k-1 Binnen n-k ( y Y )² SS / n-k

15 Bron van variatie Vrijheidsgraden (df) Som kwadraten SS Gemiddelde kwadraten MS = SS/df Totaal n-1 ( y Y )² SS / n-1 Tussen k-1 ( Y Y )² x n/k SS / k-1 Binnen n-k ( y Y )² SS / n-k Staalgrootte waarop gemiddelden zijn gebaseerd Totaal n-1 totale variantie over n waarnemingen Tussen k-1 variantie van groepsgemiddelden (x n/k Binnen n-k gemiddelde van de groepsvarianties F = MS MS tussen binnen < F H tab. 0 Getabelleerde F distributie met k-1 en n-k vrijheidsgrade

16 F -ratio - F ratio is dus ratio van gemiddelde kwadraten tussen groepen en de gemiddelde kwadraten binnen groepen. (F>1) - De F-ratio volgt een verwachte distributie volgens een bepaalde functie met 2 types vrijheidsgraden. - De F-distributie is dus een theoretische waarschijnlijkheidsdistributie - Er wordt steeds een F-distributie bekomen wanneer de varianties gelijk zijn

17 Gebruikte voorbeelden steeds groepen met gelijk aantal waarnemingen (n/k Indien k groepen van verschillende grootte, wordt MS tussen groepen Tussen k-1 ( Y Y )² x n/k vervangen door: n i ( Y i Y w )² met Y w = wy i w i i W i = aantal waarnemingen in groep i df ipv W i

18 taal ussen innen n-1 totale variantie over n waarnemingen k-1 variantie van groepsgemiddelden (x n/k) n-k gemiddelde van de groepsvarianties F = MS tussen MSbinnen Voorbeeld 1 Vergelijking van de inhoud van 3 pipetten (in ml) 3 groepen (k), 9 waarnemingen (n) Totale variatie (df = 8) Variatie tussen pipetten (effect) (df = 2) Natuurlijke variatie binnen groepen (error) (df = 6) A B C A+B+C middelde var(gemiddelden) 23. riantie gem(varianties) 103

19 Voorbeeld 1 Vergelijking van de inhoud van 3 pipetten (in ml) 3 groepen (k), 9 waarnemingen (n) Totale variatie (df = 8) Variatie tussen pipetten (effect) (df = 2) Natuurlijke variatie binnen groepen (error) (df = 6) A B C A+B+C middelde var(gemiddelden) 23. riantie gem(varianties) 103 Bron van variatie Vrijheidsgraden (df) Totaal n-1 Som kwadraten SS ( y Y )² Gemiddelde kwadraten MS = SS/df 95 Tussen k-1 ( Y Y )² x n/k x 3 = 70.6 Binnen n-k ( y Y )² 103.1

20 Voorbeeld 1 Vergelijking van de inhoud van 3 pipetten (in ml) 3 groepen (k), 9 waarnemingen (n) Bron van variatie Vrijheidsgraden (df) Totaal n-1 Som kwadraten SS ( y Y )² Gemiddelde kwadraten MS = SS/df 95 Tussen k-1 ( Y Y )² x n/k x 3 = 70.6 Binnen n-k ( y Y )² F MS tussen = = 70.6 / = 0.68 MSbinnen Getabelleerde F waarde voor 6 en 2 vrijheidsgraden = => geen significant verschil tussen pipetten

21 Voorbeeld 1 F H O H O MS tussen MSbinnen Vergelijking van de inhoud van 3 pipetten (in ml) 3 groepen (k), 9 waarnemingen (n) = = 70.6 / = 0.68 Getabelleerde F waarde voor 6 en 2 vrijheidsgraden = => geen significant verschil tussen pipetten Variatie binnen groepen = Variatie tussen groepen aanvaard Stalen afkomstig van dezelfde populatie of verschillen tussen pipetten liggen binnen te verwachten foutmarges H 0 wordt aanvaard als de probabiliteit of waarschijnlijkheid groter is dan 5 % (of 0.05) H 0 wordt verworpen als de probabiliteit of waarschijnlijkheid kleiner is dan 5 % (of 0.05)

22 otaal ussen n-1 totale variantie over n waarnemingen k-1 variantie van groepsgemiddelden (x n/k) F = MS tussen Binnen n-k gemiddelde van de groepsvarianties MSbinnen Voorbeeld 2 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 4 verschillende farmaceutische behandelingen (k); 6 muizen per behandeling => 24 waarnemingen(n) Totale variatie (df =23) Variatie tussen behandelingen (effect) (df = 3) Natuurlijke variatie binnen groepen (error) (df =20) A B C D A+B+C Gem var(gem) Var gem(var) 349.9

23 Voorbeeld 2 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 4 verschillende farmaceutische behandelingen (k); 6 muizen per behandeling => 24 waarnemingen(n) A B C D A+B+C Gem var(gem) Var gem(var) Bron van variatie Vrijheidsgraden (df) Som kwadraten SS Gemiddelde kwadraten MS = SS/df Totaal n-1 = Tussen k-1 = X 6 = Binnen n-k = F MS tussen = = MSbinnen Getabelleerde F waarde (df =3 en 20 en p = 5%) = 3.1 H O Verworpen => significante verschillen

24 ANOVA (ANALYSIS OF VARIANCE) Variatie binnen groepen (error) Parametrische testen 1 effect of behandeling one way ANOVA Variatie tussen groepen (effect) Totale variatie Variatie binnen groepen (error) two way ANOVA 2 effecten of behandelingen Variatie tussen groepen (effect) tale variatie Variatie effect 1 Variatie effect 2 Var. effect 1 en 2

25 orbeeld 1 en 2 : één groeperende variabele : 3 pipetten, 4 behandelingen = one way ANOVA slechts 1 effect two way ANOVA 2 groeperende variabelen effect van twee variabelen (behandelingen, gradienten) tegelijk na te gaan Voorbeeld 3 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met Bordetella pertussis bacteriën Zelfde data als in voorbeeld 2 maar nu is groep A : controle (geen behandeling) groep B: infectie met pertussis groep C: toedienen van adrenaline groep D: beide behandelingen (adrenaline + pertussis)

26 Voorbeeld 3 n = 24 k = 4 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met pertussis bacteriën groep A : controle (geen behandeling) groep B: infectie met pertussis groep C: toedienen van adrenaline groep D: beide behandelingen (adrenaline + pertussis) otale ariatie = 23 Variatie tussen groepen (effect) tgv behandeling df = 3 Variatie binnen groepen (error) of natuurlijke variatie (residueel) df = 20 Pertussis effect Adrenaline effect Adre + Pert df = df = df =

27 Voorbeeld 3 n = 24 k = 4 totaal tussen Binnen Pertussis adrenaline Pert x Adre Bron van variatie (df) SS MS = SS/df F ratio Totaal Tussen Pertus Adren * * In teractie Binnen * variantie van groepsgemiddelden A+C en B+D x 12 (n/2) * variantie van groepsgemiddelden A+B en C+D x 12 (n/2) effect 1 effect 2 A B C D

28 Voorbeeld 3 n = 24 k = 4 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met pertussis bacteriën rie nulhypothesen : ) geen verschil in glucose tussen geinfecteerde en niet-geinfecteerde muiz ) geen verschil in glucose met of zonder toevoeging van adrenaline ) er is geen interactie tussen beide types behandelingen Getabelleerde F-waarde voor 1 en 20 vrijheidsgraden voor p = 0.05 is 4.35 H O Alle verworpen => significante verschillen tgv beide behandelinge en interactie tussen beide

29 Niet- geinfecteerd Geinfecteerd met Pertussis

30 Glucose adrenaline niet-geinf. pertussis Besluit : - Met Pertussis geinfecteerde muizen hebben een significant lager glucose gehalte dan niet geïnfecteerde muizen. - Toediening van adrenaline verhoogt significant de glucose spiegel in het serum van alle muizen - Toediening van adrenaline verhoogt de glucose spiegel meer bij niet geïnfecteerde muizen dan bij met Pertussis geïnfecteerde muizen.

31 Voorbeeld 4 n = 24 k = 4 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met pertussis bacteriën Randomized blocks with nesting : saline saline adrenaline adrenaline pertussis pertussis A B C D bloktotaal I I II II III III totaal blokken van 2 waarnemingen totaal tussen Pertussis adrenaline Pert x Adre

32 Voorbeeld 4 n = 24 k = 4 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met pertussis bacteriën Randomized blocks with nesting : saline saline adrenaline adrenaline pertussis pertussis A B C D bloktotaal I I II II III III totaal blokken van 2 waarnemingen totaal Tussen (11) Blokken (2) Behandelingen (3) blok x behand (6) Pertussis adrenaline Pert x Adre

33

34 Voorbeeld 5 n = 24 k = 4 Vergelijking van de glucose concentratie (mg/l) in serum van muizen na 2 types van behandelingen : behandeling 1 : toedienen van adrenaline op dag 14 behandeling 2 : infectie met pertussis bacteriën Blocks without nesting : saline saline adrenaline adrenaline pertussis pertussis A B C D bloktotaal I II III IV V VI totaal totaal Tussen (23) Blokken (5) Behandelingen (3) blok x behand (15) Tussen of residuele Pertussis adrenaline Pert x Adre

35

36 Vergelijkingen van gemiddelden Stel H 0 wordt verworpen bij ANOVA => er zijn significante verschillen tussen groepen Tussen welke???? Vergelijking tussen paren en groepen van gemiddelden Welke paren of groepen men vergelijkt hangt af van wat men wil testen Indien onafhankelijk van het resultaat op voorhand is uitgemaakt welke groepen met elkaar worden vergeleken spreken we van GEPLANDE of A PRIORI vergelijkingen Vb testen van controle tov gemiddelde van verschillende experimentele behandelingen Indien afhankelijk van het resultaat bepaalde groepen met elkaar worden vergeleken spreken we van ONGEPLANDE of A POSTERIORI vergelijkingen. Deze testen omvatten de vergelijking van alle mogelijke paren van vergelijkingen a groepen => (a (a-1)/2 combinaties)

37 Voorbeeld 2 Categorized Plot for Variable: B B ±Std. Dev. ±Std. Err. A B C D Tukey HSD test; A Probabilities for Post Hoc Tests MAIN EFFECT: {1} {2} {3} {4} A {1} B {2} C {3} D {4} Mean

38 Parametrisch of niet-parametrische testen 2 groepen t - test F - test > 2 groepen ANOVA one way two way Man Withney U test Kruskal Wallis test Friedman s test In een parametrische test wordt er bij de nulhypothese uitgegaan van een bepaalde distributie en moeten de parameters (gemiddelde en variantie) van die distributie hetzelfde zijn voor elke groep (staal of experiment). Niet-parametrische testen die niet uitgaan van deze voorwaarden, zijn minder krachtig doordat ze niet alle aanwezige informatie gebruiken => RANKING In het geval van kleine stalen en geen normale distributie

39 Mann Withney U test H O Twee onafhankelijke willekeurige stalen komen van dezelfde populatie met gelijke distributie en mediaan. (geen assumpties over vorm van distributie) Werkwijze (voor kleine groepen) : Gooi alle waarnemingen van beide groepen samen en orden ze van laag naar hoog. Vervang elke waarneming door zijn rankingsnummer In het geval van gelijke waarnemingen wordt het gemiddelde berekend van de overeenemmende rankingsgetallen en dit aan de betreffende overlappende waarnemingen toegekend Beide groepen worden terug uit elkaar gehaald en de rankingsnummers per groep sommeerd. Vervolgens wordt per groep de U- coëfficient berekend. De kleinste U coefficient wordt vergeleken met getabelleerde waarde voor elbepaalde n s en p waarden. dien kleinste U waarde kleiner dan U tabel bij een probaliteit groter dan 0.05 > H 0 is verworpen

40 Voorbeeld 6 Twee ongelijke, onafhankelijke stalen van Mysidaceeën met grootte broed in marsupium of broedbuidel. Staal 1 n 1 = 5 Staal 2 n 2 = 10 data R rank = rank, n1 = 22 data R rank = rank, n2 = 98 U 1 = 7 U 2 = 43 U waarde bij 5 %en 5 en 10 vrijheidsgraden is gelijk aan 8 => H 0 verworpen U 1 n ( n 2 + 1) ( n + 1) = n1n 2 + R2 U 2 = n1n2 + R1 n

41 Parametrisch of niet-parametrische testen > 2 groepen ANOVA one way Kruskal Wallis test Kruskall Wallis test Voor meerdere groepen van ongelijke grootte N K = ni 12 ( R ²) = i coëfficient 3( N N( N + 1) n i = aantal groepen R i = som van ranks in staal i n i = aantal waarnemingen in staal i i + 1) K is bij benadering verdeeld als een chi-kwadraat distributie met i-1 df χ² => H0 wordt verworpen indien K > met i-1 df en bij p = 0.05

42 Ook voor de niet-parametrische Kruskal Wallis test wordt er geen uitsluitsel gegeven over welke stalen-groepen significant van elkaar verschillen => methode om na te gaan welke paren significant van elkaar verschillen. De groepen i en j verschillen van elkaar indien : ² %) ( + > j i j j i i n n k N T N S p t n R n R R i = som van ranks in staal I t = twaarde (distributie) voor N-k df en bepaalde probaliliteit + = alleranks ij N N N X R S 4 1)² ( )² ( ² = = k i i i N N N R S T 1 4 1)² ( ² ² 1 Met R(X ij ) het rankingsnummer van de waarneming X ij gesommeerd over alle ranks

43 Parametrisch of niet-parametrische testen > 2 groepen ANOVA Friedman s test Voorbeeld 5 saline saline adrenaline adrenaline pertussis pertussis A B C D bloktotaal I II III IV V VI totaal ² 12 ab( a + 1) a = a b two way met randomized blocks Friedman s test - alleen voor n groepen met gelijk aantal waarnemingen - elke groep kan ingedeeld worden in aantal blokken(b) - bepalen van rangorde in elke blok (in geval van 4 behandelingen (a) ranking van 1 tot 4) saline saline adrenaline adrenaline pertussis pertussis A B C D I II III IV V VI totaal R ij 3b( + 1) = ( 18² + 7² + 24² + 11² ) 3 6( (4 1) x x +

44 Friedman s test Voorbeeld 5 saline saline adrenaline adrenaline pertussis pertussis A B C D bloktotaal I II III IV V VI saline saline adrenaline adrenaline pertussis pertussis A B C D I II III IV V VI totaal ² 12 ab( a + 1) a = a b χ ² = 17 totaal R ij 3b( + 1) = ( 18² + 7² + 24² + 11² ) 3 6( (4 1) x x + Deze waarde wordt vergeleken met de chi kwadraat waarde voor a-1 of 3 vrijheidsgraden en p< 0.05 = => Indien groter H 0 wordt verworpen Er is een significant verschil Niet parametrische test kan alleen verschillen tussen groepen aantonen; de test zegt niets over interacties tussen behandelingen.