Kritisch lezen Hoe lees ik een artikel?

Transcriptie

1 Kritisch lezen Hoe lees ik een artikel? Prof. Dr. Lieve Peremans 2/5/15 Herhaling titel van presentatie 1

2 Evalueer kritisch de kwaliteit Heb ik nu een goed artikel? 1.Soorten onderzoeksdesigns 2.Regels goed wetenschappelijk onderzoek 3.Resultaten 4.Toepasbaarheid Pag.

3 Soorten artikels: hiërarchie Systematic reviews en meta-anlyses Originele onderzoeksartikels: RCT, case-control studies, cross sectionele studies, case reports Kwalitatief onderzoek Pag.

4 Systematisch Literatuur Overzicht Vertrekkende vanuit de PICO Definiëren zoekstrategie om evidence te vinden Definiëren criteria om evidence te selecteren Definiëren criteria om evidence te evalueren Evidence level = studie type+kwaliteitsbeoordeling Pag. Zoeken naar evidence-based richtlijnen, systematische reviews, meta-analyses Review abstracts om correcte types van studies te vinden met de juiste klinische criteria Methodologische kwaliteitsbeoordeling studies a.d.h.v een checklist Evidence tabel met een beschrijving van de gevalideerde studies Is er voldoende evidence om een antwoord te formuleren op de klinische vraag? Literature search uitbreiden Observationele studies Indien niet voldoende

5 Soorten onderzoek! Richtlijen: Beoordelen met Agree! Systematische review: evaluatie via cochrane evaluatie formulier SR (RCTs, diagnostisch onderzoek, case-control, cohort)! RCT (onderzoek met de grootste bewijskracht! Case-control, observationeel onderzoek Herhaling titel van presentatie 2/5/15 Pag. 5

6 Eerste beoordeling! Kijk eerst naar de abstract (soms valkuil)! Onderzoekspopulatie en setting relevant voor mijn situatie?! Goede onderzoeksvraag geformuleerd Alle 3 JA: ga verder Herhaling titel van presentatie 2/5/15 Pag. 6

7 Eerste beoordeling Indien goede guideline - 3 bovenstaande criteria OK en gescoord met AGREE: STOP zoektocht, enkel nog SR en oorspronkelijke artikels recenter dan datum richtlijn Zo neen, nieuwe zoektocht maar dan start met SR Herhaling titel van presentatie 2/5/15 Pag. 7

8 Eerste beoordeling Indien goede systematische review (SR) - 3 bovenstaande criteria OK en gescoord op Cochrane checklist: STOP, enkel nog recentere originele artikels zo neen PubMed, goede originele onderzoeksartikels Herhaling titel van presentatie 2/5/15 Pag. 8

9 Evidentieniveaus: Sterkte van het wetenschappelijk bewijs Onbewerkte evidence (origineel onderzoek) vs systematisch literatuur overzicht (metaanalyses)/guidelines Eén enkel onderzoek vs verschillende onderzoeken Pag.

10 Is dat screenen wel nodig? Waarom screenen? - Het zijn toch eminente auteurs - De studie is niet gesponserd - Het is een belangrijk tijdschrift Maar soms toch conflict of interest van de sponsor, negatieve resultaten niet gepubliceerd Herhaling titel van presentatie 2/5/15 Pag. 10

11 Kwaliteitsbeoordeling in de prakijk Problemen bij kwaliteitsbeoordeling Praktische hulpmiddelen Pag.

12 Kwaliteitsbeoordeling Richtlijnen: AGREE Systematische reviews: beoordelingsformulieren-en-andere-downloads Originele artikels: auteurs volgen CONSORTrichtlijnen maar dit is ingewikkeld om als lezer te gebruiken Voor kwalitatief onderzoek zijn er ook checklists Herhaling titel van presentatie 2/5/15 Pag. 12

13 Richtlijnen: Evidentieniveau s Hoe effectief is een therapie? Evidentieniveau 1 Meta-analyse of systematische review Minstens één RCT van goede kwaliteit Prospectief cohortonderzoek met minstens 80% follow-up Evidentieniveau 2 Minstens één RCT van matige kwaliteit Retrospectief Cohortonderzoek Case-control onderzoek Evidentieniveau 3 Geen RCT s van goede kwaliteit Concensus Meta-analyses met tegenstrijdige resultaten Pag.

14 Grading Sterk of zwak aanbevelen Risico op bias Inconsistentie= onverklaarbare heterogeniciteit Indirectheid = indirecte vergelijking, verschillende populaties, verschillende outcomematen Onvoldoende precisie = slechts enkele patiënten, slechts enkele gebeurtenissen, breed BI Publicatiebias = selectieve publicatie Plausibele confounder zou effect veranderen Dosisafhankelijke gradiënt Herhaling titel van presentatie 2/5/15 Pag. 14

15 Problemen met vergelijken van resultaten van systematische reviews Naratieve review vs systematische review Verschillende PICO in diverse RCT Taalbeperkingen: studies uitgesloten omwille van taalbarrière Verschillen in research periode en strategie Klinische en statistische heterogeniciteit Verschil in de data extractie: bv subgroepen nemen ipv ganse populatie Verschillende statistische poolingmethodes Herhaling titel van presentatie 2/5/15 Pag. 15

16 Oefening 1 Richtlijn bekijken met AGREE Systematische review of niet? Herhaling titel van presentatie 2/5/15 Pag. 16

17 Problemen bij kwaliteitsbeoordeling RCT Alleen mogelijk als de trial goed is opgeschreven Probeer aanvullende informatie te verkrijgen bij oorspronkelijke auteurs (vaak moeilijk) Tegenwoordig strikte rapportage-eisen: CONSORT statement Begg et al. JAMA 1996;276:637-9 Moher et al. JAMA 2001;285: Pag.

18 Praktische hulpmiddelen: een beknopte lijst 1. Bronpopulatie (in- en exclusie criteria) relevant voor jouw setting? 2. Bij een RCT: is de toewijzing van de interventie aan de patiënten gerandomiseerd gebeurd? 3. Was de methode van randomisatie op de juiste wijze gebeurd? Pag.

19 Praktische hulpmiddelen: een beknopte lijst 1. Bronpopulatie (in- en exclusie criteria) relevant voor jouw setting? 2. Bij een RCT: is de toewijzing van de interventie aan de patiënten gerandomiseerd gebeurd? 3. Was de methode van randomisatie op de juiste wijze gebeurd? Indien NEEN dan moet je niet verder lezen! Pag.

20 Praktische hulpmiddelen: een beknopte lijst 4. Waren de groepen aan het begin van de trial vergelijkbaar? 5. Waren de patiënten geblindeerd? 6. Waren de behandelaars geblindeerd? 7. Waren de onderzoekers geblindeerd? Zo neen, harde uitkomstmaten? 8. Is de follow-up voldoende lang? Uitval < 20%? 9. Zijn de resultaten geanalyseerd volgens het intention to treat principe? Onvoldoende valide en toepasbaar: niet includeren tenzij enig artikel Pag.

21 Praktische hulpmiddelen: een beknopte lijst 10. Zijn de resultaten belangrijk (NNT, NNS?) 11. Betrouwbaarheidsinterval niet te breed (95% BI) 12. Zijn de resultaten van toepassing voor jouw werksetting? Pag.

22 Hoe goed is de kwaliteit?! Betrouwbaarheid of geldigheid (= validiteit) is afhankelijk van de manier waarop de studie is uitgevoerd! Methodologische tekortkomingen leiden tot vertekening of Bias! Hoe meer bias tgv tekortkomingen, hoe minder de resultaten bruikbaar zijn Herhaling titel van presentatie 2/5/15 Pag. 22

23 Validiteit en precisie Validiteit: afwezigheid van systematische fouten (bias) bias te voorkomen door goed onderzoeksontwerp bias soms achteraf te herstellen door juiste analyse Precisie: (relatieve) afwezigheid van toevallige fouten (steekproefvariatie, ruis) kwantificeren m.b.v. betrouwbaarheidsinterval (NB: grote onderzoeken zijn preciezer!) Pag.

24 Interne en externe validiteit Interne validiteit (afwezigheid van bias) mate van geldigheid van de resultaten voor de onderzochte groep personen Externe validiteit (representativiteit, extrapoleerbaarheid) mate van extrapoleerbaarheid van de onderzoeksresultaten Kwaliteitsbeoordeling betreft de interne validiteit Pag.

25 Beoordelingscriteria voor interne validiteit Bronpopulatie Randomisatie In- en exclusie klinisch relevant Randomisatie: methode-blindering Interventie Interventie Follow-up Uitkomst Controle Placebo Follow-up Uitkomst Vergelijkbaarheid van groepen Blindering pt en behandelaar Volledigheid followup Geblindeerde uitkomst, intention to treat, grootte, precisie Herhaling titel van presentatie 2/5/15 Pag. 25

26 Bronpopulatie Populatie waaruit patiënten zijn gerecruteerd Komen in-en exclusiecriteria overeen met uw doelpopulatie Indien JA OK Indien NEEN zoek ander artikel Herhaling titel van presentatie 2/5/15 Pag. 26

28 Randomisatie: methode Toeval bepaalt: patiënten in interventie-of Controlegroep Prognostisch vergelijkbare groepen: cave selectiebias Herhaling titel van presentatie 2/5/15 Pag. 28

29 Interne validiteit In geval van bias is uitkomst gewoon fout! Benodigd: juist onderzoeksontwerp, dus kijken naar onderzoeksdesigns Pag.

30 Vormen van bias Selectiebias Performance bias Exclusion (attrition) bias Detectiebias (informatiebias) Pag.

31 Selectiebias Selecte toewijzing waardoor ongelijke verdeling van bekende en onbekende prognostische factoren over beide behandelarmen Oplossing: randomiseren (aselect toewijzen) blindering van de toewijzing van de behandeling (concealment of allocation) Pag.

32 Selectiebias Eisen aan randomisatieprocedure Toewijzer onwetend over volgorde = geblindeerd (= concealment of allocation) Volgorde door onafhankelijke derde gemaakt Bij voorkeur telefonisch of computer-gestuurd (enveloppen kunnen problemen geven!) Pag.

34 Vergelijkbaarheid van groepen! Groepen per definitie gelijk na randomisatie! Niet of er verschillen zijn op zich, wel of ze relevant zijn (kleine populatie, sommige relevante verschillen zijn niet klinisch significant )! Wat heeft men gedaan met de verschillen? Herhaling titel van presentatie 2/5/15 Pag. 34

36 Valkuil: Performance bias verschillen in toepassing van zorg door kennis over toegewezen behandeling Oplossing: blinderen van behandelaar blinderen van patiënt Pag.

37 Blindering van pt en behandelaar! Patiënt en behandelaar weten niet welke behandeling, interventie de patiënt krijgt Patiënt blinderen! Voorkomen dat voorkeur voor behandeling het resultaat beïnvloedt! Bv kennis kan de coompliance al dan niet beïnvloeden! Kan niet altijd worden voorkomen! Bv een massage tov halskraag Herhaling titel van presentatie 2/5/15 Pag. 37

38 Blindering van pt en behandelaar! Patiënt en behandelaar weten niet welke behandeling, interventie de patiënt krijgt Behandelaar blinderen! Voorkomen dat arts enthousiasme uitstraalt voor een bepaalde behandeling! Bv selectieve toename van het placebo-effect! Richtlijnen voor follow-up verschillend opvolgen! Bij controle en interventiegroep Herhaling titel van presentatie 2/5/15 Pag. 38

40 Valkuil: Exclusion bias Attrition bias: selectieve uitval Oplossing: intention-to-treat analyse (zie verder) sensitiviteitsanalyse (best case, worst case) Pag.

41 Volledigheid van follow-up! Kijk altijd goed naar de tabellen! > 20% verschil = relatief grote uitval! Gevaar: selectieve uitval tgv de aard van de behandeling (= exclusion bias)! Mogelijks geen vergelijkbare groepen op het einde van de studie! Onvoldoende grote groepen (cave grootte steekproef, power van de studie)! Beschrijving van de uitval!! Kijk ook naar de duur van follow-up Herhaling titel van presentatie 2/5/15 Pag. 41

43 Valkuil: Informatiebias beïnvloeding van uitkomstbepaling door kennis over toegepaste behandeling Oplossing: blinderen van effect-beoordelaar Pag.

44 Geblindeerde uitkomstmeting! Blinderen van de effectbeoordelaars: effecten van interventie en controlegroep worden gelijkwaardig beoordeeld! Afhankelijk van uitkomstmaten! Bij harde uitkomstmaten zoals mortaliteit is blindering niet nodig! Bij labotesten ook geen blindering nodig! Bij spirometrie oppassen kan een subjectieve beïnvloeding geven! RX blinderen is nodig Herhaling titel van presentatie 2/5/15 Pag. 44

46 Intention to treat analyse! Patiënten analyseren in de groep waarin ze werden gerandomiseerd! Bv patiënt die stopt tijdens behandeling blijft in de interventiegroep en gaat niet naar de controlegroep! Op deze manier is de validiteit van de randomisatie intact! Voordeel: meer de dagelijkse realiteit! Nadeel: effect van de interventie lijkt kleiner Herhaling titel van presentatie 2/5/15 Pag. 46

47 Beoordelingscriteria voor interne validiteit Bronpopulatie Randomisatie In- en exclusie klinisch relevant Randomisatie: methode-blindering Interventie Interventie Follow-up Uitkomst Controle Placebo Follow-up Uitkomst Vergelijkbaarheid van groepen Blindering pt en behandelaar Volledigheid followup Geblindeerde uitkomst, intention to treat, effect grootte, precisie Herhaling titel van presentatie 2/5/15 Pag. 47

48 Effectgrootte Effectschatting: het effect van de interventie t.o.v. placebo Voorbeeld: Risico op een nieuw infarct Patiënten in behandelingsgroep na 4 jaar 11%/ patiënten in controlegroep na 4 jaar 20% RR = 11%/20% = 0.55 Pag.

49 Even opfrissen RR = 1 RR < 1 RR > 1 Geen verschil in effect Gunstig effect van de behandeling Ongunstig effect Herhaling titel van presentatie 2/5/15 Pag. 49

50 Even opfrissen NNT(S) number need to treat, screen NNH number need to harm AR aantal voorvallen (goede of slechte) in behandelde of controlegroep/ aantal mensen in die groep Pag.

51 Even opfrissen ARC aantal gevallen in de controlegroep (bv 20) ART aantal gevallen in de behandelingsgroep (bv 11) ARR = ARC-ART (bv 20-11) Pag.

52 Even opfrissen RR = ART/ARC (bv 11/20 of 0.55) RRR = 1 RR (1 0.55= 0.45 (45%)) Dit wil zeggen het geneesmiddel voorkomt bij 45% van de ptn een hartinfarct dat ze zonder behandeling wel zouden gekregen hebben. Dit geldt niet voor de individuele patiënt Pag.

53 Even opfrissen RR = ART/ARC (bv 11/20) ARR = ARC-ART (bv 20-11= 9%) Dit wil zeggen: ik moet 100 patiënten behandelen om 9 infarcten te voorkomen NNT = 1/ARR 1/(20-11)= O.09 dwz 11 mensen ged. 4 jaar behandelen om 1 infarct te voorkomen Pag.

54 Achtergrondrisico Relatief effect constant Absolute effect bepaald door riscicoprofiel Pag.

55 Achtergrondrisico Hoe lager het achtergrondrisico, hoe gunstiger de prognose, hoe groter de NNT, (NNS) dus hoe baat deze persoon heeft met deze behandeling. Pag.

56 Invloed van de setting Invloed van de setting? Een nieuw geneesmiddel A om maagpijn te voorkomen wordt vergeleken met bestaand middel B. Het kan zijn dat in het ziekenhuis 50% patiënten baat hebben bij A (NNT= 4) tegenover 10 % van de patiënten bij de huisarts (NNT = 20). dus? Pag.

57 Weegschaal kant 1: ARR (NNT) kant 2: AR ernstige bijwerkingen, last van de behandeling, kostprijs, praktijk, follow-up.. Pag.

58 Beoordelingscriteria voor interne validiteit Bronpopulatie Randomisatie In- en exclusie klinisch relevant Randomisatie: methode-blindering Interventie Interventie Follow-up Uitkomst Controle Placebo Follow-up Uitkomst Vergelijkbaarheid van groepen Blindering pt en behandelaar Volledigheid followup Geblindeerde uitkomst, intention to treat, effect grootte, precisie Herhaling titel van presentatie 2/5/15 Pag. 58

59 Precisie Hoe bepalen?! Het 95% betrouwbaarheidsinterval (95%BI)! Breedte wordt bepaald door grootte van de onderzoekspopulatie! Hoe groter de populatie, hoe kleiner het interval m.a.w. Hoe precieser de resultaten! Als het betrouwbaarheidsinterval van de interventiegroep overlapt met de placebogroep dan is er geen statistisch significant verschil tussen beide groepen Herhaling titel van presentatie 2/5/15 Pag. 59

60 Oefening 2 Een artikel bekijken aan de hand van de criteria Herhaling titel van presentatie 2/5/15 Pag. 60