Syllabus OnderzoeksMethodologie

Transcriptie

1 Syllabus OnderzoeksMethodologie Dr. Marieke van Vugt February 12, 2012 Het doel van onderzoeksmethodologie is dat je leert hoe onderzoek opgezet wordt en deze kennis ook praktisch kunt toepassen. Je leert een groot aantal statistische technieken gebruiken, en beoordelen welke van deze technieken van toepassing is op een bepaalde onderzoeksvraag en/of dataset. Tenslotte leer je welke conclusies je kunt trekken uit je experimenten. Dit vak is een goede voorbereiding op je Bachelorproject, en maakt gebruik van de kennis die je hebt opgedaan in Statistiek, en in Wetenschappelijke Basisvaardigheden. Colleges in dit vak zullen plaatsvinden naar aanleiding van het boek Empirical Methods for Artificial Intelligence en datasets uit de dagelijkse onderzoekspraktijk. 1 Leerdoelen: Betrouwbaarheid en nauwkeurigheid beoordelen van experimenten Exploratieve data analyse kunnen uitvoeren Parametrische en non-parametrische hypothese toetsen gebruiken t-toetsen, Wilcoxon, rank sum, ANOVA... Methodes kunnen gebruiken voor de analyse van categorische data Computer-intensieve methoden voor data analyse gebruiken Conclusies communiceren uit resultaten van statistische toetsen Statistische modellen kunnen vergelijken Het verschil kennen tussen Bayesiaanse en Frequentistische statistiek 2 Boek: Empirical Methods for Artificial Intelligence Paul R. Cohen 1

2 3 Software: We zullen R ( gebruiken voor de statistiek. Indien je niet heel erg bekend bent met R, raad ik je aan om de Introduction to R tutorial te doen ( Een handige manier om R te gebruiken is met R studio ( 4 Rooster: Hoorcollege: maandag 9:00-11:00 donderdag 9:00-11:00 Werkcollege: groep A groep B maandag 13:00-15:00 woensdag 13:00-15:00 Let op: anders dan op het rooster staat, is er maar een practicum per week Practica zijn niet verplicht, maar de opdrachten wel (die kun je op Nestor vinden). Tijdens practica zal de student assistent soms de opdrachten verder toelichten, en verder beschikbaar zijn voor vragen. De opdrachten zijn een perfecte voorbereiding op het tentamen, wat uit soortgelijke vragen zal bestaan, maar dan zonder gebruik van een computer. Ik wil verder graag dat jullie de hoorcolleges bezoeken, omdat ik een socratische onderwijsstijl heb, waarin ik veel vragen stel en interactie verwacht. De discussies die we tijdens het hoorcollege hebben kunnen je helpen bij het tentamen en ook inspiratie geven voor de blogopdrachten (zie beoordeling). 2

3 5 Overzicht per week: week 1 validity operationalisation/design Ch. 1, 3 what does it mean? week 7 week 2 betrouwbaarheid fouten power analyse collecting data Ch ; Ch 4.9 "empirical cycle" theory building significance vs relevance Ch cross-validation week 6 how good is my model? model comparison week 7 week 3 exploratory data analysis Ch. 2 types of models week 4-5 data analysis Ch. 4 discrete categorical data analysis continuous not in this course: Bayesian data analysis logistic regression Ch. 2.4 contingency table normal non-normal parametric stats nonparametric stats paired one-sample t-test 2 categories unpaired two-sample t-test more categories linear trend ANOVA regression Ch ; 6.A correlation ; 7.A4 Ch bootstrap & permutation tests Ch. 5 2 categories more categories linear trend paired unpaired Friedman test Kendall/Spearman correlation sign-rank test Wilcoxon rank-sum 3

4 6 Beoordeling: Twee-wekelijkse blog post over wat je geleerd hebt (inzichten), of over hoe de onderwerpen van die week van toepassing zijn op onderzoek (bv. wat hier gebeurt) of de actualiteit. Gebruik je creativiteit! (samen 10%) Becijfering van de blogs van anderen (samen 10%) Tentamen (50%) - dit is een gesloten boek tentamen. Het tentamen vindt plaats op dinsdag 3 april van 14:00-17:00 in Het her-tentamen is 3 juli in van 13:00-15:00. Presentatie over een statistische toets en toepassing op een dataset (10%) Online leesquizzes (samen 5%) Praktikum opdrachten (samen 15%) 7 Beoordelings rubriek blogs Doelen van het bloggen: reflectie op je eigen leerproces en het cursusmateriaal. Daarnaast raak je comfortabeler met wetenschappelijk schrijven en wetenschappelijke discussie in een natuurlijke omgeving. Om te zorgen dat dit lukt verwacht ik bijdragen van 1-3 alinea s. Voorbeelden van onderwerpen zijn onderzoeksmethodologie in het bedrijfsleven, methoden en technieken in een robot-competitie, misrepresentatie van t-toets statistieken in de Amerikaanse verkiezingen. Je kunt ook een mogelijke tentamenvraag met antwoord en toelichting (waarom is dit een goede tentamenvraag en wat test je ermee?) inleveren als je blog bijdrage. Tenslotte kun je in je blog reageren op wat een andere student heeft geschreven discussie is een belangrijk onderdeel van de wetenschap (en de maatschappij!) en wordt daarom aangemoedigd! 4

5 1 Opdracht niet uitgevoerd : Niets ingeleverd of slechts 1-2 incoherente zinnen 2 Te beperkt: Zonder focus, herhaalt slechts wat eerder is gezegd. Er is geen bewijs dat de student met de stof bezig is geweest 3 Onder-ontwikkeld: Het is vooral een samenvatting of beschrijving van fenomen, er worden geen verbanden gelegd of alternatieven gegeven. De student is slechts beperkt bezig geweest met de stof. 4 Prima: Er is een redelijke focus, met uitleg of analyse van voorbeelden of data. Er worden wat connecties gelegd tussen ideeen, of er worden inzichten gegeven, maar ze zijn niet helemaal uitgewerkt. De student is duidelijk bezig geweest met de stof. 5 Exceptioneel: Het blog heeft een duidelijke focus, waarin voorbeelden worden geintegreerd met uitleg of analyse. Er is ook een bewustzijn van beperkingen van dit perspectief, of geeft alternatieve perspectieven. De student is duidelijk op een intensieve manier bezig geweest met de stof. Substansief commentaar geven op de blogs van anderen kan zorgen dat je cijfer omhoog gaat. Beargumenteer waarom de bijdrage goed of minder goed is. Als de jou aangewezen persoon geen blog heeft ingeleverd, mag je zelf een ander blog kiezen om te beoordelen. 8 Practica Doel van de practica: bekend raken met de wetenschappelijke methode door het toe te passen op realistische datasets. Naast het correct uitvoeren van de statistische tests leer je om de resultaten te interpreteren en er kritisch over na te denken. Methode: Iedere week krijg je datasets en opdrachten om in R uit te voeren. Je kunt tijdens de werkcolleges vragen stellen aan de student-assistent (Tineke Slotegraaf) en 9 Presentatie onderwerpen In dit vak geeft iedereen een presentatie van een statistische test. In die presentatie leg je de test uit, vertel je voor welk soort data het wordt gebruikt, wat de aannames zijn waar de data aan moet voldoen, en wat voor conclusies je eruit kunt trekken. Je kunt misschien ook een praktisch voorbeeld geven van de toepassing van de test. Probeer de test zo goed mogelijk aan te prijzen, en zo te presenteren dat je mede-studenten deze test zullen onthouden. Bronnen: Empirical Methods boek, Using R for introductory statistics van Verzani (boek van de Statistiek cursus). Je mag ook andere bronnen gebruiken. Ik beoordeel de presentaties op: 5

6 Enthousiasme en originaliteit. Duidelijke beschrijving van de toets (intuïtie en plaatjes zijn vaak behulpzaam). Je kunt ook een simulatie van de toets doen met een simpele dummy dataset. Goede beschrijving van voorwaarden waar de data aan moeten voldoen. Duidelijke boodschap over welke conclusies je uit deze test kunt trekken. datum test student 1 student 2 20/2 unpaired t-test 23/2 paired t-test 27/2 one-way ANOVA 1/3 signrank test 5/3 Wilcoxon rank sum test 8/3 chi-square test 12/3 logistic regression 15/3 linear regression 19/3 multiple linear regression 22/3 two-way ANOVA 26/3 repeated measures ANOVA 29/3 Friedman test 2/4 Pearson correlation 2/4 Kendall correlation 2/4 Spearman correlation 10 Te laat inleveren Als je te laat bent met een opdracht/blog etc dan is het vaak nog wel de moeite om het in te leveren. Je krijgt echter 0.5 punt (van 10) aftrek per dag te laat inleveren. 11 Plagiaat Het is toegestaan om in dit vak samen te werken, maar je wordt wel geacht je eigen rapporten in te leveren, waaruit blijkt dat je het zelfstandig hebt gedaan en opgeschreven. Ik wil dus geen opdrachten zien waarvan passages identiek zijn aan wat mede-leerlingen hebben geschreven of waarvan slechts een paar woorden zijn veranderd. Omdat je een individueel cijfer krijgt wil ik graag zien wat je zelf doet. 6

7 12 Contact informatie: Ik ben bereikbaar per telefoon ( ), en op mijn kamer in de Bernoulliborg (326). Ik reageer het beste op . Je kunt ook vragen stellen aan de student assistent voor deze cursus: Tineke Slotegraaf 7