Ringvorlesung „Einführung in die Methoden der empirischen ...

Ringvorlesung „Einführung in die Methoden der empirischen ...

Philosophische Fakultt Institut fr Soziologie, Lehrstuhl fr Methoden der empirischen Sozialforschung Ringvorlesung Einfhrung in die Methoden der empirischen Sozialforschung I Voruntersuchungen - Pretest Literatur: Faulbaum/Prfer/Rexroth (2009): Was ist eine gute Frage? VS Verlag fr Sozialwissenschaften Dresden, 26. Januar 2010 "Even after years of experience, no expert can write a perfect questionnaire. (Sudman/Bradburn 1982) Regeln fr die Fragebogengestaltung knnen lediglich grobe Fehler vermeiden. Alle Regeln bleiben aber letztlich (noch) unvollstndig. "If you don't have the resources to pilot test your questionnaire, don't do the study." (Sudman/Bradburn 1982) TU Dresden, 02/09/20 Vorstudien - Pretest Folie 2 Beispiel 1

I: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen? ZP: Oh je, vielleicht sechs Stunden. I: Wie kommen Sie jetzt darauf? ZP: Geraten, geschtzt jeden Tag ne Stunde. Mehr jeden Tag: jeden Tag zwei Stunden. Sind 14 Stunden. Ja 14 Stunden. TU Dresden, 02/09/20 Vorstudien - Pretest Folie 3 berblick Pretest-Verfahren 1) Pretest-Verfahren im Feld

Standard-Pretest Behaviour Coding Problem Coding Random Probe Intensiv-Interview Qualitative Interviews Analyse der Antwortverteilungen

Split-Ballot TU Dresden, 02/09/20 Vorstudien - Pretest Folie 4 2) Kognitive Verfahren (Labor) Think-Aloud Probings Confidence Rating Paraphrasing Sorting-Verfahren

Response Latency 3) Weitere Verfahren Focus Groups Expertendiskussionen TU Dresden, 02/09/20 Vorstudien - Pretest Folie 5 1) Pretest-Verfahren im Feld Standard Pretest (Beobachtungspretest)

Kaum verbindliche Regeln Stichprobengre zwischen 10 und 200 (Quota nach Geschlecht, Alter oder Random) Interviewer: Besonders geschulte oder normale Interviewer, Mitglieder der Forschungsgruppe Einmalige Befragung unter realistischen Bedingungen Beobachtung von Aufflligkeiten Kein aktives Hinterfragen Vorteile Relativ billig, ohne zu groen Zeitaufwand Befragungsdauer lsst sich gut ermitteln Grenzen Idee: Schlechte Fragen fallen auf stimmt aber nicht: Auch auf recht erstaunliche Fragen wird geantwortet Nichtwissen und Nichtverstehen wird nicht eingestanden Wenig systematisch, Aufflligkeiten" werden subjektiv gedeutet Relativ grob

TU Dresden, 02/09/20 Vorstudien - Pretest Folie 6 Behaviour Coding Strukturierte Verhaltensbeobachtung (Codierung des Verhaltens) von Interviewern und Interviewten Tonbandmitschnitte Problem Coding Systematische Bewertung der Verhaltensweisen der Zielperson whrend des Interviews Reduziertes Codesystem auf 0: adquat und 1: nicht adquat Nur durch geschulte Interviewer mglich TU Dresden, 02/09/20 Vorstudien - Pretest Folie 7 Random Probe

fr geschlossene Fragen bei zufllig ausgewhlten Items werden Zusatzfragen gestellt, z.B. 10 von 200 Beispiele Bitte nennen Sie ein Beispiel fr das, was Sie meinen! Ich verstehe Sie, und warum haben Sie das geantwortet? Knnen Sie mir bitte etwas mehr dazu sagen? TU Dresden, 02/09/20 Vorstudien - Pretest Folie 8 Analyse von Antwortverteilungen

Suche nach: Minimal oder nicht besetzten Kategorien Extremen Hufigkeitsverteilungen Wahl von Ausweichkategorien (Wei nicht, verweigert usw.) Voraussetzung: relativ hohe Fallzahl TU Dresden, 02/09/20 Vorstudien - Pretest Folie 9 Split-Ballot Mehrere Varianten einer Frage werden eingesetzt

Vergleich der Hufigkeitsverteilungen Relativ groe Stichproben erforderlich Kombination mit anderen Verfahren mglich Beispiel: ALLBUS CAPI-PAPI 2000 TU Dresden, 02/09/20 Vorstudien - Pretest Folie 10 2) Kognitive Verfahren Ziel: Frageverstndnis und Informationsbeschaffung aufdecken Think-Aloud-Method Zielperson wird zu lautem Denken aufgefordert, zugleich Tonbandaufzeichnungen

whrend oder nach der Beantwortung bei retrospektiven Fragen (Wird vorwrts oder rckwrts gedacht?) auch bei Meinungsfragen Expertenbefragungen (Problemlsungsverhalten) hohe Anforderungen an die Zielpersonen TU Dresden, 02/09/20 Vorstudien - Pretest Folie 11 Beispiel: Ich werde Ihnen jetzt gleich eine Frage stellen. Danach fordere ich Sie dazu auf, laut zu

denken. Sie sollen bitte alle Gedanken laut aussprechen, die Ihnen durch den Kopf gehen. Bitte beginnen Sie damit, sobald Sie die Frage gehrt haben und fahren Sie so lange fort, bis Sie zu einer Antwort gelangt sind. Das mssen natrlich keine ganzen Stze sein. Sollten Sie einmal ins Stocken kommen, so werde ich Sie daran erinnern, weiter zu sprechen. Als Sie eben die Frage beantwortet haben, an was haben Sie da gedacht? Was ist Ihnen alles durch den Kopf gegangen, bis Sie die Antwort gegeben haben? TU Dresden, 02/09/20 Vorstudien - Pretest Folie 12 Retrospective-Think-Aloud Beispiel: Frage: Kommen wir nun zu der Demokratie in der Bundesrepublik Deutschland: Wie zufrieden oder unzufrieden sind Sie alles in allem mit der Demokratie, so wie sie in Bundesrepublik besteht?

der Sehr zufrieden Ziemlich zufrieden Etwas zufrieden Etwas unzufrieden Ziemlich unzufrieden Sehr unzufrieden Antworten: sehr zufrieden ziemlich unzufrieden TU Dresden, 02/09/20 Intuitiv geantwortet, denke an meine vielen Freiheiten, meine Rechte und habe das mit anderen Lndern verglichen, und das schtze ich sehr Erstens mein Gehaltszettel und die Vorstellung an meine zuknftige Rente, auch mit Auslnderzufluss in Deutschland, mit Arbeitslosigkeit bei Jugendlichen, fehlende Perspektive in vielen Bereichen Vorstudien - Pretest Folie 13 Concurrent-Think-Aloud Beispiel:

Frage: Ein Mann schlgt sein 10-jhriges Kind, weil es ungehorsam war. Halten Sie das fr sehr schlimm, ziemlich schlimm, weniger schlimm oder fr berhaupt nicht schlimm? Antwort: Das kommt darauf an, in was fr einer Situation das ist. Ich meine, es kann Situationen geben, in denen ein Kind es extrem darauf anlegt und wo es auch mal gerechtfertigt ist, ein Kind zu schlagen. Es aber auch nicht richtig schlagen, sondern ihm mal eine Ohrfeige geben oder so. Aber es kommt halt darauf an, wenn der Mann seinen Frust gerade hat, dann ist es sehr schlimm. Eine Ohrfeige wre nicht so schlimm. Also das kann man so nicht bewerten. TU Dresden, 02/09/20 Vorstudien - Pretest Folie 14 Probing = Zusatzfragen zu bestimmten Items Follow-up-Probings (nach der Antwort)

Post-Interview-Probings (nach dem Interview) Comprehension-Probings (Frageverstndnis), Bedeutung von Begriffen, Erluterung der Antwort Information-Retrieval-Probing (besonders fr retrospektive Fragen) TU Dresden, 02/09/20 Vorstudien - Pretest Folie 15 Beispiel: Das Ziel der Nationalsozialisten war, durch den Krieg gegen die Sowjetunion den jdischen Bolschewismus zu beseitigen. Probing (unmittelbar nach der Beantwortung): Und warum haben Sie sich fr diesen Skalenwert entschieden? ID Skalenwert

2/01 2/03 4 2 2/05 4 2/06 1 2/04 6 2/02 5 TU Dresden, 02/09/20 Antwort auf die Nachfrage Das wei ich nicht. Ich kann mit der Aussage nichts anfangen. Ich wei es nicht, aber ich glaube es nicht. Habe die 2 vergeben

aufgrund meines Bauchgefhls. Bin mir relativ unsicher, dachte ich nehme einen Mittelweg. Die 4 deshalb, weil ich es nicht wei. Weil ich mir einfach nicht vorstellen kann, dass die Nationalsozialisten ein anderes Ziel hatten, als in dem Fall Land zu gewinnen. Vermute es aber, habe keinen blassen Schimmer. Ich vergebe ungern 1 und 7. Mit der 6 mchte ich relativieren und ich glaube, dass es das Ziel der Nationalsozialisten war. Es war immer das Ziel der Nationalsozialisten gegen die Juden zu handeln. Vorstudien - Pretest Folie 16 Beispiel: Hinter der offiziellen Kritik am Kommunismus haben viele Nazis und Mitlufer nach 1945 den alten nationalsozialistischen Antibolschewismus versteckt. Probing nach Abschluss des Interviews: Was verstehen Sie unter nationalsozialistischem Antibolschewismus? ID Skalenwert 3/01 5

3/02 wei nicht 3/03 6 3/04 3 3/05 3 TU Dresden, 02/09/20 Antwort auf die Nachfrage Das sind Leute, die gegen den Bolschewismus waren, also gegen linke Ideale. Und nationalsozialistisch ist dann noch eine Stufe mehr, die extrem dagegen waren. Das war offensichtlich. Nationalsozialismus ging total gegen den Kommunismus. Das war im Dritten Reich alles, was mit Kommunismus verbunden war, dass man das alles abgelehnt hat. Das wei ich nicht so genau. Bolschewismus gleich Kommunismus. Die drei soll die Mitte sein, weil ich es nicht so genau wei.

Oh je, da kann ich nicht viel dazu sagen, das wei ich eigentlich gar nicht. Vorstudien - Pretest Folie 17 Paraphrasing = nach der Antwort die Frage mit eigenen Worten wiederholen Beispiel: Fragetext: Im Vergleich dazu, wie andere hier in Deutschland leben: glauben Sie, dass Sie Ihren gerechten Anteil erhalten, mehr als Ihren gerechten Anteil, etwas weniger oder sehr viel weniger? Antworten Paraphrasing: Glauben Sie, dass Sie in Ihrer jetzigen Ttigkeit, verglichen mit anderen in Deutschland lebenden, den gerechten Anteil bekommen, weniger gerecht, einigermaen gerecht oder ganz ungerecht? Dass ich sagen sollte, dass ich im Vergleich zu anderen Bevlkerungsteilen ber Maen vom Sozialstaat profitiere. Ob ich eigentlich mit dem, was ich besitze, was ich habe, mit dem, was ich tun kann, zufrieden bin. TU Dresden, 02/09/20

Vorstudien - Pretest Folie 18 Response Latency Bei CATI Messung der Antwortzeit Lange Reaktionszeiten deuten auf Probleme hin Interpretationsspielraum TU Dresden, 02/09/20 Vorstudien - Pretest Folie 19

Confidence Rating = Verlsslichkeit der eigenen Antwort schtzen: Wie sicher waren Sie sich bei Ihrer Antwort: sehr sicher, eher sicher, eher unsicher, sehr unsicher? TU Dresden, 02/09/20 Vorstudien - Pretest Folie 20 Vorteile kognitiver Verfahren Relativ schnelle Durchfhrung Geringe Kosten Bei verschiedenen Stadien der Frageentwicklung einsetzbar Nachteile kognitiver Verfahren

Aufgrund der geringen Fallzahl schwierig zu verallgemeinern Keine Aussagen zum Fragebogen als Ganzes TU Dresden, 02/09/20 Vorstudien - Pretest Folie 21 3) Weitere Verfahren Focus Groups Frhphase: Hinweise auf Akzeptanz und Verstndnis des Themas der Befragung bzw. auch einzelner Begriffe und Fragen fr schriftliche Fragebgen: Ausfllen, dann Wiederholung des Fragebogens und Diskussion der Eindrcke

beachte Gruppensituation TU Dresden, 02/09/20 Vorstudien - Pretest Folie 22 Fazit: Es reicht nicht aus, nur ein Verfahren einzusetzen, um alle mglichen Probleme bei der Fragekonstruktion zu erkennen. TU Dresden, 02/09/20 Vorstudien - Pretest Folie 23

Recently Viewed Presentations

  • Presentación de PowerPoint

    Presentación de PowerPoint

    Las culturas periodísticas que difieren del estándar occidental comienzan a ser estudiadas bajo un paradigma local, basado en la contextualización del campo social mediático de la región o el país analizado. Concepto
  • State of the art in FPGA technology - Merlintec

    State of the art in FPGA technology - Merlintec

    State of the art in FPGA technology ... First CPLD (1988) Sells US$1.2B/year Xilinx vs Altera High End = Virtex 1998 1999 E 2000 II 2002 II Pro 2004 4 LX/SX/FX 2006 5 LX/LXT/SXT 2008 5 FXT/TXT 2009 6 High...
  • Reading Bellwork

    Reading Bellwork

    Title of Book. City of Publication: Publisher, Year of Publication. Source Type. These situations are archetypes. Give an example of a story that includes these archetypes. 1. The Journey (hero leaves in search of something) 2. The Initiation (often entering...
  • Ringvorlesung „Einführung in die Methoden der empirischen ...

    Ringvorlesung „Einführung in die Methoden der empirischen ...

    Ringvorlesung Einführung in die Methoden der empirischen Sozialforschung I Voruntersuchungen - Pretest Dresden, 26. Januar 2010 "Even after years of experience, no expert can write a perfect questionnaire." (Sudman/Bradburn 1982) Regeln für die Fragebogengestaltung können lediglich grobe Fehler vermeiden.
  • Strategic Staffing Chapter 1 - Strategic Staffing

    Strategic Staffing Chapter 1 - Strategic Staffing

    Arial Lucida Sans Unicode Wingdings 3 Verdana Wingdings 2 Wingdings Times New Roman Concourse 1_Concourse 2_Concourse 3_Concourse 4_Concourse 5_Concourse 6_Concourse 7_Concourse Strategic Staffing Chapter 6 - Sourcing: Identifying Recruits Sourcing Types of Job Seekers Some Recruiting Sources Are: Recruiting Sources...
  • Security and related IPPs (Retention and Disposal) Privacy

    Security and related IPPs (Retention and Disposal) Privacy

    Security - Factors (10) Programming errors and multiple breaches Australian PC own-motion investigations in mid 1990s ATO, DSS, DVA, DET, private sector Potential for representative complaints Access control must be managed L v Commonwealth Agency [2003] PrivComrA 10 - Agency...
  • Detective Tracy Perkins Disclosure The Task Force cannot

    Detective Tracy Perkins Disclosure The Task Force cannot

    If need be use a camera to photograph obvious elements of a crime that are within plain view on the device- Snapchat encrypts messages, so cell phone exaction might not be successful. Saving messages on the devices….must hold down to...
  • Important note: This file contains the presentation used

    Important note: This file contains the presentation used

    Important note: . This file contains the presentation used at the Senate meeting. The president's informal notes have been added in red.. These notes have not been reviewed nor have they been approved by the Academic Senate; they were created...