Messen wir immer das Gleiche? Zur Invarianz von Messungen und Response-Shift in der Rehabilitation – Teil 2

 

 Buy Article Permissions and Reprints

Zusammenfassung

Zur Evaluation von Behandlungsmaßnahmen in der medizinischen Rehabilitation werden häufig Prä-Post-Vergleichsstudien mit der Outcome-Variable gesundheitsbezogene Lebensqualität durchgeführt. Über Mittelwertsvergleiche der Lebensqualitätsskalen zu den verschiedenen Messzeitpunkten lassen sich Effekte berechnen, anhand deren Größe wiederum auf die Veränderung der gesundheitsbezogenen Lebensqualität geschlossen wird. Bei diesem Vorgehen wird jedoch davon ausgegangen, dass die Beantwortung der Items oder Skalen zu beiden Messzeitpunkten vor demselben Bewertungshintergrund vorgenommen wird. Dass dies nicht zwangsläufig der Fall ist, wird in der Response-Shift-Forschung diskutiert. Diese beschäftigt sich mit der Veränderung des Bewertungshintergrunds zur Beurteilung der gesundheitsbezogenen Lebensqualität im Rahmen der Auseinandersetzung mit chronischen Erkrankungen. Mithilfe der konfirmatorischen Faktorenanalyse (KFA) ist die Prüfung von Response-Shift-Prozessen bei Mehrfachmessungen möglich. Dieser Ansatz ist der Invarianztestung im Längsschnitt zuzuordnen. Das Vorgehen wird anhand eines Datensatzes aus der Rehabilitation bei Diabetes-Patienten beschrieben. In der untersuchten Stichprobe der 279 Diabetes-Patienten sind verschiedene Response-Shift-Prozesse nachweisbar. Wird eine Skala durch Response-Shift beeinflusst, so ist eine Aussage über die Veränderung der gesundheitsbezogenen Lebensqualität auf der Basis der manifesten Skalenwerte nicht ohne weiteres möglich. Mithilfe der KFA lassen sich jedoch Effekte auf diesen Skalen in Effekte aufgrund einer ‚wahren‘ Veränderung der gesundheitsbezogenen Lebensqualität und Response-Shift-Effekte unterteilen. Das Vorgehen zur Testung auf Response-Shift unterscheidet sich vom Vorgehen der Testung von Invarianz im Multigruppenvergleich zu einem Messzeitpunkt. Response-Shift-Untersuchungen mit Fragebogen zur Erfassung der gesundheitsbezogenen Lebensqualität ermöglichen Aussagen darüber, inwiefern diese Instrumente geeignet sind, Veränderungen dieses Outcome-Kriteriums zu erfassen. Für die Praxis ist dies insofern interessant, als Empfehlungen gegeben werden können, welche Skalen berücksichtigt werden sollten, um Aussagen über die Veränderung der Lebensqualität abzuleiten, und welche nicht. Aus wissenschaftlicher Perspektive bietet die Response-Shift-Prüfung einen Ansatz zur Weiterentwicklung der Änderungssensitivität von Messinstrumenten.

Abstract

Interventions in medical rehabilitation are often evaluated using a single-group pre-post study design with health-related quality of life (hrqol) as an outcome variable. Through comparison of mean values in hrqol subscales treatment effects are calculated. In many cases conclusions about changes in hrqol are made depending on the sizes of effects. The precondition for doing this, however, is that the answers to the items in questionnaires were given within the same frames of internal standards, values and conceptualizations at the different time points. Changes in these frames can be found, however, and are discussed under the term response shift, which can happen when adjusting to chronic and progressive diseases. Existence of response shift can be proven with confirmatory factor analysis (CFA) by measuring hrqol at different time points. This approach can be assigned to the broader issue of measurement of invariance in longitudinal studies and is described in a sample of 279 patients with diabetes mellitus. Different response shift processes were detectable. If response shift takes place but is not taken into account inferences from changes in scale scores to changes in hrqol are invalid. This means that the calculation of effect size is also influenced by response shift. By the use of CFA conventionally calculated effect size can be differentiated into either effects due to response shift or ‘true change’ of hrqol. Measurements of invariance within one group at 2 time points can be differentiated from multiple group analysis at one time point. Investigations of measurement of invariance in longitudinal studies allow for conclusions regarding sensitivity to change of instruments examining hrqol changes. This is important for clinicians who make decisions about which scales are appropriate to detect hrqol changes. For scientific research it is relevant for further analysis of sensitivity to change of hrqol instruments.

Koordinatoren der Reihe „Methoden in der Rehabilitationsforschung“: Prof. Dr. Dr. Hermann Faller, Würzburg; Prof. Dr. Thomas Kohlmann, Greifswald; Prof. Dr. Dr. Christian Zwingmann, Bochum. Interessenten, die einen Beitrag zur Reihe beisteuern möchten, werden gebeten, vorab Kontakt aufzunehmen, E-Mail: christian.zwingmann@web.de

• Literatur

• 1 Schuler M, Jelitte M. Messen wir bei allen Personen das Gleiche? Zur Invarianz von Messungen und Response Shift in der Rehabilitation – Teil 1. Rehabilitation (im Druck)
  PubMedGoogle Scholar
• 2 Sprangers MA, Schwartz CE. Integrating response shift into health-related quality of life research: a theoretical model. Soc Sci Med 1999; 48: 1507-1515
  CrossrefPubMedGoogle Scholar
• 3 Meade AW, Lautenschlager GJ, Hecht JE. Establishing measurement equivalence and invariance in longitudinal data with item response theory. International Journal of Testing 2005; 5: 279-300
  CrossrefPubMedGoogle Scholar
• 4 Bullinger M, Kirchberger I. SF-36, Fragebogen zum Gesundheitszustand. Göttingen u. a.: Hogrefe; 1998
  Google Scholar
• 5 Maurischat C, Krüger-Bödecker A. Analysen zum Strukturmodell des SF-36/SF-12 – eine Übersicht. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 29-48
  Google Scholar
• 6 Bullinger M, Morfeld M. Der Health Survey SF-36/SF-12: Darstellung und Entwicklungen. In: Maurischat C, Morfeld M, Kohlmann T, Bullinger M. Hrsg Lebensqualität: Nützlichkeit und Psychometrie des Health Survey SF-36/SF-12 in der medizinischen Rehabilitation. Lengerich: Pabst; 2004: 15-28
  Google Scholar
• 7 Oort FJ. Types of change in self-report data: definition, interpretation, and operationalization. In: Van Dijkum C, Blasius J, Kleijr H, von Hilten B. Hrsg Recent Developments and Applications in Social Research Methodology. Amsterdam: SISWO; 2004: 1-21
  Google Scholar
• 8 Güthlin C. Response Shift: Alte Probleme der Veränderungsmessung, neu angewendet auf gesundheitsbezogene Lebensqualität. Zeitschrift für Medizinische Psychologie. 2004. 13. 165-174
  Google Scholar
• 9 Gibbons FX. Social comparison as a mediator of response shift. Soc Sci Med 1999; 48: 1517-1530
  CrossrefPubMedGoogle Scholar
• 10 Schwartz CE, Sprangers MAG. Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Soc Sci Med 1999; 48: 1531-1548
  CrossrefPubMedGoogle Scholar
• 11 O’Boyle CA, McGee HM, Browne JP. Measuring response shift using the Schedule for Evaluation of Individual Quality of Life. In: Schwartz CESMAG, Hrsg. Adaptation to changing health: Response shift in quality-of-life research. Washington, DC: American Psychological Association; 2000: 123-136
  CrossrefGoogle Scholar
• 12 Oort FJ. Using structural equation modeling to detect response shifts and true change. Quality of Life Research 2005; 14: 587-598
  CrossrefPubMedGoogle Scholar
• 13 Ahmed S, Bourbeau J, Maltais F et al. The Oort structural equation modeling approach detected a response shift after a COPD self-management program not detected by the Schmitt technique. Journal of Clinical Epidemiology 2009; 62: 1165-1172
  CrossrefPubMedGoogle Scholar
• 14 Ahmed S, Mayo NE, Wood-Dauphinee S et al. The structural equation modeling technique did not show a response shift, contrary to the results of the then test and the individualized approaches. Journal of Clinical Epidemiology 2005; 58: 1125-1133
  CrossrefPubMedGoogle Scholar
• 15 Oort FJ, Visser MR, Sprangers MA. An application of structural equation modeling to detect response shifts and true change in quality of life data from cancer patients undergoing invasive surgery. Quality of Life Research 2005; 14: 599-609
  CrossrefPubMedGoogle Scholar
• 16 Widaman KF, Ferrer E, Conger RD. Factorial invariance within longitudinal structural equation models: Measuring the same construct across time. Child Dev Perspect 2010; 4: 10-18
  CrossrefPubMedGoogle Scholar
• 17 Bühner M. Einführung in die Test- und Fragebogenkonstruktion. 2. Aufl. München: Pearson Education Deutschland; 2006
  Google Scholar
• 18 Hu L-T, Bentler PM. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling 1999; 6: 1-55
  CrossrefPubMedGoogle Scholar
• 19 Bollen KA. Structural equations with latent variables. Oxford: John Wiley & Sons; 1989
  Google Scholar
• 20 Arbuckle JL. AMOS 17.0 User’s Guide. Chicago, IL: SPSS; 2008
  Google Scholar
• 21 Meade AW, Johnson EC, Braddy PW. Power and sensitivity of alternative fit indices in tests of measurement invariance. Journal of Applied Psychology 2008; 93: 568-592
  CrossrefPubMedGoogle Scholar
• 22 Byrne BM, Shavelson RJ, Muthen B. Testing for the equivalence of factor covariance and mean structures: The issue of partial measurement invariance. Psychological Bulletin 1989; 105: 456-466
  CrossrefPubMedGoogle Scholar
• 23 Millsap RE, Kwok OM. Evaluating the impact of partial factorial invariance on selection in two populations. Psychological Methods 2004; 9: 93-115
  CrossrefPubMedGoogle Scholar
• 24 Gregorich SE. Do self-report instruments allow meaningful comparisons across diverse population groups? Testing measurement invariance using the confirmatory factor analysis framework. Medical Care 2006; 44: S78-S94
  CrossrefPubMedGoogle Scholar
• 25 Steenkamp J-BE, Baumgartner H. Assessing measurement invariance in cross-national consumer research. Journal of Consumer Research 1998; 25: 78-90
  CrossrefPubMedGoogle Scholar
• 26 Igl W, Zwingmann C, Faller H. Änderungssensitivität. Rehabilitation 2005; 44: 100-106
  Article in Thieme ConnectPubMedGoogle Scholar
• 27 Schwartz CE, Rapkin BD. Reconsidering the psychometrics of quality of life assessment in light of response shift and appraisal. Health Qual Life Outcomes 2004; 2: 16
  CrossrefPubMedGoogle Scholar
• 28 Sharpe L, Curran L. Understanding the process of adjustment to illness. Soc Sci Med 2006; 62: 1153-1166
  CrossrefPubMedGoogle Scholar
• 29 Folkman S, Greer S. Promoting psychological well-being in the face of serious illness: when theory, research and practice inform each other. Psychooncology 2000; 9: 11-19
  CrossrefPubMedGoogle Scholar
• 30 Carver CS, Scheier MF. Scaling back goals and recalibration of the affect system are processes in normal adaptive self-regulation: understanding ‘response shift’ phenomena. Soc Sci Med 2000; 50: 1715-1722
  CrossrefPubMedGoogle Scholar
• 31 Schmitt N, Kuljanin G. Measurement invariance: Review of practice and implications. Human Resource Management Review 2008; 18: 210-222
  CrossrefPubMedGoogle Scholar
• 32 Oort FJ, Visser MR, Sprangers MA. Formal definitions of measurement bias and explanation bias clarify measurement and conceptual perspectives on response shift. Journal of Clinical Epidemiology 2009; 62: 1126-1137
  CrossrefPubMedGoogle Scholar
• 33 King-Kallimanis BL, Oort FJ, Visser MR et al. Structural equation modeling of health-related quality-of-life data illustrates the measurement and conceptual perspectives on response shift. Journal of Clinical Epidemiology 2009; 62: 1157-1164
  CrossrefPubMedGoogle Scholar
• 34 Nolte S, Elsworth GR, Sinclair AJ et al. Tests of measurement invariance failed to support the application of the “then-test”. Journal of Clinical Epidemiology 2009; 62: 1173-1180
  CrossrefPubMedGoogle Scholar
• 35 MacCallum RC, Roznowski M, Mar CM et al. Alternative strategies for cross-validation of covariance structure models. Multivariate Behavioral Research 1994; 29: 1-32
  CrossrefPubMedGoogle Scholar
• 36 Millsap RE, Meredith W. Factorial invariance: Historical perspectives and new problems. In: Cudeck R, MacCallum R. Hrsg Factor Analysis at 100: Historical Developments and Future Directions. Mahwah, NJ: Lawrence Erlbaum; 2007: 131-152
  Google Scholar
• 37 Schwartz CE, Sprangers MA. Reflections on genes and sustainable change: toward a trait and state conceptualization of response shift. Journal of Clinical Epidemiology 2009; 62: 1118-1123
  CrossrefPubMedGoogle Scholar
• 38 Schwartz CE, Bode R, Repucci N et al. The clinical significance of adaptation to changing health: A meta-analysis of response shift. Quality of Life Research 2006; 15: 1533-1550
  CrossrefPubMedGoogle Scholar
• 39 Norman G. Hi! How are you? Response shift, implicit theories and differing epistemologies. Quality of Life Research 2003; 12: 239-249
  CrossrefPubMedGoogle Scholar
• 40 Schwartz CE, Sprangers MA. Guidelines for improving the stringency of response shift research using the thentest. Quality of life research 2010; 19: 455-464
  CrossrefPubMedGoogle Scholar
• 41 Jelitte M. Untersuchung von Response-Shift-Einflüssen auf die Erfassung der gesundheitsbezogenen Lebensqualitat bei Prostatakrebspatienten in der onkologischen Rehabilitation. Dissertation. Universität Koblenz-Landau, Fachbereich Psychologie 2010; 348
  PubMedGoogle Scholar
• 42 Barclay-Goddard R, Epstein JD, Mayo NE. Response shift: a brief overview and proposed research priorities. Quality of Life Research 2009; 18: 335-346
  CrossrefPubMedGoogle Scholar
• 43 Terwee CB, Dekker FW, Wiersinga WM et al. On assessing responsiveness of health-related quality of life instruments: guidelines for instrument evaluation. Quality of life research 2003; 12: 349-362
  CrossrefPubMedGoogle Scholar