El estatus científico de las técnicas proyectivas

Prueba de manchas de tinta Rorschach

Ninguna técnica proyectiva ha suscitado más controversia que el Rorschach. Como observaron Hunsley y Bailey (1999, p. 266), el Rorschach “tiene la dudosa distinción de ser, al mismo tiempo, el más apreciado y más vilipendiado de todos los instrumentos de evaluación psicológica.”

Desarrollada por el psiquiatra suizo Hermann Rorschach en la década de 1920, esta técnica de asociación (Lindzey, 1959) consta de 10 manchas de tinta (cinco en blanco y negro, cinco con color) que se imprimen en tarjetas separadas. En el procedimiento estándar, el cliente recibe las tarjetas una a la vez y se le pide que diga a qué se parece cada mancha. Esta parte del procedimiento dura aproximadamente 45 minutos y normalmente se invierten entre 1,5 y 2 horas adicionales en calificar e interpretar las respuestas (Ball, Archer e Imhoff, 1994). Las declaraciones del encuestado pueden puntuarse para más de 100 características, incluidas las de las tres categorías principales de (a) contenido (p. ej., ¿el cliente informó haber visto contenido sexual en los borrones? ¿O figura humana? ¿O comida?), ( b) ubicación (por ejemplo, ¿informó el cliente que vio la mancha completa como una imagen o solo un área particular de la mancha?), y (c) determinantes (por ejemplo, ¿informó el cliente que vio algo que tenía color? ¿O movimiento? ¿O sombreado?). Introducido en los Estados Unidos a fines de los años veinte y treinta, el Rorschach se convirtió en un objetivo común de crítica científica en los años cincuenta y sesenta. Los críticos argumentaron que el Rorschach carecía de procedimientos de administración estandarizados y normas adecuadas, y que la evidencia de su confiabilidad y validez era débil o inexistente (Eysenck, 1959; Jensen, 1965; ver resumen de Dawes, 1994).

Ante tales críticas, la mayoría de los psicólogos podrían haber abandonado gradualmente el Rorschach. Sin embargo, la aparición de The Rorschach: A Comprehensive System (TRACS) (Exner, 1974) en la década de 1970 revivió drásticamente su fortuna. Este libro, junto con sus extensiones y revisiones posteriores (Exner, 1986, 1991, 1993; Exner y Weiner, 1995), pareció finalmente establecer el Rorschach sobre una base científica firme. El Sistema Integral (CS) de John Exner para Rorschach proporcionó reglas detalladas para la administración y la puntuación, y un conjunto impresionante de normas para niños y adultos. Exner no vio el Rorschach principalmente como una técnica proyectiva. En cambio, al igual que Hermann Rorschach (ver Rabin, 1968), Exner enfatizó la naturaleza perceptiva de la respuesta del cliente a las manchas de tinta y la importancia de la ubicación y los determinantes para la interpretación de la prueba (Aronow, Reznikoff y Moreland, 1995; Exner, 1989). Varias ediciones de TRACS informaron hallazgos sorprendentemente positivos de cientos de estudios de confiabilidad y validez de los Talleres Rorschach de Exner, aunque la gran mayoría de estos estudios no fueron publicados y no se describieron en detalle. Los logros del CS provocaron elogios generalizados. Por ejemplo, la Junta de Asuntos Profesionales (1998, p. 392) de la Asociación Americana de Psicología elogió a Exner por su “resurrección” de la prueba. Las encuestas en la década de 1990 indicaron que el Rorschach se usaba ampliamente en entornos clínicos y forenses y que el CS era el sistema de puntuación de Rorschach más utilizado (Ackerman y Ackerman, 1997; Lees-Haley, 1992; Pinkerman, Haynes y Keizer, 1993 ; Piotrowski, 1999).

Exner no vio el Rorschach principalmente como una técnica proyectiva

La presente revisión se centra en la CS por dos razones principales. Primero, aunque otros enfoques de Rorschach todavía se usan clínicamente, la evidencia científica para apoyarlos es generalmente débil. Las mismas críticas fundamentales que se hicieron en la década de 1960 con respecto a normas inadecuadas, confiabilidad deficiente o no demostrada y evidencia limitada de validez aún se aplican con la misma fuerza a prácticamente todos los enfoques que no son CS en uso hoy en día (Dawes, 1994; Gann, 1995; McCann, 1998).

La presente revisión se centra en el CS por una segunda razón. A pesar de su popularidad, el CS está actualmente envuelto en una controversia científica que es al menos tan acalorada y generalizada como la controversia de Rorschach de los años cincuenta y sesenta. Numerosos artículos sobre el estado científico de Rorschach CS han aparecido en los últimos años (por ejemplo, Garb, 1999; Meyer, 1997), y en 1999 y 2000 tres revistas revisadas por pares (Psychological Assessment, Assessment, Journal of Clinical Psychology) le dedicaron secciones especiales a los debates sobre las propiedades psicométricas de la CS. Los puntos en disputa incluyen cuestiones fundamentales como la precisión y la generalización cultural de las normas de CS, confiabilidad, validez, utilidad clínica y accesibilidad de la investigación de apoyo (Acklin, 1999; Archer, 1999; Garb, 1999; Garb, Wood, Nezworski, Grove, & Stejskal, en prensa; Hunsley & Bailey, 1999, en prensa; Stricker & Gold, 1999; Viglione, 1999; Weiner, 1996, 1999, 2000; Wood & Lilienfeld, 1999; Wood, Lilienfeld, Garb, & Nezworski, 2000a, 2000b). La presente discusión resume los temas centrales en el debate y revisa las publicaciones más relevantes sobre el tema.

Adecuación de las normas CS

TRACS (Exner, 1991, 1993) proporcionó amplia información normativa para adultos y niños estadounidenses no pacientes, así como tablas estadísticas para varios grupos de referencia clínica (por ejemplo, pacientes con esquizofrenia). Los defensores de Rorschach han señalado con frecuencia estas normas como una fortaleza importante de la CS. Por ejemplo, Weiner (1998, p. 27) afirmó que “el tamaño y la diversidad de estas muestras normativas y de referencia proporcionan más información estandarizada que la que está disponible para la mayoría de las medidas de evaluación psicológica y establece el método de Rorschach como una norma adecuada para una población estadounidense.”

A pesar de tales evaluaciones positivas, nosotros y otros hemos criticado las normas de CS alegando que están desactualizadas y se basan en muestras bastante pequeñas en comparación con las normas de instrumentos psicológicos bien establecidos, como las pruebas de inteligencia de Wechsler y el inventario multifásico de personalidad de Minnesota. (MMPI-2; por ejemplo, Wood y Lilienfeld, 1999). Más importante, recientemente ha surgido evidencia sustancial de que las normas de CS no son representativas de la población de EE.UU. y tienden a hacer que los adultos y niños normales parezcan inadaptados. En un estudio de 123 adultos no pacientes de California, Shaffer, Erdberg y Haroian (1999) se encontraron discrepancias sustanciales de las normas CS para muchas variables importantes de Rorschach. Por ejemplo, aproximadamente uno de cada seis de los participantes que no eran pacientes de Shaffer et al. puntuaron en el rango patológico (?≥? 4) en el índice de esquizofrenia (SCZI). Más de una cuarta parte de los no pacientes (29%) dieron al menos una respuesta de reflexión, un indicador de narcisismo del Rorschach que supuestamente es raro (Exner, 1991). También se informaron discrepancias sustanciales para numerosos otros indicadores de Rorschach del funcionamiento emocional y la psicopatología. Casi todas las discrepancias tuvieron el efecto de hacer que el grupo no paciente pareciera desajustado en comparación con los datos normativos.

Como seguimiento de los hallazgos de Shaffer et al. (1999), Wood, Nezworski, Garb y Lilienfeld (en prensa) recientemente agregaron datos de otros 32 estudios sobre el Rorschach, publicados y no publicados, de adultos no pacientes. Los resultados informados por Wood et al. (2000) son similares a los reportados por Shaffer et al.; los adultos aparentemente normales que residen en la comunidad parecen ser sorprendentemente patológicos en comparación con las normas de CS. Wood y col. llegaron a la conclusión de que (a) las normas para muchas variables CS están en error tanto para adultos como para niños; (b) estas discrepancias tienen el efecto de “patologizar en exceso” a individuos normales; y (c) el uso de las normas CS en los entornos clínicos o forenses pueden perjudicar a los clientes y ser contrarios a los principios éticos de los psicólogos y las normas profesionales actuales para el uso de pruebas.

No se ha ofrecido una explicación plausible de por qué las normas CS pueden estar tan seriamente erradas. Cuando los críticos de la CS han intentado obtener copias de los manuscritos no publicados que describen los estudios de los talleres Rorschach de Exner (en los que se basan en gran medida las normas), se les ha dicho que los estudios no están disponibles en una forma que pueda publicarse (para más detalles, ver Exner, 1996; Nezworski & Wood, 1995; Wood, Nezworski, & Stejskal, 1996a; Garb, Wood, et al., en prensa). Aunque los estudios de los talleres Rorschach constituyen la base empírica primaria para la CS, aparentemente la comunidad científica no puede examinarlos en busca de pistas sobre problemas con las normas de la CS.

Generalización cultural de la CS

Aunque los defensores de Rorschach a menudo sugieren que el Rorschach es adecuado para su uso con minorías estadounidenses o no estadounidenses (por ejemplo, Butcher, Nezami y Exner, 1998; Viglione, 1999), la evidencia de la investigación no ofrece mucho apoyo para esta afirmación (Garb. Wood, et al., en prensa; Wood & Lilienfeld, 1999). Los estudios muestran que los afroamericanos, los hispanos, los nativos americanos y los grupos no estadounidenses frecuentemente obtienen puntajes diferentes en variables importantes que comprenden el CS y otros sistemas Rorschach. La mayoría de las críticas se han centrado en la falta de datos normativos apropiados. Por ejemplo, Krall et al. (1983) encontraron que los niños afroamericanos del centro de la ciudad diferían de las normas actuales de CS en 5 de 10 variables de Rorschach. Glass, Bieber y Tkachuk (1996) compararon prisioneros nativos y no nativos de Alaska y concluyeron: “Hubo diferencias claras entre los reclusos nativos y no nativos tanto en el MCMI II como en el Rorschach” (p. 583, Resumen). Este estudio reveló que los nativos americanos de Alaska diferían significativamente de las normas de CS en dos tercios de los puntajes de Rorschach. Además, Boscan (1999/2000) encontró que los puntajes de Rorschach de 101 estudiantes universitarios mexicanos diferían significativamente en muchos aspectos de las normas de CS. Se han informado discrepancias similares para las puntuaciones de CS en los países de centroamérica y sudamérica, así como en varios países europeos (ver Dana, 2000, para una revisión de investigaciones recientes). La interpretación de tales estudios comparativos es complicada porque, como se discutió anteriormente en el presente artículo, las normas de CS en sí mismas son cuestionables y no reflejan con precisión el desempeño de adultos y no adultos norteamericanos normales.

Por lo tanto, los estudios existentes sugieren que el uso de la CS con minorías estadounidenses y no estadounidenses puede ser muy problemático. Además, hay poca investigación (si es que hay alguna) sobre la validez diferencial de los índices de Rorschach en diferentes grupos raciales y culturales. Dicha investigación es necesaria para descartar la posibilidad de sesgos raciales y culturales. Como Dana (1993, p. 160) concluyó, “las versiones comprensivas de Rorschach y Exner no se recomiendan para aplicaciones transculturales de rutina.”

Fiabilidad de puntuación de la CS

Irving Weiner (1998, p. 55), un defensor de Rorschach y ex editor de la revista Journal of Personality Assessment, aseguró que el estado científico de la CS se basa en “tres pilares”: (1) una base de datos normativa representativa, (2) puntuación objetiva y confiable, y (3) administración estandarizada. Ya hemos discutido las normas de CS. En la presente sección discutimos problemas con otro de estos tres pilares: la puntuación de las variables CS.

Durante muchos años, los psicólogos aceptaron las afirmaciones de Exner (1993, p. 23; ver también Groth-Marnat, 1997, p. 397) de que la confiabilidad de puntuación de las variables CS está uniformemente por encima de un umbral mínimo aceptable de .85. Sin embargo, estudios recientes sobre la confiabilidad de la puntuación CS indican que solo la mitad de las variables CS alcanzan una confiabilidad de .85 o más de acuerdo con el enfoque moderno de calcular la confiabilidad usando correlaciones intraclase o coeficientes Kappa (Acklin, McDowell, Ver Schell , & Chan, 2000; Gronnerod, 1999; Nakata, 1999; ver también Meyer, 1997a, 1997b, Shaffer et al., 1999, Wood, Nezworski, y Stejskal, 1997)¹.

Por ejemplo, en un estudio con una metodología sólida, Acklin et al. (2000) calcularon coeficientes de correlación intraclase para aproximadamente 95 puntuaciones CS en una muestra clínica (n = 20) y no clínica (n = 20). Los protocolos de Rorschach fueron calificados por dos estudiantes graduados de psicología clínica, cada uno de los cuales tenía capacitación avanzada en el uso de la CS y un mínimo de 3 años de experiencia en procedimientos de codificación de la CS. Los resultados para ambas muestras fueron similares: la confiabilidad media de los puntajes de CS estuvo en los bajos .80s, el máximo fue 1.0 y el mínimo fue aproximadamente .20. Como señalaron Acklin y sus coautores, la confiabilidad entre evaluadores fue aceptable y, a veces, incluso excelente para muchos puntajes de CS. Sin embargo, alrededor del 50% cayó por debajo de .85. Además, la confiabilidad fue baja para varios puntajes CS ampliamente utilizados. Por ejemplo, los coeficientes de confiabilidad para el Índice de esquizofrenia (SCZI) fueron de .45 y .56 en las dos muestras. De manera similar, la confiabilidad entre evaluadores fue baja para D ajustada (.53 y .68), que se presenta como un índice CS importante de autocontrol bajo estrés, y para X-% (.62 y .66), que se considera un indicador de distorsión perceptiva y mental (Exner, 1991, 1993; Weiner, 1998).

La afirmación general de que los puntajes de CS tienen una confiabilidad impresionante de test-retest no está justificada

Acklin y col. (2000) concluyeron que los coeficientes de confiabilidad superiores a .60 para las variables CS son “sustanciales y aceptables.” Sin embargo, esta conclusión parece demasiado optimista. Aunque la mayoría de los expertos estadísticos estarían de acuerdo en que las confiabilidades entre evaluadores de .60 son mínimamente aceptables para la investigación que involucra comparaciones entre grupos (por ej., Fleiss, 1981; Landis y Koch, 1977), hay muchas razones para cuestionar si los puntajes con confiabilidades inferiores a .80 debe usarse para evaluar a clientes individuales en trabajos clínicos o forenses. Por ejemplo, las subpruebas de la escala de inteligencia para adultos de Wechsler, tercera edición (WAIS-III; Wechsler, 1997) tienen una confiabilidad mínima entre evaluadores de .90 y una confiabilidad media de aproximadamente .95 medida por correlación intraclase (Psychological Corporation, 1997). Además de los errores administrativos, la falta de fiabilidad entre evaluadores, por supuesto, ni siquiera es una preocupación relevante para la mayoría de las medidas de autoinforme (por ejemplo, el MMPI-2). Las confiabilidades entre evaluadores por encima de .80 o .90 parecen especialmente importantes en el trabajo clínico para garantizar que las idiosincrasias o sesgos subjetivos de los anotadores individuales ejercerán poca influencia en los puntajes de las pruebas de un cliente.

Los profesionales que usan el Rorschach pueden estar seguros de que aproximadamente la mitad de las variables CS pueden ser calificadas con un nivel de confiabilidad adecuado para el trabajo clínico. Sin embargo, es igualmente importante reconocer que la confiabilidad de puntuación es problemática para un número sustancial de variables CS y que el uso de estas variables para evaluar clientes individuales es desaconsejable. Por ejemplo, incluso entre los psicólogos altamente experimentados con la CS o considerados autoridades, la calificación de Rorschach no está necesariamente por encima del desafío. Los desacuerdos pueden tener implicaciones particularmente graves si los resultados de la prueba se utilizan para alcanzar importantes recomendaciones clínicas o legales. La confiabilidad de campo del CS, es decir, la medida en que los puntajes alcanzan una alta confiabilidad entre evaluadores en la práctica clínica real, es esencialmente desconocida, lo cual hace que este problema sea aún más complicado. Sin embargo, un estudio sobre la precisión de la puntuación CS utilizando alumnos de los talleres Rorschach sugiere que la confiabilidad en el campo puede ser problemática (Wood et al., 1996a).

Fiabilidad test-retest de la CS

Los defensores de Rorschach han argumentado que la confiabilidad test-retest de los puntajes CS es excelente. Por ejemplo, Víglione (1999, p. 252) afirmó que “la gran mayoría de las variables y configuraciones del Sistema Integral de Rorschach (CS) han demostrado una impresionante confiabilidad de consistencia temporal…” Sin embargo, los resultados test-retest se han reportado sólo para aproximadamente el 40% de las variables en el CS (para revisiones y citas detalladas, ver Garb et al., en prensa; Wood & Lilienfeld, 1999). En los libros y artículos de Exner y sus colegas, los coeficientes test-retest han variado típicamente de .30 a .90, con valores medios en .80s o .70s de medio a alto (Meyer, 1997a, p. 487). Sin embargo, cuando otros investigadores que no son Exner han informado coeficientes test-retest para puntajes CS, los números han sido sustancialmente más bajos que las cifras reportadas en TRACS (por ejemplo, Adair y Wagner, 1992; Erstad, 1995/1996; Perry, McDougall Y Viglione, 1995; Schwartz, Mebane y Malony, 1990). Debido a las limitaciones metodológicas en los estudios test-retest (ver discusión de Garb et al., en prensa), en la actualidad solo se puede sacar una conclusión firme: la confiabilidad test-retest de la mayoría de los puntajes CS todavía es un tema abierto que queda por resolver mediante estudios metodológicamente rigurosos. Mientras tanto, la afirmación general de que los puntajes de CS tienen una confiabilidad impresionante de test-retest no está justificada (Wood y Lilienfeld, 1999).

La influencia de la frecuencia de respuesta (R) en las puntuaciones CS

Durante más de medio siglo, los comentaristas han señalado repetidamente que R, el número total de respuestas que los clientes dan a las manchas de tinta, puede ejercer un efecto sustancial en sus otros puntajes de Rorschach (Anastasi, 1988; Cronbach, 1949; Holtzman et al. ., 1961; Meyer, 1992a, 1993). Por ejemplo, si un cliente da 14 respuestas y un segundo cliente da 28, el segundo cliente tiene el doble de oportunidades para informar contenido agresivo (supuestamente indicativo de características agresivas de la personalidad) o imágenes mórbidas (supuestamente indicativo de depresión). Debido a que R es más alto en ciertos grupos culturales y educativos y porque está positivamente relacionado con la inteligencia (Anastasi, 1982), ciertos grupos de personas pueden recibir puntajes más altos en los índices de psicopatología de Rorschach simplemente porque dan más respuestas.

Algunos psicólogos (p. ej., Groth-Marnat, 1984) creen que la CS ha eliminado los problemas de frecuencia de respuesta mediante el ajuste de R o el uso de proporciones. Sin embargo, muchas de las puntuaciones e índices clínicos de la CS no están ajustadas. Además, en un estudio de pacientes psiquiátricos, Meyer (1993) descubrió que varios índices de CS exhibían correlaciones significativas con R, que variaban de .25 para la constelación de suicidio a .60 para el Índice de hipervigilancia. En otras palabras, los clientes que dieron más respuestas en el Rorschach también tendieron a parecer más patológicos en varios índices de CS.

Se han ofrecido varias soluciones para el “problema de R.” En la década de 1960, Wayne Holtzman y sus colegas (Holtzman et al., 1961) desarrollaron una prueba de manchas de tinta que se parecía al Rorschach, que usaba 45 tarjetas en lugar de las 10 tradicionales. Los participantes fueron instruidos para dar exactamente una respuesta a cada tarjeta. Casi tres décadas después, Meyer (1989/1991) sugirió que se retengan las 10 tarjetas Rorschach originales, pero que se instruya a los examinados para que den exactamente dos respuestas a cada tarjeta. Ninguna solución se ha encontrado con una recepción favorable. La prueba de manchas de tinta de Holtzman ha sido ignorada en gran medida por los médicos a pesar de su admirable base de investigación y propiedades psicométricas (ver Peixtoto, 1980), y la sugerencia de Meyer ha suscitado pocos comentarios en los años transcurridos desde su publicación. En general, los estudiosos y clínicos de Rorschach parecen creer que el problema de R no existe, que no tiene consecuencias prácticas importantes o que no vale la pena remediarlo. Por ejemplo, un artículo reciente de Stricker y Gold (1999) sobre “Psychometrics and the Rorschach” ni siquiera mencionó el problema. Las palabras de Bill Kinder (1992, p. 253), actual editor del Journal of Personality Assessment, resumen la actitud predominante:

Proponer limitar R cuando el Rorschach se usa con individuos significaría la necesidad de desarrollar nuevos datos normativos, de confiabilidad y validez. En resumen, hay muy poco que ganar y mucho que perder si proponemos seriamente limitar R en los registros individuales de Rorschach.

La estructura factorial de las puntuaciones de Rorschach

La técnica de análisis factorial puede proporcionar orientación para identificar las dimensiones que subyacen a las relaciones entre un conjunto de puntajes de exámenes. En particular, el análisis factorial puede ayudar a revelar si las correlaciones entre las puntuaciones se ajustan a un patrón significativo que sea consistente con la predicción teórica. Se han publicado varios análisis factoriales de las puntuaciones de Rorschach (ver revisiones de Costello, 1998, 1999; Meyer, 1989/1991, 1992b). De ellos se desprenden dos hallazgos importantes. Primero, las variables que comprenden el factor más grande de Rorschach, y quizás el segundo más grande también, cargue altamente en R (Meyer, 1992b). En otras palabras, los análisis factoriales son consistentes con la observación ofrecida en la sección anterior de que R tiene una influencia fuerte y dominante en muchos puntajes de Rorschach. Este hallazgo tiene implicaciones importantes para la validez del instrumento:

… El uso tradicional del Rorschach, donde un sujeto puede dar tantas o tan pocas respuestas como desee, compromete seriamente la validez de la prueba, ya que aproximadamente el setenta por ciento de la variabilidad común entre los puntajes de Rorschach se debe simplemente a un error (frecuencia de respuesta ) Este hecho pone en tela de juicio casi toda la investigación realizada en el Rorschach, ya que la mayoría de los estudios no controlan esta variable (Meyer, 1989/1991, p. 229).

El segundo hallazgo importante que surge de los análisis factoriales es que varios puntajes de Rorschach generalmente no se correlacionan o “no se mantienen juntos” de una manera que sea consistente con las teorías sobre la prueba o la práctica clínica común (Costello, 1998; Meyer 1992b ) El estudio más completo sobre este tema fue informado por Meyer (1992b). Basado en las interpretaciones publicadas por Exner (1986), Meyer predijo que ciertas variables de CS se correlacionarían para formar factores teóricos bien definidos. Por ejemplo, Meyer predijo que las respuestas morbosas, el movimiento inanimado (m), las respuestas de Vista (FV, VF, V), el sombreado difuso (FY, YF, Y) y las mezclas de sombreado (Sh-Bl) se correlacionarían y formarían un factor de “Neuroticismo y afecto negativo”. Sin embargo, cuando Meyer (1992b) realizó un análisis factorial del Rorschach, descubrió que estas variables CS no se correlacionaban según lo previsto para formar el factor de neuroticismo esperado. Del mismo modo, las otras intercorrelaciones y factores que surgieron en el estudio de Meyer no se ajustaban a lo que había predicho en base a las interpretaciones publicadas por Exner.

Los análisis factoriales es que varios puntajes de Rorschach generalmente no se correlacionan o “no se mantienen juntos” de una manera que sea consistente con las teorías sobre la prueba o la práctica clínica

Meyer concluyó que “la estructura interna de Rorschach no se corresponde claramente con lo que cabría esperar de la interpretación de variables tradicional” (p. 132), y que “es muy dudoso que cualquier perspectiva teórica prediga realmente la estructura de Rorschach” (p. 133). Aunque los análisis factoriales de Meyer (1992b) parecen requerir una reevaluación fundamental de la validez de constructo de las puntuaciones de CS, los expertos de Rorschach han tardado en comprender las implicaciones del estudio. Por ejemplo, el reciente artículo de Stricker y Gold (1999) sobre “Psychometrics and the Rorschach” no discutió en absoluto estos hallazgos analíticos de factores.

Validez del Rorschach: metaanálisis globales

Varios metaanálisis han comparado la validez promedio de las escalas de inteligencia para adultos de Rorschach, MMPI y Wechsler (WAIS) (por ejemplo, Garb, Florio y Grove, 1998; Hiller, Rosenthal, Bornstein, Berry y Brunell-Neuleib, 1999 ; Parker, Hanson y Hunsley, 1988). Estos metaanálisis globales han adoptado un enfoque de “crisol” para calcular las correlaciones de una amplia variedad de variables Rorschach, MMPI y WAIS con una gama igualmente amplia de variables de criterio para producir coeficientes de validez promedio para los tres instrumentos.

Se pueden hacer cinco comentarios sobre estos metanálisis. Primero, todos los metaanálisis han tenido serios defectos metodológicos. Aquí no se enumerarán sus deficiencias, pero los lectores pueden encontrarlas en Garb, Florio y Grove (1998, 1999), Garb, Wood, et al. (en prensa), Hiller et al. (1999), Hunsley y Bailey (2000), y Parker, Hunsley y Hanson (1999).

En segundo lugar, todos estos metaanálisis se han basado exclusivamente en estudios publicados. Debido a que los estudios publicados a menudo producen efectos de mayor tamaño que los estudios no publicados, un sesgo conocido como el efecto de cajón de archivos o sesgo de publicación (Cooper, DeNeve y Charlton, 1997; Lipsey y Wilson, 1993), las estimaciones metaanalíticas de la validez de Rorschach pueden estar infladas. Más adelante en este artículo, resumimos por primera vez los resultados de un metanálisis de técnicas proyectivas diseñadas en parte para abordar el tema del sesgo de publicación.

Tercero, sin análisis de seguimiento adicionales de puntajes específicos, los metaanálisis globales de instrumentos de puntajes múltiples como Rorschach y MMPI tienen un valor clínico limitado porque no abordan si un puntaje de prueba en particular es válido para algún propósito específico (Hunsley & Bailey, 1999; Parker, Hunsley y Hanson, 1999; Weiner, 1996). Como explicó Irving Weiner, proponente de Rorschach (1996, p. 207):

… Un sentido general de la validez de los instrumentos multidimensionales solo se puede obtener mediante un promedio matemático o impresionista de los coeficientes de validez de sus componentes. Tal promedio puede resultar útil en ocasiones… Sin embargo, siempre existe cierto riesgo de que el promedio de los coeficientes de validez oculte más de lo que revela sobre un instrumento, especialmente si el instrumento incluye algunas escalas altamente válidas y algunas escalas con pocos, si es que hay alguno, correlatos válidos.

El valor promedio de validez de los estudios publicados es generalmente más bajo para el Rorschach que para el MMPI

Cuarto, a pesar de las limitaciones que se acaban de enumerar, los metanálisis han convergido en más o menos el mismo número: los metaanálisis globales de los estudios publicados de Rorschach en general han arrojado coeficientes de validez media (r) de aproximadamente .30 (más o menos .05). Como incluso los críticos de Rorschach reconocen, tales hallazgos “sugieren que algunos índices de Rorschach pueden tener una validez moderada” (Hunsley y Bailey, 1999, p. 269). Sin embargo, dados los efectos del sesgo de publicación y otros artefactos metodológicos, la cifra de .30 puede representar una sobreestimación de la validez promedio de los puntajes de Rorschach.

Quinto, los metanálisis sugieren que la validez promedio de los estudios publicados es generalmente menor para el Rorschach que para el WAIS (Parker et al., 1988). Aunque este punto es más controvertido, los metaanálisis también sugieren que el valor promedio de validez de los estudios publicados es generalmente más bajo para el Rorschach que para el MMPI, aunque la diferencia probablemente no es grande y a veces no alcanza la significación estadística (Garb et al., 1998; Hiller et al., 1999; Parker et al., 1988; ver también discusión en Garb, Wood, et al., en prensa). Una vez más, estas conclusiones deben ser moderadas por la advertencia de que se basan solo en estudios publicados y que los metaanálisis contenían defectos metodológicos diferentes².

Validez del Rorschach: revisiones de literatura estrechamente enfocada y metaanálisis

Como ya se señaló, los metaanálisis globales por sí mismos no pueden abordar qué puntajes específicos de Rorschach son válidos para qué propósitos específicos. En cambio, las revisiones narrativas o metaanalíticas de enfoque limitado, que se concentran en la relación de uno o dos predictores de Rorschach con algunos criterios específicos, son más adecuadas para tal tarea. En la presente sección, resumimos las revisiones y metaanálisis relevantes que se han publicado durante la última década. No incluimos artículos de “visión general”, como el presente, que hayan resumido brevemente la evidencia con respecto a un gran número de variables de Rorschach (por ejemplo, Hunsley y Bailey, 1999; Viglione, 1999; Wood, Nezworski y Stejskal, 1996a). Además, dejamos revisiones sobre diagnósticos psiquiátricos y pruebas de autoinforme a la siguiente sección.

En una serie de breves revisiones de literatura enfocada, Frank concluyó que no hay relaciones bien demostradas entre (a) respuestas de color y expresión o control emocional (Frank, 1976, 1993c), (b) respuestas de color acromáticas (C ‘) y depresión (Frank, 1993a), (c) sombreado de respuestas y ansiedad (Frank, 1978, 1993d), (d) respuestas espaciales y oposición u hostilidad (Frank, 1993e), (e) respuestas de movimiento e inteligencia o grado de “vida interior” (Frank, 1979b, 1993b, 1997), o (f) contenido de Rorschach y comportamiento agresivo (Frank, 1994b). Por otro lado, Frank concluyó que una buena calidad de forma (F %) (g) está relacionada con el resultado de la psicoterapia (Frank, 1993f) y (h) diferencia a pacientes psicóticos de pacientes no psicóticos, esquizofrénicos de pacientes no esquizofrénicos y esquizofrénicos procesales de esquizofrénicos reactivos (Frank, 1979, 1980, 1994a). Además, Frank concluyó que (i) la buena calidad de forma, en combinación con la relación color-forma (FC: CF C), puede ser útil para predecir comportamientos suicidas o agresivos (Frank, 1994a, 1994b, 1994c, 1997).

Se pueden describir resultados negativos adicionales. Una revisión de literatura enfocada por Nezworski y Wood (1995) (ver también actualizaciones de Wood, Lilienfeld, et al., 2000; y Wood, Nezworski, Stejskal y McKinzey, en prensa) concluyó que el índice de egocentricidad probablemente no está significativamente relacionado con la autoestima o el autoenfoque, y que las respuestas de reflexión no guardan una relación constante con el narcisismo o la psicopatía (pero ver Exner, 1995). Una revisión enfocada por Jorgensen et al. (2000) concluyó que el índice de esquizofrenia CS (SCZI) efectivamente discrimina entre pacientes psicóticos y no psicóticos. En una revisión centrada de la investigación sobre la puntuación D y la D ajustada, Kleiger (1992, p. 293; pero véase Exner, 1992) señaló “dos áreas problemáticas amplias”. Primero, aproximadamente la mitad de los informes empíricos sobre conceptos estructurales principales en el CS no se han publicado y no se han sometido a revisión por pares. Como resultado, es difícil excluir la posibilidad de que estos estudios contengan fallas metodológicas que puedan influir sistemáticamente en el tamaño del efecto de las puntuaciones de CS. En segundo lugar, los hallazgos de los estudios publicados parecen “equívocos”.

Aunque las revisiones de literatura narrativa y cuantitativa sobre TDIR, SCZI, RPRS y ROD son alentadoras, existen problemas con su aplicación a la práctica clínica

Se han informado resultados positivos para varias puntuaciones de Rorschach. Una revisión enfocada de Acklin (1999) concluyó que el índice de trastornos del pensamiento para Rorschach (TDIR; Johnston & Holzman, 1979; Solovay et al., 1986) es un indicador válido de trastorno del pensamiento en pacientes esquizofrénicos y dudosos. Una revisión enfocada por Jorgensen et al. (2000) concluye que el índice de esquizofrenia CS (SCZI) discrimina efectivamente entre pacientes psicóticos y no psicóticos. Un metaanálisis realizado por Meyer y Handler (1997) concluyó que la escala de calificación pronóstica de Rorschach (RPRS) tiene una relación bien establecida con el resultado del tratamiento. Finalmente, un metaanálisis de Bornstein (1999; véase también Bornstein, 1996) sugirió que la escala de dependencia oral de Rorschach (ROD; Masling, Rabie y Blondheim, 1967) está relacionada con comportamientos objetivos indicativos de dependencia.

Como se puede ver, se han identificado cuatro puntajes exitosos de Rorschach en metaanálisis o revisiones de literatura enfocada: el TDIR, el SCZI, el RPRS y el ROD. Sin embargo, varios comentarios parecen apropiados con respecto a estas escalas. Primero, solo uno de los cuatro, el SCZI, es parte del CS. Por lo tanto, el desempeño positivo de los tres puntajes restantes no aborda la cuestión de la validez de CS que ha sido planteado por críticos como Wood et al. (1996a, 1996b). En segundo lugar, gran parte de la investigación que respalda la validez de la RPRS es de mala calidad metodológica (Hunsley y Bailey, 1999, p. 274). Tercero, dos de las cuatro escalas exitosas presentan dificultades especiales de puntuación para la práctica clínica. Específicamente, (a) el RPRS se califica utilizando reglas engorrosas del sistema Klopfer que ahora se usa raramente (Meyer y Handler, 1997; Meyer, 2000a) y (b) el TDIR generalmente se califica por equipos de investigación que utilizan sesiones de Rorschach grabadas (p. Ej. , Coleman et al., 1993). Cuarto, las normas representativas o actualizadas no están disponibles para TDIR, RPRS o ROD, y las normas actuales para SCZI (Exner, 1993) parecen producir una tasa de falsos positivos inaceptablemente alta, especialmente con niños (Hamel , Shaffer & Erdberg, 2000; Shaffer et al., 1999; pero ver Jorgensen et al., 2000). Por lo tanto, aunque las revisiones de literatura narrativa y cuantitativa sobre TDIR, SCZI, RPRS y ROD son alentadoras, existen problemas con su aplicación a la práctica clínica.

Validez del Rorschach: relaciones con diagnósticos e instrumentos de autoinforme

El Rorschach frecuentemente es descrito por sus defensores como una herramienta de diagnóstico útil. Por ejemplo, en una discusión sobre “diagnóstico diferencial”, Weiner (1997) afirmó:

En la actualidad, el sistema integral Rorschach proporciona índices de esquizofrenia (SCZI) y depresión (DEPI) que pueden ser útiles para identificar estas dos condiciones… Un trabajo reciente de Gacono y Meloy (1994) sugirió que ahora se puede construir un índice de personalidad psicopática igualmente sólido y útil… Además, aunque se necesita más documentación, la acumulación de datos indica que existen en el horizonte índices de Rorschach adecuadamente conceptualizados y empíricamente válidos para el trastorno bipolar, el trastorno límite y esquizotípico de la personalidad y el trastorno de estrés agudo y crónico… (págs. 10-11).

Sin embargo, estos mismos defensores del Rorschach a veces han adoptado una posición considerablemente diferente. Por ejemplo, solo dos años después, Weiner (1999) afirmó que:

El método de Rorschach Inkblot no es una prueba de diagnóstico, no fue diseñado como una prueba de diagnóstico, no está destinado a ser una prueba de diagnóstico y de hecho no funciona muy bien como prueba de diagnóstico, especialmente si lo que se entiende por diagnóstico es una categoría DSM (págs. 336-337).

Debido a que tales afirmaciones parecen ser contradictorias, el mejor curso es recurrir a la literatura científica para la iluminación. Los autores del presente artículo y un colega revisaron la investigación sobre Rorschach y los diagnósticos psiquiátricos (Wood, Lilienfeld et al., 2000a, 2000b). Llegamos a las siguientes conclusiones:

A pesar de algunos hallazgos positivos, el Rorschach ha demostrado poca validez como herramienta de diagnóstico. Las verbalizaciones desviadas y la mala forma en el Rorschach, y los índices basados en estas variables, están relacionados con la esquizofrenia y quizás con el trastorno bipolar y el trastorno esquizotípico de la personalidad. Los pacientes con trastorno límite de la personalidad también parecen dar un número superior al promedio de verbalizaciones desviadas. Por lo demás, el Rorschach no ha presentado una relación bien demostrada con estos trastornos o con el trastorno depresivo mayor, trastorno de estrés postraumático (TEPT), trastornos de ansiedad que no sean TEPT, trastorno de identidad disociativa, trastornos de personalidad dependiente, narcisista o antisocial, trastorno de conducta o psicopatía (pág. 395).

Por ejemplo, el DEPI ha sido el indicador de depresión de Rorschach más ampliamente estudiado. Según Exner (1991, p. 146), un puntaje elevado en el DEPI “se correlaciona muy altamente con un diagnóstico que enfatiza los problemas afectivos graves”. Sin embargo, los investigadores independientes generalmente han encontrado que los diagnósticos de depresión no están significativamente relacionados con los puntajes sobre la versión original o revisada del DEPI, ya sea en adultos o adolescentes (para revisiones, ver Jorgensen, Anderson y Dam, en prensa; Viglione, 1999; Wood, Lilienfeld, et al., 2000a).

Rorschach ha demostrado poca validez como herramienta de diagnóstico

Del mismo modo, Meloy y Gacono (1995, p. 414) afirmaron que el Rorschach es “ideal” para la evaluación de la psicopatía, y que a través de una serie de estudios “hemos validado el uso del Rorschach como un instrumento sensible para discriminar entre sujetos psicopáticos y no psicopáticos ”. Sin embargo, numerosos estudios de replicación realizados por investigadores independientes no han logrado validar de forma cruzada los indicadores de psicopatía de Rorschach propuestos por Meloy y Gacono (Wood, Lilienfeld, et al., 2000a; Wood, Nezworski, et al., En prensa).

Así como los puntajes CS no muestran relaciones replicables con la mayoría de los diagnósticos psiquiátricos, tampoco muestran una relación consistente con los índices de autoinforme. Por ejemplo, después de revisar las relaciones entre los puntajes de Rorschach y MMPI en 37 estudios de adultos, Archer y Krishnamurthy (1993b, p. 277) concluyeron: “los resultados de estos estudios generalmente indican relaciones limitadas o mínimas entre el MMPI y Rorschach ”(véase también Archer y Krishnamurthy, 1993a, 1997). El defensor de Rorschach Gregory Meyer (1996, p. 572) resumió la situación de la siguiente manera:

Archer y Krishnamurthy (1993a, 1993b) y Meyer (en prensa) han establecido que las construcciones de Rorschach y MMPI no convergen en un universo común de información en muestras heterogéneas sin restricciones. Este hallazgo es tan sólido que los esfuerzos adicionales para encontrar correlatos de métodos cruzados en muestras heterogéneas serían redundantes… Actualmente, existe suficiente investigación para concluir que Rorschach no mide de manera consistente o global las características autoinformadas.

Los proponentes de Rorschach a veces han intentado explicar el fracaso de las puntuaciones de Rorschach para correlacionarse con diagnósticos o instrumentos de autoinforme. Por ejemplo, Stricker y Gold (1999, p. 244) han declarado:

El perfil que surge del Rorschach puede corresponder o no a los perfiles que se obtienen de las medidas de autoinforme, entrevistas u observaciones de comportamiento. Tampoco la correspondencia o la falta de correspondencia se consideran más o menos significativas o deseables.

Usando tal razonamiento, uno puede descartar fácilmente la mayoría de los resultados negativos obtenidos para el Rorschach y otros instrumentos proyectivos. Sin embargo, el hecho es que cientos de estudios han sido realizados por investigadores que esperaban que las puntuaciones de CS se correlacionen con los diagnósticos psiquiátricos y los instrumentos de autoinforme. El fracaso general de las puntuaciones de CS para correlacionarse con tales criterios arroja dudas sobre la validez de Rorschach para la mayoría de los propósitos (Hunsley y Bailey, 1999, en prensa; pero ver Viglione, 1999).

Validez incremental

Dado que administrar, calificar e interpretar un Rorschach toma de 2 a 3 horas, uno esperaría que la adición del Rorschach a otra información (por ejemplo, una entrevista) conduzca a una mayor validez. Sin embargo, los resultados sobre la validez incremental ofrecen poco apoyo para el uso de Rorschach cuando hay disponible otra información de evaluación. Esto ha sido cierto tanto para el juicio clínico como para los estudios de predicción estadística.

Cuando los psicólogos emitieron juicios después de recibir cantidades crecientes de información de evaluación, la adición de Rorschach casi nunca condujo a un aumento en la validez de sus juicios (para revisiones, ver Garb, 1984, 1998). Por ejemplo, los psicólogos no se volvieron más precisos cuando: (a) el Rorschach se agregó a los datos demográficos (por ejemplo, Gadol, 1969), (b) usaron una batería de prueba que incluía el Rorschach y se agregó una Prueba de finalización de la oración a los datos demográficos (p. ej., Cochrane, 1972), y (c) el Rorschach se agregó a otros resultados de la prueba o información biográfica (p. ej., Bilett, Jones y Whitaker, 1982; Golden, 1964; Pérez, 1976; Whitehead, 1985) . De hecho, en varios estudios, la validez disminuyó cuando el Rorschach se agregó a otra información (por ejemplo, Gadol, 1969; Golden, 1964; Sines, 1959; Whitehead, 1985). Sin embargo, los resultados de los estudios de juicio clínico no son definitivos. Aunque el estudio de Whitehead (1985) utilizó CS, no está claro cuántas de las otras investigaciones lo hicieron. Sin embargo, es seguro concluir que estos resultados ofrecen un apoyo insignificante para el uso de Rorschach en entornos clínicos, particularmente cuando hay disponible otra información demográfica o de evaluación fácilmente obtenida. Además, al menos un estudio que utilizó CS (Whitehead, 1985) arrojó resultados negativos similares a los de los estudios que utilizaron otros métodos de Rorschach.

Pocas variables de Rorschach han demostrado una validez incremental consistente en la evaluación de los indicadores de construcción psicológicamente significativos por encima y más allá de otra información psicométrica más fácilmente adquirida

En los estudios de predicción estadística, se ha respaldado la validez incremental de algunas puntuaciones de Rorschach. Específicamente, (1) las predicciones de síntomas psicóticos futuros mejoraron significativamente cuando se agregó el Índice de trastorno de pensamiento de Rorschach a la información de una entrevista clínica (O’Connell, Cooper, Perry y Hoke, 1989; (2) la cantidad de la varianza explicada en una medida de laboratorio de inhibición prepulso (que evalúa la incapacidad de los pacientes para descartar estímulos irrelevantes) se incrementó cuando se añadió X-% (un índice Rorschach de inexactitud perceptiva) a una calificación de entrevista de síntomas delirantes ( Perry, Geyer y Braff, 1999); (3) la predicción de la severidad de la psicopatología y la competencia social entre los pacientes psiquiátricos mejoraron significativamente cuando se agregaron los puntajes de Rorschach para R, X %, X-% y el índice de deterioro del ego a los puntajes de MMPI (Perry, Moore y Braff, 1995, reanalizados por Dawes, 1999; Perry y Viglione , 1991); (4) las predicciones del resultado del tratamiento mejoraron significativamente cuando se agregaron los puntajes del RPRS a los puntajes de CI y los puntajes de la escala de fortaleza del ego del MMPI (Meyer, 2000a; Meyer & Handler, 1997); y (5) las predicciones de los diagnósticos de esquizofrenia y las condiciones psicóticas mejoraron significativamente cuando se agregó el índice de esquizofrenia CS a las puntuaciones de MMPI (Meyer, 2000b). Adicionalmente, (6) las predicciones de los diagnósticos de depresión mostraron una mejoría pequeña pero estadísticamente significativa (de R = .33 a R = .35) cuando se agregó el CS DEPI a las puntuaciones de MMPI (Meyer, 2000b), aunque en otro estudio alcanzó tasas de éxito para los diagnósticos de depresión que no mejoraron significativamente cuando el DEPI u otras variables CS (es decir, Vista o Ratio afectivo) se agregaron a las escalas MMPI-A (Archer y Krishnamurthy, 1997). Además, no se encontró una validez incremental significativa cuando se agregaron los puntajes de Rorschach a los puntajes de MMPI para los diagnósticos del trastorno de conducta (Archer y Krishnamurthy, 1997).

Aunque los hallazgos con respecto a la RPRS han sido reproducidos por investigadores independientes, los otros hallazgos no han sido considerados, por lo tanto, deben tomarse como tentativos. Además, los estudios de validez estadística incremental son de relevancia clínica directa solo si los profesionales confían exclusiva y precisamente en el resultado de las reglas de predicción estadística. Lo hacen muy raramente (Dawes, Faust y Meehl, 1989). En general, la validez incremental no se ha estudiado para la gran mayoría de las puntuaciones de Rorschach. Por lo tanto, para casi todos los puntajes de Rorschach, incluidos los puntajes que comprenden el CS, no hay evidencia de validez incremental por encima y más allá de otra información psicométrica.

Resumen y discusión

A pesar de su uso generalizado por parte de los clínicos, la prueba de manchas de tinta de Rorschach sigue siendo un instrumento problemático desde un punto de vista psicométrico. Aunque muchos psicólogos inicialmente creían que el CS (Exner, 1974) remediaba las deficiencias primarias de Rorschach, el estado científico de este sistema parece ser menos convincente. Las normas de CS para muchas variables de Rorschach parecen tener el efecto de clasificar erróneamente a los individuos normales como patológicos, no se ha excluido la posibilidad de sesgo cultural significativo en el CS, las confiabilidades entre evaluadores y test-retest de muchas variables de CS son problemáticas o desconocidas, la estructura factorial de las variables CS no corresponde a las predicciones teóricas de los investigadores y la validez de la mayoría de los índices de Rorschach se apoya en una base científica débil.
Al mismo tiempo, descartar el Rorschach en términos generales como inválido simplifica demasiado el verdadero estado de cosas. Los metaanálisis de investigaciones publicadas sobre Rorschach (por ejemplo, Garb et al., 1999; Hiller et al., 1999) sugieren que al menos algunos índices de Rorschach poseen una validez por encima de cero, aunque la utilidad clínica de estos índices queda por demostrar. Además, las revisiones bibliográficas centradas en un enfoque limitado han identificado diversas variables de Rorschach que parecen tener validez en la identificación de la esquizofrenia, el TLP y quizás el trastorno esquizotípico de la personalidad y el trastorno bipolar. Otras cuatro variables de Rorschach parecen estar positivamente correlacionadas con la alteración del pensamiento, el pronóstico de la psicoterapia y la dependencia. Sin embargo, la gran mayoría de las variables de Rorschach no han demostrado relaciones consistentes con los trastornos psicológicos o los rasgos de personalidad. Quizás lo más importante es que pocas variables de Rorschach han demostrado una validez incremental consistente en la evaluación de los indicadores de construcción psicológicamente significativos por encima y más allá de otra información psicométrica más fácilmente adquirida.