¿Quiénes somos? ¿Dónde estamos? Contacta ¿Qué es la MBE? Aviso Legal
 
 
Revisiones/ Actualizaciones Revisiones/ Actualizaciones

4. METANÁLISIS

Odds Ratio de Diagnóstico (ORD)

Con los 26 documentos disponibles el abordaje del metanálisis se ha realizado considerando que el estimador del efecto es la odds Ratio de Diagnóstico (ORD) La ORD no es otra cosa que el odds Ratio habitual en una tabla de 2x2. En el caso de tablas diagnósticas esta OR es la razón del Cociente de Probabilidades, que proporciona una única medida de la exactitud o poder discriminatorio del test, que llamaremos diagnosticidad (ORD) Los métodos para combinar los resultados de los estudios serán un promedio de los OR originales si estos son homogéneos. El promedio puede calcularse de forma no ponderada, ponderando por la inversa de la varianza o usando un modelo de efectos aleatorios, que produce resultados intermedios.

El metanálisis de estudios sobre pruebas diagnósticas es complejo y sujeto a debate. En la RS PET-NPSse utilizará el método propuesto por Moses 69 y otros 70, 71 para combinardatos dicotómicos. Se harán análisis ponderados y no ponderados. Si la exactitud el test no depende del umbral el OR derivado de cada estudio es una medida útil de la exactitud del test. En estas condiciones los OR se pueden combinar mediante la técnica de Mantel-Haenszel.

Análisis central.

En este meta-análisis se combinarán en un estimador global (comunal) datos de varios datasets, uno por cada estudio primario incluido en la revisión sistemática.El principio subyacente es que, si todas las demás condiciones se mantienen iguales, la variabilidad en las proporciones de resultados verdaderos positivos (PVP, Sensibilidad) y falsos positivos (PFP, 1-Especificidad) de las respectivas tablas de 2x2 se deberá a modificaciones en el umbral que define la positividad o negatividad de un resultado PET, y que la diferente eficacia diagnóstica mostrada en los estudios originales se deberá a la altura en que se coloque el umbral que define un test (PET) positivo más que a la capacidad del propio test. Las variaciones en el umbral entre los diferentes estudios primarios pueden ser explícitas (predeterminadas expresamente por los investigadores), implícitas (dadas las variaciones en la agudeza y ‘sensibilidad’ de quienes interpretan el resultado de la prueba), o debidas a una composición diferente de las poblaciones estudiadas en los artículos primarios en cuanto a la frecuencia de malignidad. De acuerdo con esta asunción, la pareja PVP (Sensibilidad, Se) y PFP (1-Especificidad, Es) se deslizará a lo largo de una curva ROC comunal, cuyas características se calculan de la siguiente manera:

Transformación logit de PVP y PFP.

Cálculo de S y D. S=(logit PVP+logit PFP); D=(logit PVP-logit PFP).

S es la suma de resultados positivos de la PET y se define como el ‘umbral’ de la prueba. Al desplazarse en el cuadrado unidad desde la esquina inferior izquierda (0,0) hasta la esquina superior derecha (1,1), la pareja PVP-PFP dibuja una curva convexa hacia la esquina noroeste (1,0) del cuadrado unidad, que es simétrica si las varianzas de la distribución de los valores del test problema (PET) y de la referencia estándar (gold standard) son iguales. Esta curva se define como Receiver Operating Caracteristics Curve o curva ROC.D se formula como logit PVP-logit PFP = logit (PVP/PFP) = logit (Odds Ratio, odds de resultados + de la PET en pacientes con NPS malignos relativo al odds de resultados + de la PET en pacientes con NPS benignos, OR). Este OR se define como la ‘diagnosticidad’ del test porque refleja la fuerza de la asociación entre los resultados positivos de la PET y la naturaleza maligna del NPS. La ‘diagnosticidad’ de un test (OR) y el cociente de probabilidades (CP, LR) son expresiones conceptualmente próximas aunque matemáticamente distintas.

Regresión de D sobre S.
Se ajusta un modelo de regresión (mínimos cuadrados con igual peso) D=a+bS. Es importante evitar basar estas estimaciones en valores de PVP y PFP que están fuera del rango de interés clínico. Valores de 0.5 para ambos índices podrían ser apropiados. La calidad de ajuste del modelo se comprobará con las técnicas de diagnóstico de regresión usuales. Si b no es estadísticamente diferente de cero, los D (ORD-ORD diagnósticos, índices de diagnosticidad) pueden considerarse homogéneos, lo que desde el punto de vista clínico quiere decir que los índices de diagnosticidad son los mismos para los diferentes estudios primarios analizados, e independientes de los umbrales que se hayan utilizado para definir los resultados positivos del test. Desde el punto de vista estadístico esta cualidad significa que existe una curva ROC comunal para el conjunto de los artículos estudiados y un OR cuyo Error Estándar (EE) se podrá calcular con la técnica de Mantel-Haenszel. En caso contrario se usarían los EEs de las medias y las medianas de los diferentes odds Ratios.En este modelo a representa el estimador común, y su antilogaritmo traduce el OR Diagnóstico. La elección de utilizar un modelo de regresión ponderado por la inversa de la varianza o convencional no ponderado no es banal.. No ponderar significa no asignar más peso a los estudios más grandes, que en este estudio son pocos. Ponderar puede contribuir a sesgar el estimador. Empiricamente ambas aproximaciones dan resultados similares, y se aconseja ofrecer ambas al lector.

Estimación de la curva ROC Resumen (Summary ROC Curve) a partir de estos datos,de sus intervalos de confianza, se dibuja la curva ROC y del índice de Sensibilidad-Especificidad Conjunta Máxima (SECM), que es unparámetro que define muy apropiadamente la ‘calidad’ de la curva y que sustituye en este estudio al área bajo la curva. Esta no se calculará por no haber dispuesto para el análisis de valores de PVP/PFV menores de 0.5. La construcción de la curva ROC comunal (SROC) se hace a partir de aplicar los valores Proporción de Falsos Positivos (PFP, 1-Especificidad) de cada estudio y de los coeficientes (a y b) del modelo de regresión ajustado en3, de acuerdo con la siguiente ecuación:


Si la condición de homogeneidad en la diagnosticidad (D, OR) se cumple, los intervalos de confianza para la curva ROC se calculan sustituyendo los valores inferior y superior (ai y as) del intervalo de confianza estimado para a en 3.


La Sensibilidad-Especificidad Conjunta Máxima (SECM) es la intersección de la curva ROC estimada con la línea donde Sensibilidad=Especificidad, que discurre desde el extremo noroeste del cuadrado unidad (0,1) hasta el sureste (1,0),y es una medida global de la eficacia diagnóstica del test. Valores de SECM próximos a 1 significan que el vértice de la curva ROC se despliega hasta las proximidades del extremo noroeste del cuadrado unidad, que es una cualidad propia de los tests muy eficaces. La línea SEMC es sólo función del coeficiente a estimado en el modelo de regresión ajustado en 3. Los intervalos desconfianza para SEMC se calculan a partir de su EE.

Valores resumen de la PVP y de la PFP no se pueden obtener directamente de esta análisis. Para disponer de alguno es preciso partir de un valor real de alguno de ellos y convertirlo en valores de SROC de acuerdo con las fórmulas descritas. Un valor posible a elegir sería la mediana de cualquiera de ellas.

Análisis de sensibilidad. Para comprobar la robustez de los estimadores se realizará un análisis de sensibilidad analizando primero los artículos aptos para metanálisis, añadiendo luego los artículos dudosamente aptos para el metanálisis y finalmente los Abstracts.

Análisis de subgrupos. Los estimadores comunales y válidos de la eficacia diagnóstica de la PET en el NPS pueden todavía no ser generalizables a cualquier ámbito clínico. La variable a examen más interesante es la prevalencia de malignidad en cada artículo porque es un reflejo del ámbito clínico de donde se ha extraído la muestra.Se introducirá en el modelo de regresión D=a+bS+cPrevalenciaM. Si el coeficiente c es estadísticamente significativo, la variable se considerará efectivamente asociada a la exactitud diagnóstica de la PET, en cuyo caso, la diagnosticidad es función de a y de c, que es el coeficiente de la variable Prevalencia de malignidad.

El análisis de la Curva ROC global se ha hecho con un software específico 72 (Meta-Test) basado en el artículo de Moses 69 que combina también de forma separada la sensibilidad y la E, ponderadas por la inversa de la varianza y utilizando un modelo de efectos aleatorios. En la Unidad de Investigación hemos programado en SASâ 74 las mismas fórmulas propuesta por Moses, con resultados similares a los obtenidos conMeta-Test, y la fórmula de la Sensibilidad-Especificidad Conjunta Máxima (SECM) que no la ofrece Meta Test. Para el análisis más convencional se ha usado Comprehensive meta-analysis 73.

Resultados

Sesgos de selección. Aunque la búsqueda bibliográfica ha sido exhaustiva en términos de bases de datos y procedencia, no se puede garantizar que se hayan recuperado absolutamente todos los documentos existentes. Sin embargo, los autores de la RS PET-NPS confían en que la información no recuperada sea escasa y poco influyente. El funnel plot es bastante simétrico,aunque se observa un cierto vacío en la base izquierda del triángulo, indicando que podrían faltar artículos de tamaño muestral pequeño y diagnosticidad (ORD) menor que los recogidos en la RS PET-NPS. Este efecto, aunque pequeño,se sumaría a la tendencia de sobrestimación de los índices diagnósticos que, sin duda,opera en esta RS.Debe no obstante añadirse que dos de los estudios con muestra relativamente mayor (Higashi 2001 yPark 1998) aportan ORD más pequeñas, lo que en el conjunto de los estudios podría neutralizar el defecto señalado en el Funnel Plot.

Figura 1. Diagrama en embudo para evaluar el sesgo de selección

 

Cálculo de estimadores. En las tablas XI-siguientes se ofrece toda la información relativa al metanálisis y se ponen de manifiesto 4 bloques de conceptos para cada una de tres circunstancias distintas

  • Artículos aptos para metanálisis,
  • Artículos aptos y dudosamente aptos para el metanálisis
  • Aptos, dudosamente aptos y abastracts

Lo que supone un análisis de sensibilidad para las tres categorías de documentos. Los conceptos estadísticos son:

  • Número de pacientes estudiados
  • Test de homogeneidad de umbral para un resultado PET positivo
  • Análisis de la curva ROC globalizada (ROCS) de Moses
  • Meta-regresión en que se evalúa el impacto de la prevalencia de malignidad sobre el estimador diagnóstico global,
  • Test Q de homogeneidad de valores numéricos de diagnosticidad (ORD), y
  • Análisis de Mantel-Haenszel una vez eliminados los dos artículos disonantes :Higashi 2001 (ORD=2,214) y Park 1998 (ORD=5,357)
  • Sensibilidad y Especificidad

Número de pacientes estudiados.

Los 26 documentos seleccionados aportan un total de 1349 pacientes, que son 897 si se descartan los abstractsy 440 si se toman en cuenta sólo los documentos originales calificados como aptos para el metanálisis. Una vez descartados dos documentos con ORD inusualmente baja con respecto al promedio, los números son 1298, 844 y 428.

Test de Homogeneidad para el umbral de PET+ (Análisis Central)

El coeficiente de la pendiente en la Regresión de Moses no es distinto de cero en ninguno de los tres escenariosreferidos. Al no poder descartar la hipótesis nula de que el umbral con que se define la positividad de la PET es similar en todos los documentos seleccionados se procede a aplicar la Regresión de Moses.

TABLA XI. Homogeneidad del umbral para un test positivo

Homogeneidad Umbral test+

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

Regr. no ponderada

Pendiente

0,2927 (p=0,44)

0,1688 (p=0,49)

0,1240 (p=0,54)

Regr. ponderada

Pendiente

0,2282 (p=0,40)

-0,0648 (p=0,43)

0,0248 (p=0,58)

Análisis de la Curva ROC Resumen (ROCS)

Los estimadores de la curva ROCS se calculancon técnicas de regresión con igual peso y con técnicas de regresión ponderada por la inversa de la varianza. En los tres escenarios el intercepto de la regresión es bastante similar. Una vez obtenido su antilogaritmo se desvelan los OR Diagnósticos, que son muy elevados y que apuntan a una alta capacidad de la PET para el diagnóstico de malignidad del NPS. En palabras, la odds de encontrar una PET positiva entre los nódulos malignos es más de 60 veces superior a la de encontrada entre los benignos. Los ORD neutros tienen valor de 1, y valores tan altos se encuentran pocas veces en pruebas diagnósticas de uso clínico.

Los valores de ORD varían entre que se haga el análisis de forma ponderada o no, lo que refleja el impacto de los tamaños muestrales en la ORD Resumen.Sin embargo, en términos prácticos la ORD Resumen sigue mostrando una alta capacidad diagnóstica, raramente vista en las pruebas diagnósticas de uso clínico habitual.

El área bajo la curva ROC es también muy alta y similar en los escenarios documentales. Hay que tener en cuenta que esta curva responde a un modelo matemático bastante sofisticado y que es difícil de interpretar en términos clínicos. Un estimador mucho más aplicable clínicamente es el denominado de sensibilidad especificidad Conjunta Máxima (SECM), cuyo valor oscila entre 0 y 1, y que representa la intersección de la curva ROC estimada con la línea donde Sensibilidad=Especificidad, que discurre desde el extremo noroeste del cuadrado unidad (0,1) hasta el sureste (1,0),y es una medida global de la eficacia diagnóstica del test.

TABLA XII.Estimadores de la curva ROC globalizada

ROCS (Moses)

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

No ponderada

Intercepto (ORD)

4,084 (59,33)

4,4349 (83,34)

4,3380 (76,55)

Área bajo la curva

0,94

0,96

0,96

SECM (IC95%)

0,88 (,85-,92)

0,89 (0,84-0,93)

0,88 (0,85-0,92)

Ponderada

Intercepto (ORD)

3,5546 (34,97)

4,1402 (62,81)

3,9862 (53,85)

Área bajo la curva

0,91

0,95

0,94

Figura 2.Curva ROC globalizada de los ártículos aptos para el metanálisis (n=9)

Área bajo la curva SROC:

No ponderada: 0,94

Ponderada: 0,91


 


Figura 3.Curva ROC globalizada de los ártículos aptos y dudosamente aptos para el metanálisis (n=18)

Área bajo la curva SROC:
No ponderada: 0,96
Ponderada: 0,95

Figura 4.Curva ROC globalizada de los ártículos aptos, dudosamente aptos para el metanálisis y abstracts(n=26)

Área bajo la curva SROC:

No ponderada: 0,96

Ponderada: 0,94



Meta-regresión. Análisis del impacto de otras variables de interés en la ORD Globalizada.

Se había anticipado evaluar si la prevalencia de malignidad en los documentos seleccionados estaba asociado de forma independiente con ladiagnosticidad de la PET. En este análisis, el coeficientede la variable prevalencia de malignidadno es distinto de cero, con lo que no se puede descartar la hipótesis nula de independencia. Sin embargo,hay que reparar que las prevalencias eran frecuentemente muy altas (promedio no ponderado de0,64 e intervalo de 0,47 a 0,78 ) y con escasa variabilidad entre artículos.

Hubiera sido muy interesante comprobar la asociación de la calidad metodológica de los artículoscon la diagnosticidad de la PET, pero no ha sido posible porque todos los artículos fueron calificados como D menos 3 (2 B y 1 C) Recuérdese que la escala de calidad va de A, muy bueno, a D, muy malo.

Tampoco ho ha sido posible comprobar la asociación del diámetro promedio del nódulo con la diagnosticidad de la PET por no disponerse de este dato en la mayoría de los artículos.

TABLA XIII. Meta-regresión para la prevalencia de malignidad

Prev. malignidad

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

Coeficiente

-11.031 (p=0,28)

-1,1786 (p=0,84)

0,4188 (p=0,93)

Test de homogeneidad para los valores numéricos de diagnosticidad (ORD)

En la tabla se comprueba que existe una clara heterogeneidad en los valores numéricos. Como se puede comprobar visualmente en el Funnel Plot (página 22), son dos los artículos responsables principales de esta heterogeneidad, el de Higashi 2001, que es un artículo original calificado como apto para el metanálisis, con un tamaño muestral de 53 y unaORD de 2,214, y el de Park 1998, con un tamaño muestral de 43 y una ORD de 5,357. Una vez descartados estos documentos el test Q muestra que no se puede descartar homogeneidad en los ORD originales de los 24 documentos restantes. En este caso se puede calcular el estimador de diagnosticidad con el test de Mantel-Haenszel.

TABLA XIV.Q-test

HomogeneidadORD. Q test con 26 doc

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

24,204 (p=0,002)

34,40 (p=0,0074)

52,80 (0,0009)

Análisis de Mantel-Haenszel.

Como era de esperar, tras descartar los dos documentos que presentaban una ORD tan disímil del resto y mucho más baja, el valor del estimador de la capacidad diagnóstica global de la PET en el NPS (ORD) incrementaespectacularmente hasta situarse en las proximidades de 100, ligeramente inferior cuando se evalúa como sujeto a efectos aleatorios.

TABLA XV. Estimadores de ORD de Mantel-Haenszel

Mantel-HaenszelEliminados 2* documentos“disonantes”

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

Q test con 24 doc

2,981 (0,88)

10,82 (0,82)

ORD efectos fijos (IC)

94,07 (43,7-202,4)

87,65 (51,9-147-8)

86,56 (56,6-132,4)

ORD EfectosAleatorios (IC)

86,74 (39,8)

81,48 (47,7-139-1)

84,29 (42,75-111,19)

*Higashi 2001 (ORD=2,214) y Park 1998 (ORD=5,357)

Figura 5.- Diagrama de Forrest; modelo de Mantel-Haenszel de efectos aleatorios

Sensibilidad y especificidad promedio

Para el cálculo promedio de la sensibilidad y la especificidad, Lau71propone hacer un promedio ponderado por la inversa de la varianza, siempre que se haya podido demostrar que el umbral para la definición de test+ es homogéneo y que los valores numéricos de los estimadores de diagnosticidad (ORD) son semejantes. Una vez que se han descartado los dos documentos disonantes, ambas circunstancias se dan en la RS PET-NPS. Se ha decidido incorporar este estimador al análisis porque los clínicos estamos bastante familiarizados con estos índices diagnósticos. Se comprueba que la sensibilidad promedio es sensiblemente superior a la especificidad, y que los valores son semejantes para los tres escenarios documentales y para la condición de efectos fijos o aleatorios.

TABLA XVI. sensibilidad y especificidad medias

Sensibilidad y especificidad medias

A Aptos 440 pacientes

A+D A+Dudosos 844 pacientes

A+D+A A+D+Abstracts 1394 pacientes

Sensibilidad

Efectos fijos

0,92 (0,86-0,95)

0,92 (0,89-0,94)

0,92 (0,89-0,94)

Efectos aleatorios

0,94 (0,87-0,97)

0,92 (0,89-0,95)

0,93 (0,90-0,95)

Especificidad

Efectos fijos

0,80 (0,72-0,86)

0,78 (0,72-0,88)

0,77 (0,73-0,71)

Efectos aleatorios

0,80 (0,72-0,86)

0,82 (0,74-0,88)

0,80 (0,74-0,85)


Figura 6.- sensibilidad y especificidad medias artículos aptospara metanálisis (n=9)

Figura 7.- sensibilidad y especificidad medias artículosaptos y dudosamente aptos para metanálisis (n=18)



Figura 8.- sensibilidad y especificidad medias artículos aptos,dudosamenteaptos para metanálisis y abstracts(n=26)

 
Menu Web
Patrocinadores:
Inicio Volver Arriba Establecer como Página de Inicio Atrás Añadir a mis favoritos
Mejor idea de la década. Diario Médico
Grupo de Medicina Basada en la Evidencia. Servicio de Neumología. Hospital Universitario 12 de Octubre
Grupo de Medicina Basada en la Evidencia
Hospital Universitario 12 de Octubre

Desarrollado por:
Quodem Consultores

Última modificación: 01/04/2014