Autores: Filipa Marques dos Santos, Carlos Senra, Cristina Mota, Francisco Antunes, Inês Matos, Pedro Teixeira Sousa, Inês Dias Marques
RESUMEN: Antecedentes: El objetivo del trabajo fue evaluar la precisión del software AI-Rad Companion (AIRC-cCT)(Siemens Healthineers®) a través del análisis de tomografías computarizadas (TC) torácicas y comparar los resultados con la evaluación de radiólogos.
Métodos: El AIRC-cCT analizó retrospectivamente 348 TC torácicas, evaluando la presencia de enfisema, nódulos pulmonares, diámetro de la aorta torácica y vértebras torácicas. Un panel de radiólogos experimentados (Panel de Expertos) revisó todos los resultados/informes y se consideró para efectos comparativos.
Resultados: El AIRC-cCT presentó una sensibilidad (68,5%) y especificidad (64,7%) adecuadas para detectar enfisema. El software falló en la interpretación de otras áreas de baja densidad que no eran enfisema, ofreciendo, sin embargo, la ventaja de permitir cuantificar el enfisema.
Se incluyeron los 6 nódulos más grandes presentados por la aplicación, en un total de 1003 nódulos. El Panel de Expertos validó 677 (67,5%) como nódulos verdaderos. 209 nódulos (20,8%) fueron considerados no relevantes (125 granulomas, 84 ganglios intra-cisurales, entre otros).
El AIRC-cCT detectó 101 exámenes con dilatación patológica de la aorta. Hubo un alto grado de concordancia entre el AIRC-cCT y el Panel de Expertos en relación con la aorta (kappa de Cohen = 98,9%, IC del 95% 98,1–99,7%; p <0,0001), siendo los resultados adecuados para exámenes de detección (sensibilidad = 99,1%, especificidad = 98,7%; p < 0,0001).
El AIRC-cCT clasificó automáticamente 130 (37,4%) columnas dorsales como anormales, pero solo 18 (13,8%) fueron consideradas clínicamente relevantes por el Panel de Expertos.
Conclusiones: Comparado con el Panel de Expertos, el AIRC-cCT detectó y cuantificó enfisema y nódulos pulmonares con precisión adecuada, aunque con algunos resultados falsos positivos. El software mostró gran exactitud al detectar dilatación de la aorta torácica. Fue menos preciso para alteraciones de la columna dorsal, con muchos resultados falsos positivos.
ABSTRACT:Background: The objective was to evaluate the performance of AI-Rad Companion software (AIRC-cCT)(Siemens Healthineers®) by analyzing chest CT scans and comparing the results against Radiologists’ evaluation.
Methods: AIRC-cCT retrospectively assessed 348 chest CTs, evaluating emphysema, lung nodules, thoracic aorta diameters and thoracic vertebral spine. An Expert Panel reviewed all results/reportings and was considered the ground truth.
Results: AIRC-cCT was adequately sensitive (68.5%) and specific (64.7%) detecting emphysema. The software misinterpreted low density areas as emphysema but offered the advantage of emphysema quantification.
The 6 biggest nodules presented by AIRC-cCT were considered, in a total of 1003. Expert Panel validated 677 (67.5%) as real nodules. 209 nodules (20.8%) were regarded as non-relevant (125 granulomas, 84 perifissural nodules, among others).
AIRC-cCT detected 101 scans with pathological dilation of the Aorta. Expert Panel and AIRC-cCT strongly agreed about aortic dilation status (Cohen’s kappa = 98.9%, 95% CI 98.1–99.7%; p < 0,0001) with excellent screening parameters (sensitivity = 99.1%, specificity = 98.7%; p < 0,0001)
AIRC-cCT automatically classified 130 (37.4%) thoracic spines as abnormal, but only 18 (13.8%) of them were considered clinically relevant by the Expert Panel.
Conclusions: Compared with the Expert Panel, AIRC-cCT detected and quantified emphysema and lung nodules with adequate accuracy, although with some false positive results. The software revealed great exactitude detecting thoracic aorta dilation. It was less precise for thoracic spine changes, with utmost false positive results.
ABSTRACT:Background: The objective was to evaluate the performance of AI-Rad Companion software (AIRC-cCT)(Siemens Healthineers®) by analyzing chest CT scans and comparing the results against Radiologists’ evaluation.
Methods: AIRC-cCT retrospectively assessed 348 chest CTs, evaluating emphysema, lung nodules, thoracic aorta diameters and thoracic vertebral spine. An Expert Panel reviewed all results/reportings and was considered the ground truth.
Results: AIRC-cCT was adequately sensitive (68.5%) and specific (64.7%) detecting emphysema. The software misinterpreted low density areas as emphysema but offered the advantage of emphysema quantification.
The 6 biggest nodules presented by AIRC-cCT were considered, in a total of 1003. Expert Panel validated 677 (67.5%) as real nodules. 209 nodules (20.8%) were regarded as non-relevant (125 granulomas, 84 perifissural nodules, among others).
AIRC-cCT detected 101 scans with pathological dilation of the Aorta. Expert Panel and AIRC-cCT strongly agreed about aortic dilation status (Cohen’s kappa = 98.9%, 95% CI 98.1–99.7%; p < 0,0001) with excellent screening parameters (sensitivity = 99.1%, specificity = 98.7%; p < 0,0001)
AIRC-cCT automatically classified 130 (37.4%) thoracic spines as abnormal, but only 18 (13.8%) of them were considered clinically relevant by the Expert Panel.
Conclusions: Compared with the Expert Panel, AIRC-cCT detected and quantified emphysema and lung nodules with adequate accuracy, although with some false positive results. The software revealed great exactitude detecting thoracic aorta dilation. It was less precise for thoracic spine changes, with utmost false positive results.
RESUMEN: Antecedentes: El objetivo del trabajo fue evaluar la precisión del software AI-Rad Companion (AIRC-cCT)(Siemens Healthineers®) a través del análisis de tomografías computarizadas (TC) torácicas y comparar los resultados con la evaluación de radiólogos. Métodos: El AIRC-cCT analizó retrospectivamente 348 TC torácicas, evaluando la presencia de enfisema, nódulos pulmonares, diámetro de la aorta torácica y vértebras torácicas. Un panel de radiólogos experimentados (Panel de Expertos) revisó todos los resultados/informes y se consideró para efectos comparativos. Resultados: El AIRC-cCT presentó una sensibilidad (68,5%) y especificidad (64,7%) adecuadas para detectar enfisema. El software falló en la interpretación de otras áreas de baja densidad que no eran enfisema, ofreciendo, sin embargo, la ventaja de permitir cuantificar el enfisema. Se incluyeron los 6 nódulos más grandes presentados por la aplicación, en un total de 1003 nódulos. El Panel de Expertos validó 677 (67,5%) como nódulos verdaderos. 209 nódulos (20,8%) fueron considerados no relevantes (125 granulomas, 84 ganglios intra-cisurales, entre otros). El AIRC-cCT detectó 101 exámenes con dilatación patológica de la aorta. Hubo un alto grado de concordancia entre el AIRC-cCT y el Panel de Expertos en relación con la aorta (kappa de Cohen = 98,9%, IC del 95% 98,1–99,7%; p <0,0001), siendo los resultados adecuados para exámenes de detección (sensibilidad = 99,1%, especificidad = 98,7%; p < 0,0001). El AIRC-cCT clasificó automáticamente 130 (37,4%) columnas dorsales como anormales, pero solo 18 (13,8%) fueron consideradas clínicamente relevantes por el Panel de Expertos. Conclusiones: Comparado con el Panel de Expertos, el AIRC-cCT detectó y cuantificó enfisema y nódulos pulmonares con precisión adecuada, aunque con algunos resultados falsos positivos. El software mostró gran exactitud al detectar dilatación de la aorta torácica. Fue menos preciso para alteraciones de la columna dorsal, con muchos resultados falsos positivos.