‘딸깍’ 한방에 무너지고 있다…대량 생산되는 AI 논문, 거짓과 과장 넘치네

사진 확대

최근 과학 학술지에 인공지능(AI) 도구를 활용해 공공 데이터를 분석한 논문이 급격히 증가하면서, 허위 또는 과장된 건강 주장을 담은 연구가 범람할 수 있다는 우려가 제기되고 있다.

최근 국제 학술지 플로스 바이올로지(PLOS Biology)에 실린 연구에 따르면 미국의 국민건강영양조사(NHANES)를 기반으로 한 300편 이상의 논문을 분석한 결과, 다수의 논문이 ‘하나의 변수로 복합적인 질환을 설명한다’라는 공통된 패턴을 보이며 통계적 검증을 제대로 통과하지 못했다고 지적했다.

연구 저자인 매트 스픽 영국 서리대 생의학과 박사는 네이처와의 인터뷰에서 “최근 출판되는 논문들이 지나치게 정형화돼 있으며, 대형 언어 모델이 작성한 것처럼 보이기도 한다”라고 말했다. 이들 논문은 비타민 D 수치나 수면의 질과 같은 단일 변수를 우울증, 심장질환 같은 복합적 질병과 연관 지어 결론을 도출했지만, 실질적인 인과관계나 통계적 유의성을 갖추지 못한 경우가 다수였다.

연구진은 NHANES 데이터를 이용한 논문 중 2014년부터 2024년까지 발표된 341편을 표본으로 분석했다. 그 결과, 169개의 서로 다른 변수들이 건강 상태와 통계적으로 유의미한 관계가 있다고 주장됐으나, 다수는 변수 간 연관성이 서로 충돌하거나, 데이터의 일부만 인위적으로 선택해 분석한 것으로 나타났다. 연구진은 “시험을 보면서 맞은 문제만 골라 제출하는 식”이라며 이른바 ‘체리피킹’ 방식의 데이터 해석을 경고했다.

특히 우울증을 주제로 한 28편의 논문을 검토한 결과, 통계적으로 의미 있다고 주장된 연관성이 교차 검증을 거친 후 절반 이상(15편)에서 유의성을 상실했다. 또한 14편의 논문 중 10편은 NHANES의 전체 데이터를 사용하지 않고 특정 연도나 연령층만 분석 대상으로 삼았지만, 그 이유를 명시하지 않았다. 이는 결과 도출을 위해 데이터를 임의로 편집하거나, 하나의 데이터셋으로 다수의 논문을 생산하기 위한 전략일 수 있다고 연구진은 분석했다.