의료 현장에서 AI의 활용이 늘면서 ‘설명 가능한 AI’에 대한 수요 또한 높다. 블랙박스 모델은 결과는 도출되지만 과정을 알기 어렵다는 단점이 있다. 반면 설명 가능한 화이트박스 모델은 판단 근거가 명확해 의료진이 설명하기에도 적합하기 때문이다.

의료 AI는 예측의 정확도와 판단의 해석 가능성에 따라 블랙박스 모델과 화이트박스 모델로 구분된다. 블랙박스 모델은 내부 작동 원리가 외부에서 쉽게 파악되지 않는 모델로, 입력과 출력은 제공하지만 그사이의 결정 과정을 이해하기 어렵다. 주로 딥러닝 기반의 이미지 분석 모델이나 앙상블 학습 방식이 이에 해당한다.

딥러닝 모델은 복잡한 신경망 구조에 기반해 자동으로 특징을 추출하고 학습하며, 안저 영상에서 당뇨망막병증을 진단하거나 흉부 엑스레이에서 폐렴을 분류하는 데 높은 정확도를 보인다. 예측력이 뛰어나고 사람이 일일이 규칙을 설계하지 않아도 된다는 장점이 있지만, 판단 근거를 설명하기 어렵고 오류 발생시 원인을 파악하거나 수정하기 힘들다는 단점이 있다. 의료는 생명과 직결되기 때문에 이러한 불투명한 의사결정 방식은 규제와 윤리적 문제를 야기할 수 있다.


해석이 용이한 화이트박스 모델

반면, 화이트박스 모델은 내부 구조와 판단 과정을 사람이 이해할 수 있는 모델로, 선형회귀나 규칙 기반 시스템처럼 해석이 용이하다. 예를 들어, 특정 연령 이상 또는 혈압 수치 초과를 기준으로 고혈압 위험군을 분류하는 방식은 판단 근거가 명확하고 의료진이 설명하기에도 적합하다. 또한 오류 발생 시 원인 추적과 수정이 용이하며, 환자 설명 의무나 의료과실 책임 규명에도 유리하다. 그러나 복잡한 문제나 고차원 데이터를 다루는 데에는 성능이 제한될 수 있다.

의료 현장에서 어떤 모델을 선택할지는 적용 분야와 목적에 따라 다르다. 영상 분석이나 약물 반응 예측처럼 정확도가 핵심인 분야에서는 블랙박스 모델이 유리할 수 있지만, 이 경우에도 결과의 해석 가능성을 보완할 기술이 필요하다. 반대로, 의사-환자 간 신뢰와 소통이 중요한 상황에서는 해석이 용이한 화이트 박스 모델이 적합하다.


설명 가능한 AI 기술

이러한 필요성에 따라 최근에는 설명 가능한 인공지능(XAI: Explainable AI)이 주목받고 있다. 설명 가능한 AI는 블랙박스 모델의 높은 정확도는 유지하면서도, 판단 근거를 사람이 이해할 수 있도록 돕는 기술이다. 예를 들어, AI가 어떤 정보를 중요하게 고려했는지 시각적으로 보여주거나, 입력을 어떻게 바꾸면 결과가 달라지는지를 제시함으로써 모델의 판단 과정을 설명한다.

특히 의료 영상 기반의 AI가 확산되면서 영상의학, 병리, 내시경, 수술 영상 등 다양한 분야에서 설명 가능한 AI 기술에 대한 요구가 커지고 있다. 대표적인 기술로는 중요도 지도(Saliency Map)가 있으며, 이는 이미지의 각 픽셀이 모델의 예측에 얼마나 영향을 미쳤는지를 시각화한다. 예를 들어, 폐암 진단에서 CT 이미지상 병변 부위를 강조하거나, 유방암 진단에서는 병리 이미지상 악성종양의 위치와 크기를 보여줌으로써 의료진의 판단을 지원한다. 안과 분야에서는 안저 사진에서 녹내장이나 황반변성의 변화 부위를 시각화해 질환 인지를 돕는다.


의료 AI의 신뢰성과 투명성 확보

설명 가능한 AI는 블랙박스 모델의 성능을 유지하면서 의료진과 환자가 AI의 결론을 이해하고 신뢰할 수 있도록 돕는 중요한 도구이다. 이를 통해 모델의 내부를 들여다보고 판단 근거를 확인할 수 있으며, 임상 의사결정 과정에서 실제로 활용 가능한 기술로 발전할 수 있다. 또한 의료 AI의 오류로 환자에게 피해가 발생한 경우, 설명 가능한 AI는 의사결정의 근거를 제공함으로써 책임 소재를 규명하고 법적 분쟁을 줄이는 데 기여할 수 있다. 이처럼 설명 가능한 AI는 진료 지원을 넘어서 인허가, 품질검증, 책임 규명 등 의료 AI의 신뢰성과 투명성을 확보하는 데 핵심적인 역할을 한다.

박상민 서울대학교병원 가정의학과 교수
건강소식 2025년 7월호 中 발췌