وقتی یک نمره آزمایشگاهی یا مدل پیش‌بینی قرار است افراد را به دو گروه مثبت و منفی تقسیم کند، اولین سؤال معمولاً این است: «نقطه برش چند باشد؟» منحنی ROC کمک می‌کند مبادله میان حساسیت و مثبت کاذب دیده شود؛ اما به‌تنهایی یک آستانه مناسب بالینی یا یک آزمون آماده استفاده نمی‌سازد. در این راهنما، ROC، AUC و شاخص یودن را با داده کاملاً فرضی بررسی می‌کنیم.
از جدول دو در دو شروع کنید
برای ساخت مثال، فرض کنید وضعیت هدف با یک استاندارد مرجع تعیین شده است و نمره بالاتر آزمون به معنی احتمال بیشتر وضعیت هدف است. با هر آستانه، افراد به مثبت و منفی تقسیم می‌شوند. مثبت واقعی و منفی کاذب میان افراد دارای وضعیت هدف قرار می‌گیرند؛ منفی واقعی و مثبت کاذب میان افراد فاقد آن. کیفیت استاندارد مرجع و انتخاب شرکت‌کنندگان بر اعتبار نتیجه اثر دارند.
Sensitivity = TP / (TP + FN)
Specificity = TN / (TN + FP)
False positive rate = 1 - Specificityحساسیت به این پرسش پاسخ می‌دهد که چه سهمی از افراد دارای وضعیت هدف، مثبت شناخته شده‌اند. ویژگی سهم منفی‌های درست میان افراد فاقد آن است. این دو با احتمال بیمار بودن یک فرد دارای نتیجه مثبت یکسان نیستند؛ آن احتمال با ارزش اخباری مثبت بیان می‌شود و به شیوع و جمعیت کاربرد نیز وابسته است.
مثال آموزشی با سه آستانه
نمونه زیر فقط برای یادگیری است: ۵۰ فرد دارای وضعیت هدف و ۵۰ فرد فاقد آن داریم. در هر ردیف، همان افراد با یک آستانه دیگر طبقه‌بندی شده‌اند؛ بنابراین ردیف‌ها سه مطالعه مستقل نیستند. واحد نمره و آستانه‌ها ساختگی‌اند و هیچ کاربرد تشخیصی واقعی ندارند.
| آستانه | TP / FN | FP / TN | حساسیت | ویژگی | یودن |
|---|---|---|---|---|---|
| ۱۰ | ۴۵ / ۵ | ۲۰ / ۳۰ | ۰٫۹۰ | ۰٫۶۰ | ۰٫۵۰ |
| ۲۰ | ۴۰ / ۱۰ | ۱۰ / ۴۰ | ۰٫۸۰ | ۰٫۸۰ | ۰٫۶۰ |
| ۳۰ | ۳۰ / ۲۰ | ۵ / ۴۵ | ۰٫۶۰ | ۰٫۹۰ | ۰٫۵۰ |
در این مثال، بالا بردن آستانه تعداد مثبت‌ها را کم می‌کند: مثبت کاذب کمتر می‌شود، ولی تعدادی مثبت واقعی هم از دست می‌روند. جهت این مبادله به تعریف مثبت‌بودن بستگی دارد؛ اگر در آزمون دیگری نمره پایین‌تر نشانه بیماری باشد، باید جهت نمره در نرم‌افزار درست تنظیم شود.
محورهای ROC و معنی AUC
محور افقی ROC معمولاً نرخ مثبت کاذب و محور عمودی حساسیت است. هر آستانه یک نقطه می‌سازد. AUC مساحت زیر منحنی و خلاصه‌ای از توان تفکیک رتبه‌ای در نمونه بررسی‌شده است. برای نمره پیوسته با جهت درست، می‌توان آن را احتمال بالاتر بودن نمره یک فرد دارای وضعیت هدف نسبت به یک فرد فاقد آن تعبیر کرد؛ قرارداد برخورد با نمره‌های مساوی نیز اهمیت دارد.
AUC درباره دقت احتمال‌های پیش‌بینی‌شده، یعنی کالیبراسیون، اطلاعات کامل نمی‌دهد. دو مدل ممکن است AUC مشابه داشته باشند، ولی احتمال خطر را متفاوت و نادرست برآورد کنند. این شاخص همچنین هزینه آزمایش، زیان مثبت و منفی کاذب، امکان درمان و فایده تصمیم را به‌تنهایی در بر نمی‌گیرد. عبارت‌هایی مانند «AUC بالاست پس آزمون برای غربالگری عالی است» بیش از شواهد نتیجه می‌گیرند.
شاخص یودن چه می‌گوید؟
J = Sensitivity + Specificity - 1
Threshold 20: J = 0.80 + 0.80 - 1 = 0.60در سه آستانه بررسی‌شده، مقدار ۲۰ بیشترین یودن را دارد. این فقط بهترین مقدار میان همین گزینه‌ها براساس این معیار و همین نمونه است. یودن به حساسیت و ویژگی وزن متقارن می‌دهد و ساختار واقعی هزینه و فایده را لزوماً بازنمایی نمی‌کند. برای غربالگری یک بیماری پرخطر ممکن است حساسیت حداقلی ازپیش‌تعیین‌شده مهم‌تر باشد؛ برای آزمایش تهاجمی، هزینه مثبت کاذب می‌تواند وزن دیگری داشته باشد.
پیش از تحلیل، کاربرد مورد انتظار را بنویسید: غربالگری، تأیید تشخیص یا تصمیم درمانی؟ سپس معیار انتخاب آستانه و محدودیت‌ها را مشخص کنید. «بهترین نقطه برش» بدون این زمینه، تعبیر ناقصی است.
چرا انتخاب و ارزیابی روی یک داده خوش‌بینانه است؟
اگر ده‌ها آستانه را روی یک نمونه امتحان و بهترین را انتخاب کنید، بخشی از برتری حاصل سازگارشدن با تصادف‌های همان نمونه است. گزارش حساسیت و ویژگی همان نقطه روی همان داده، عملکرد آینده را تضمین نمی‌کند. اعتبارسنجی داخلی مناسب و سپس ارزیابی در داده مستقل، بسته به هدف و اندازه نمونه، برای سنجش این خوش‌بینی اهمیت دارند.
تقسیم ساده یک نمونه کوچک نیز راه‌حل خودکار نیست؛ ممکن است هر دو بخش بسیار ناپایدار شوند. روش اعتبارسنجی باید با طراحی و تحلیل برنامه‌ریزی شود و انتخاب آستانه درون فرایند بازنمونه‌گیری لحاظ شود. آستانه‌ای که قبلاً در پروتکل تعیین شده با آستانه اکتشافی پس از مشاهده داده یکسان گزارش نمی‌شود.
در SPSS چه چیزهایی را کنترل کنیم؟
در نسخه‌های دارای ROC Analysis، مسیر مربوط به تحلیل ROC را در منوی Analyze بررسی کنید. نام منو و امکانات با نسخه فرق دارد. متغیر وضعیت مرجع، مقدار نشان‌دهنده وضعیت مثبت، متغیر آزمون و جهت نمره باید درست معرفی شوند. جدول مختصات منحنی برای خواندن حساسیت و ویژگی آستانه‌ها مفید است؛ خروجی مختصات ممکن است از میانگین دو مقدار مجاور به‌عنوان آستانه استفاده کند.
فاصله اطمینان AUC را گزارش کنید و درباره مقایسه دو AUC، وابسته یا مستقل بودن نمونه‌ها را در نظر بگیرید. اگر هر دو آزمون روی همان بیماران اجرا شده‌اند، روش مقایسه باید این وابستگی را لحاظ کند. برای داده زمان‌تا‌رخداد نیز ROC معمولی در یک وضعیت ساده لزوماً جای ROC وابسته به زمان و برخورد مناسب با سانسور را نمی‌گیرد.
گزارش کامل چه اجزایی دارد؟
- جمعیت، روش نمونه‌گیری، وضعیت هدف و استاندارد مرجع را مشخص کنید.
- تعداد افراد دارای و فاقد وضعیت و نحوه برخورد با نتایج گمشده یا نامشخص را بنویسید.
- AUC و فاصله اطمینان، جهت نمره و روش محاسبه را ارائه کنید.
- آستانه، دلیل انتخاب، حساسیت و ویژگی همراه عدم قطعیت را گزارش کنید.
- اکتشافی یا ازپیش‌تعیین‌شده بودن آستانه و روش اعتبارسنجی را شفاف بیان کنید.
- از تعمیم مستقیم عملکرد نمونه انتخاب‌شده به جمعیت واقعی درمانگاه پرهیز کنید.
پرسش‌های رایج
آیا AUC کمتر از ۰٫۵ همیشه یعنی آزمون بی‌فایده است؟
ابتدا جهت نمره، کد وضعیت مثبت و کیفیت داده را بررسی کنید. وارونه‌بودن جهت یا خطای کدگذاری ممکن است علت باشد. تغییر جهت پس از دیدن خروجی باید شفاف و با منطق علمی توضیح داده شود، نه فقط برای بهترشدن عدد.
آیا حساسیت و ویژگی از شیوع مستقل‌اند؟
در تعریف، شرط روی وضعیت واقعی گذاشته می‌شود، ولی برآورد آن‌ها می‌تواند با طیف شدت بیماری، ترکیب شرکت‌کنندگان و فرایند تأیید وضعیت تغییر کند. پس انتقال عدد از یک نمونه انتخاب‌شده به جمعیت دیگر بدون بررسی طراحی درست نیست.
برای تکمیل مسیر، طراحی مطالعه دقت تشخیصی با STARD را بخوانید. مشاوره تحلیل آماری می‌تواند به برنامه‌ریزی تحلیل و تفسیر خروجی کمک کند؛ آستانه بالینی باید با شواهد و نظر تیم تخصصی تعیین شود.
منابع و مطالعه بیشتر
- IBM: تحلیل ROC در SPSS.
- IBM: مختصات منحنی و شاخص یودن.
- EQUATOR: راهنمای گزارش مطالعات دقت تشخیصی STARD.
بازبینی محتوایی: ۱۳ آبان ۱۴۰۵. تصویر اصلی، ترکیب‌بندی مفهومی اختصاصی است؛ نمودارها و مثال‌های عددی آموزشی‌اند و داده واقعی پژوهش یا تصویر مستند یک مؤسسه معرفی نشده‌اند.
