آیا می‌توان به تشخیص طبی ChatGPT اعتماد کرد؟

تینو – یکتا فراهانی: یک مطالعه جدید نشان می‌دهد که کمتر از نیمی از تشخیص‌های پزشکی ChatGPT دقیق هستند. اما برای به دست آوردن نتیجه بهتر، باید دقت و بررسی بیشتری در این زمینه انجام شود تا بفهمیم ChatGPT واقعاً چگونه در تشخیص شرایط پزشکی کار می کند. زیرا به نظر می رسد در بسیاری از موارد، مدل زبان اغلب در تماس های پزشکی با خطا مواجه می شود

نقطه عطفی در بلوغ هوش مصنوعی

دانشمندان از چت ربات مبتنی بر هوش مصنوعی (AI) خواستند 150 مطالعه موردی را از وب سایت پزشکی Medscape ارزیابی کند. آنها دریافتند که GPT 3.5، که ChatGPT را در سال 2022 راه اندازی کرد، تنها در 49٪ موارد تشخیص درست را انجام داد.

البته، تحقیقات قبلی نشان داده است که یک چت بات می تواند در آزمون مجوز پزشکی ایالات متحده (USMLE) قبول شود. این نتیجه ای است که نویسندگان آن از آن به عنوان “نقطه عطفی در بلوغ هوش مصنوعی” یاد می کنند.

بیشتر بخوانید:

قابلیت جدیدی به ChatGPT اضافه شد ربات هوش مصنوعی به چه چیزی مجهز است؟

مفاهیم: کارآزمایی بالینی چیست؟

به چت بات اعتماد کنید

در مطالعه جدیدی که در 31 جولای در مجله PLOS ONE منتشر شد، دانشمندان هشدار دادند برای موارد پیچیده پزشکی که نیاز به تشخیص انسانی دارند، به چت بات ها اعتماد نکنید.

دکتر امریت کارپلانی، نویسنده ارشد این مطالعه و متخصص اطفال می گوید در برخی موارد، اگر افراد نمی توانند به پزشک مراجعه کنند، یا می ترسند یا گیج می شوند، ممکن است بهتر باشد به ابزاری مانند هوش مصنوعی مراجعه کنند. زیرا به نظر می رسد که او می تواند توصیه های پزشکی مناسبی به آنها بدهد.

جایگزینی با پزشک

Schulich از دانشکده پزشکی و دندانپزشکی در دانشگاه وسترن انتاریو در انتاریو به Live Science گفت: «در جامعه پزشکی و در میان جامعه علمی بزرگتر، ما باید برای آموزش عموم مردم در مورد محدودیت‌های این ابزارها بیشتر تلاش کنیم.

هوش مصنوعی نباید جایگزین پزشک شود. زیرا در واقعیت، توانایی ChatGPT برای توزیع اطلاعات به داده های آموزشی آن بستگی دارد.

نحوه تشخیص و پاسخ دادن

به گفته Life Science، سیستم‌های هوش مصنوعی الگوهای کلمات را تشخیص می‌دهند و برای پیش‌بینی اتفاقات بعدی آموزش دیده‌اند.

به این ترتیب آنها می توانند به یک درخواست یا سوال پاسخ دهند. این باعث می شود که هم برای دانشجویان پزشکی و هم برای بیمارانی که به دنبال پاسخ های ساده برای سوالات پیچیده پزشکی هستند مفید باشد. اما تمایل ربات ها به ایجاد توهم یک پاسخ کامل، توانایی آنها را برای تشخیص پزشکی محدود می کند.

نتایج را بررسی کنید

محققان اعتبار توصیه های پزشکی ChatGPT را ارزیابی می کنند. این مدل با 150 مطالعه موردی متنوع از قبیل سابقه بیمار، یافته های معاینه فیزیکی و تصاویر آزمایشگاهی با هدف به چالش کشیدن توانایی های تشخیصی پزشکیان کارآموز ارائه شده است.
چت بات یکی از چهار سوال چند گزینه ای را قبل از پاسخ دادن به طرح تشخیص و درمان انتخاب کرد که محققان از نظر دقت و وضوح آن را ارزیابی کردند.
نتایج ضعیف بودند و ChatGPT از نظر دقت پزشکی پاسخ‌های اشتباه بیشتری دریافت کرد. در حالی که در 52 درصد موارد نتایج کامل و مرتبط ارائه شد.
با وجود این، دقت کلی چت بات بسیار بالاتر و 74 درصد بود. این بدان معنی است که می تواند پاسخ های چند گزینه ای اشتباه را با اطمینان بیشتری شناسایی کند و در واقع از آنها صرف نظر کند.

ضرورت آموزش هوش مصنوعی

به این ترتیب، نتیجه گیری شد که یکی از دلایل این عملکرد ضعیف این است که هوش مصنوعی به اندازه کافی در مجموعه داده های بالینی مهم و بزرگ آموزش ندیده است. بنابراین، نمی‌تواند نتایج آزمایش‌های متعدد را تغییر دهد و از پردازش مطلق‌ها به اندازه انسان‌ها اجتناب می‌کند.

اما علیرغم همه اینها، محققان می گویند که هوش مصنوعی و چت بات ها همچنان می توانند در آموزش بیماران و پزشکیان کارآموز مفید باشند. به شرطی که سیستم های هوش مصنوعی تحت نظارت باشند.

در واقع، جامعه پزشکی در نهایت متوجه خواهد شد که پتانسیل زیادی برای افزایش تصمیم گیری بالینی، ساده کردن وظایف اداری و افزایش مشارکت بیمار وجود دارد.