یک گزارش تحقیقاتی جدید از دانشکده پزشکی ییل، نگاهی نزدیک به اینکه چگونه هوش مصنوعی مغرضانه میتواند بر نتایج بالینی تأثیر بگذارد، ارائه میکند. این مطالعه به طور خاص بر مراحل مختلف توسعه مدل هوش مصنوعی متمرکز است و نشان میدهد که چگونه مسائل مربوط به یکپارچگی دادهها میتواند بر عدالت سلامت و کیفیت مراقبت تأثیر بگذارد.
چرا مهم است
این تحقیق که در اوایل ماه جاری در PLOS Digital Health منتشر شد، تصاویری در دنیای واقعی و فرضی از اینکه چگونه سوگیری هوش مصنوعی بر ارائه مراقبتهای بهداشتی تأثیر منفی میگذارد – نه فقط در مرحله مراقبت، بلکه در هر مرحله از توسعه هوش مصنوعی پزشکی: دادههای آموزشی، مدل ارائه میدهد. توسعه، انتشار و اجرا.
نویسنده ارشد این مطالعه، جان اونوفری، استادیار رادیولوژی و تصویربرداری زیست پزشکی و اورولوژی در دانشکده پزشکی ییل، در بیانیهای مطبوعاتی گفت: “سوگیری درون؛ سوگیری بیرون”.
او گفت: «پس از سالها کار در زمینه یادگیری ماشین/AI، این ایده که تعصب در الگوریتمها وجود دارد، تعجبآور نیست. با این حال، فهرست کردن تمام راههایی که سوگیری میتواند وارد فرآیند یادگیری هوش مصنوعی شود، باور نکردنی است.
همانطور که مطالعه اشاره می کند، سوگیری می تواند تقریباً در هر نقطه ای از خط لوله توسعه الگوریتم ظاهر شود.
محققان میگویند که این میتواند در «ویژگیها و برچسبهای داده، توسعه و ارزیابی مدل، استقرار و انتشار» رخ دهد. “اندازههای نمونه ناکافی برای گروههای بیمار خاص میتواند منجر به عملکرد نامناسب، برآورد الگوریتم و پیشبینیهای بالینی بیمعنی شود. یافتههای ناپدید شده بیمار نیز میتواند رفتار مدل مغرضانهای را ایجاد کند، از جمله دادههای قابل ضبط اما غیرتصادفی از دست رفته، مانند کدهای تشخیص، و دادههایی که معمولاً نیستند. یا به راحتی به دست نمی آیند، مانند عوامل اجتماعی تعیین کننده سلامت.”
در همین حال، «برچسبهای مشروحشدهی تخصصی که برای آموزش مدلهای یادگیری تحت نظارت استفاده میشوند، ممکن است منعکسکننده سوگیریهای شناختی ضمنی یا شیوههای مراقبتی غیراستاندارد باشند. اتکای بیش از حد به معیارهای عملکرد در طول توسعه مدل ممکن است سوگیری را پنهان کند و کاربرد بالینی یک مدل را کاهش دهد. وقتی برای دادههای خارج از گروه آموزشی اعمال شود، عملکرد مدل اعمال میشود. می تواند نسبت به اعتبارسنجی قبلی بدتر شود و می تواند این کار را به طور متفاوت در بین زیر گروه ها انجام دهد.”
و البته، نحوه تعامل کاربران نهایی بالینی با مدلهای هوش مصنوعی نیز میتواند سوگیری خود را ایجاد کند.
در نهایت، محققان دانشگاه ییل میگویند: «در اینجا مدلهای هوش مصنوعی «توسعه و منتشر میشوند و توسط چه کسانی بر مسیرها و اولویتهای توسعه هوش مصنوعی پزشکی در آینده تأثیر میگذارند».
آنها خاطرنشان می کنند که هر گونه تلاش برای کاهش این سوگیری – “مجموعه مجموعه های داده های بزرگ و متنوع، روش های انحرافی آماری، ارزیابی کامل مدل، تاکید بر تفسیرپذیری مدل، و گزارش تعصب استاندارد شده و الزامات شفافیت” – باید با دقت و با دیدی دقیق اجرا شود. برای اینکه چگونه آن نرده های محافظ برای جلوگیری از اثرات نامطلوب بر مراقبت از بیمار کار می کنند.
آنها گفتند: «قبل از پیادهسازی در دنیای واقعی در محیطهای بالینی، اعتبارسنجی دقیق از طریق آزمایشهای بالینی برای نشان دادن کاربرد بیطرفانه ضروری است. پرداختن به سوگیری ها در مراحل توسعه مدل برای اطمینان از اینکه همه بیماران به طور عادلانه از آینده هوش مصنوعی پزشکی بهره مند می شوند، بسیار مهم است.
اما گزارش “تعصب در هوش مصنوعی پزشکی: پیامدهایی برای تصمیم گیری بالینی” پیشنهادهایی برای کاهش این سوگیری در راستای هدف بهبود برابری سلامت ارائه می دهد.
به عنوان مثال، تحقیقات قبلی نشان داده است که استفاده از نژاد به عنوان عاملی در تخمین عملکرد کلیه گاهی اوقات می تواند منجر به زمان انتظار طولانی تر برای پیوند سیاه پوستان شود تا در لیست پیوند قرار گیرند. محققان Yale چندین توصیه برای کمک به الگوریتمهای هوش مصنوعی در آینده ارائه میدهند تا از معیارهای دقیقتری مانند کد پستی و سایر عوامل اجتماعی-اقتصادی استفاده کنند.
در رکورد
جیمز ال. کراس، دانشجوی سال اول پزشکی در دانشکده پزشکی ییل و اولین نویسنده این مطالعه، در بیانیهای گفت: «گرفتن و استفاده بیشتر از عوامل اجتماعی تعیینکننده سلامت در مدلهای هوش مصنوعی پزشکی برای پیشبینی خطر بالینی بسیار مهم است.
دکتر مایکل چوما، استادیار رادیولوژی و تصویربرداری زیست پزشکی و یکی از نویسندگان مطالعه، اضافه کرد: “سوگیری یک مشکل انسانی است.” زمانی که از “سوگیری در هوش مصنوعی” صحبت می کنیم، باید به یاد داشته باشیم که رایانه ها از ما یاد می گیرند.
منبع:healthcareitnews
