Ένα κρίσιμο ελάττωμα στα συστήματα τεχνητής νοημοσύνης που χρησιμοποιούνται για την ανάλυση ιατρικών εικόνων ενδέχεται να θέσει σε κίνδυνο τους ασθενείς, σύμφωνα με νέα έρευνα του MIT που δημοσιεύθηκε αυτή την εβδομάδα.
Η μελέτη, με επικεφαλής τον μεταπτυχιακό φοιτητή Kumail Alhamoud και την Αναπληρώτρια Καθηγήτρια Marzyeh Ghassemi, αποκαλύπτει ότι τα μοντέλα όρασης-γλώσσας (VLMs) – συστήματα τεχνητής νοημοσύνης που χρησιμοποιούνται ευρέως σε ιατρικά περιβάλλοντα – αποτυγχάνουν ουσιαστικά να κατανοήσουν λέξεις άρνησης όπως «όχι» και «μην» κατά την ανάλυση ιατρικών εικόνων.
«Αυτές οι λέξεις άρνησης μπορούν να έχουν πολύ σημαντικό αντίκτυπο, και αν χρησιμοποιούμε αυτά τα μοντέλα χωρίς κριτική, μπορεί να οδηγηθούμε σε καταστροφικές συνέπειες», προειδοποιεί ο Alhamoud, κύριος συγγραφέας της μελέτης.
Οι ερευνητές ανέδειξαν το πρόβλημα μέσω ενός κλινικού παραδείγματος: αν ένας ακτινολόγος εξετάζει μια ακτινογραφία θώρακος που δείχνει οίδημα ιστών αλλά όχι διογκωμένη καρδιά, ένα σύστημα τεχνητής νοημοσύνης μπορεί να ανακτήσει λανθασμένα περιστατικά με τα δύο χαρακτηριστικά, οδηγώντας ενδεχομένως σε εντελώς διαφορετική διάγνωση. Σε επίσημες δοκιμές, τα μοντέλα τεχνητής νοημοσύνης είχαν απόδοση ίση με την τυχαία επιλογή σε εργασίες που αφορούσαν την άρνηση.
Για να αντιμετωπίσει αυτόν τον κρίσιμο περιορισμό, η ομάδα ανέπτυξε το NegBench, ένα ολοκληρωμένο πλαίσιο αξιολόγησης που καλύπτει 18 παραλλαγές εργασιών και 79.000 παραδείγματα σε σύνολα δεδομένων εικόνων, βίντεο και ιατρικών περιπτώσεων. Η προτεινόμενη λύση τους περιλαμβάνει την επανεκπαίδευση των VLMs με ειδικά δημιουργημένα σύνολα δεδομένων που περιέχουν εκατομμύρια λεζάντες με άρνηση, κάτι που έχει δείξει ενθαρρυντικά αποτελέσματα – βελτιώνοντας την ανάκληση σε ερωτήματα με άρνηση κατά 10% και αυξάνοντας την ακρίβεια σε ερωτήσεις πολλαπλής επιλογής με λεζάντες άρνησης κατά 28%.
«Αν κάτι τόσο θεμελιώδες όσο η άρνηση δεν λειτουργεί σωστά, δεν θα έπρεπε να χρησιμοποιούμε μεγάλα μοντέλα όρασης/γλώσσας με τον τρόπο που τα χρησιμοποιούμε σήμερα – χωρίς εντατική αξιολόγηση», τονίζει η Ghassemi, υπογραμμίζοντας την ανάγκη προσεκτικής αξιολόγησης πριν από την εφαρμογή αυτών των συστημάτων σε περιβάλλοντα υψηλού ρίσκου στην ιατρική.
Η έρευνα, στην οποία συμμετέχουν συνεργάτες από την OpenAI και το Πανεπιστήμιο της Οξφόρδης, θα παρουσιαστεί στο επερχόμενο Συνέδριο για την Υπολογιστική Όραση και την Αναγνώριση Προτύπων. Η ομάδα έχει διαθέσει δημόσια το σημείο αναφοράς και τον κώδικά της, συμβάλλοντας στην αντιμετώπιση αυτού του κρίσιμου ζητήματος ασφάλειας στην τεχνητή νοημοσύνη.