Μια νέα μελέτη από ερευνητές του MIT αποκάλυψε ένα θεμελιώδες ελάττωμα στα μοντέλα όρασης-γλώσσας (VLMs), το οποίο θα μπορούσε να έχει σοβαρές επιπτώσεις στη διαγνωστική ιατρική και σε άλλες κρίσιμες εφαρμογές.
Η ερευνητική ομάδα, με επικεφαλής τον Kumail Alhamoud και την ανώτερη συγγραφέα Marzyeh Ghassemi από το Τμήμα Ηλεκτρολόγων Μηχανικών και Επιστήμης Υπολογιστών του MIT, διαπίστωσε ότι αυτά τα συστήματα τεχνητής νοημοσύνης—τα οποία χρησιμοποιούνται ολοένα και περισσότερο για την ανάλυση ιατρικών εικόνων—αποτυγχάνουν να κατανοήσουν λέξεις άρνησης όπως «όχι» και «μην» σε ερωτήματα.
Αυτός ο περιορισμός γίνεται ιδιαίτερα προβληματικός σε ιατρικά πλαίσια. Για παράδειγμα, όταν ένας ακτινολόγος εξετάζει μια ακτινογραφία θώρακα που δείχνει οίδημα ιστών χωρίς διόγκωση καρδιάς, η χρήση ενός συστήματος τεχνητής νοημοσύνης για την εύρεση παρόμοιων περιπτώσεων μπορεί να οδηγήσει σε λανθασμένες διαγνώσεις αν το μοντέλο δεν μπορεί να διακρίνει την παρουσία ή απουσία συγκεκριμένων καταστάσεων.
«Αυτές οι λέξεις άρνησης μπορούν να έχουν πολύ σημαντικό αντίκτυπο, και αν χρησιμοποιούμε αυτά τα μοντέλα χωρίς κριτική, μπορεί να οδηγηθούμε σε καταστροφικές συνέπειες», προειδοποιεί ο κύριος συγγραφέας Alhamoud. Όταν τα μοντέλα δοκιμάστηκαν στην ικανότητά τους να εντοπίζουν άρνηση σε λεζάντες εικόνων, οι επιδόσεις τους δεν ήταν καλύτερες από μια τυχαία επιλογή.
Για την αντιμετώπιση αυτού του προβλήματος, οι ερευνητές ανέπτυξαν το NegBench, ένα ολοκληρωμένο σημείο αναφοράς με 79.000 παραδείγματα σε 18 παραλλαγές εργασιών που καλύπτουν σύνολα δεδομένων εικόνων, βίντεο και ιατρικών δεδομένων. Το σημείο αναφοράς αξιολογεί δύο βασικές ικανότητες: την ανάκτηση εικόνων βάσει ερωτημάτων με άρνηση και την απάντηση σε ερωτήσεις πολλαπλής επιλογής με λεζάντες που περιέχουν άρνηση.
Η ομάδα δημιούργησε επίσης σύνολα δεδομένων με παραδείγματα ειδικά για άρνηση, ώστε να επαναεκπαιδεύσει τα μοντέλα, επιτυγχάνοντας βελτίωση 10% στην ανάκληση για ερωτήματα με άρνηση και αύξηση 28% στην ακρίβεια σε ερωτήσεις πολλαπλής επιλογής με λεζάντες άρνησης. Ωστόσο, προειδοποιούν ότι απαιτείται περαιτέρω εργασία για να αντιμετωπιστούν οι βαθύτερες αιτίες του προβλήματος.
«Αν κάτι τόσο θεμελιώδες όσο η άρνηση δεν λειτουργεί σωστά, δεν θα έπρεπε να χρησιμοποιούμε μεγάλα μοντέλα όρασης/γλώσσας με τον τρόπο που τα χρησιμοποιούμε σήμερα—χωρίς εντατική αξιολόγηση», τονίζει η Ghassemi.
Η έρευνα θα παρουσιαστεί στο επερχόμενο Συνέδριο για την Όραση Υπολογιστών και την Αναγνώριση Προτύπων, υπογραμμίζοντας την επείγουσα ανάγκη για πιο αξιόπιστα συστήματα τεχνητής νοημοσύνης σε κρίσιμες εφαρμογές όπως η υγειονομική περίθαλψη.