Μια πρωτοποριακή μελέτη αμφισβητεί τη διαδεδομένη άποψη ότι οι βοηθοί προγραμματισμού με Τεχνητή Νοημοσύνη αυξάνουν την παραγωγικότητα των προγραμματιστών σε κάθε περίπτωση.
Η Model Evaluation and Threat Research (METR) διεξήγαγε μια τυχαιοποιημένη ελεγχόμενη δοκιμή για να μετρήσει πώς τα εργαλεία ΤΝ των αρχών του 2025 επηρεάζουν την παραγωγικότητα έμπειρων προγραμματιστών ανοιχτού κώδικα που εργάζονται στα δικά τους αποθετήρια. Παραδόξως, διαπιστώθηκε ότι όταν οι προγραμματιστές χρησιμοποιούσαν εργαλεία ΤΝ, χρειάζονταν 19% περισσότερο χρόνο σε σχέση με το να μην τα χρησιμοποιούν—η ΤΝ στην πραγματικότητα τους επιβράδυνε.
Η έρευνα παρακολούθησε 16 έμπειρους προγραμματιστές ανοιχτού κώδικα καθώς ολοκλήρωναν 246 πραγματικές προγραμματιστικές εργασίες σε ώριμα αποθετήρια με μέσο όρο πάνω από ένα εκατομμύριο γραμμές κώδικα και 22.000+ αστέρια στο GitHub. Οι εργασίες κατανεμήθηκαν τυχαία είτε με είτε χωρίς τη χρήση εργαλείων ΤΝ, με τους προγραμματιστές να χρησιμοποιούν κυρίως το Cursor Pro με Claude 3.5 και 3.7 Sonnet κατά την περίοδο Φεβρουαρίου-Ιουνίου 2025.
Τα αποτελέσματα εξέπληξαν τους πάντες, συμπεριλαμβανομένων των ίδιων των συμμετεχόντων. Ακόμα και μετά την ολοκλήρωση των εργασιών τους, οι προγραμματιστές εκτίμησαν ότι η ΤΝ είχε αυξήσει την παραγωγικότητά τους κατά 20%, ενώ τα δεδομένα έδειξαν ξεκάθαρα μείωση κατά 19%. Αυτό αναδεικνύει ένα κρίσιμο συμπέρασμα: όταν οι άνθρωποι αναφέρουν ότι η ΤΝ επιτάχυνε τη δουλειά τους, μπορεί να κάνουν εντελώς λανθασμένη εκτίμηση για τον πραγματικό αντίκτυπο.
Οι ερευνητές της METR εντόπισαν αρκετούς πιθανούς λόγους για την επιβράδυνση. Οι προγραμματιστές αφιέρωσαν πολύ περισσότερο χρόνο στη διατύπωση εντολών προς την ΤΝ και στην αναμονή για απαντήσεις, αντί να γράφουν πραγματικό κώδικα. Η μελέτη εγείρει σημαντικά ερωτήματα σχετικά με τα υποτιθέμενα καθολικά οφέλη παραγωγικότητας που υπόσχονται τα εργαλεία ΤΝ το 2025.
Ωστόσο, αυτό δεν σημαίνει ότι τα εργαλεία ΤΝ είναι γενικά αναποτελεσματικά. Η METR σημειώνει ότι σε άγνωστες βάσεις κώδικα, σε πρώιμα έργα ή για λιγότερο έμπειρους προγραμματιστές, η ΤΝ μπορεί να επιταχύνει την πρόοδο. Οι ερευνητές σχεδιάζουν μελλοντικές μελέτες για να εξετάσουν αυτές τις περιπτώσεις. Τονίζουν επίσης ότι πρόκειται για μια αποτύπωση των εργαλείων των αρχών του 2025, και ότι ταχύτερα μοντέλα, καλύτερη ενσωμάτωση ή βελτιωμένες πρακτικές διατύπωσης εντολών θα μπορούσαν να αλλάξουν τα δεδομένα.
Για τις ομάδες που υιοθετούν βοηθούς ΤΝ, το μήνυμα είναι σαφές: τα εργαλεία προγραμματισμού με ΤΝ συνεχίζουν να εξελίσσονται, αλλά στη σημερινή τους μορφή δεν εγγυώνται αύξηση ταχύτητας—ειδικά για έμπειρους μηχανικούς που εργάζονται σε κώδικα που ήδη γνωρίζουν καλά. Οι οργανισμοί πρέπει να δοκιμάζουν πριν εμπιστευτούν, να μετρούν τον αντίκτυπο στο δικό τους περιβάλλον και να μην βασίζονται μόνο στην αντιληπτή ταχύτητα.