تتفوق النماذج اللغوية الكبيرة (LLMs) في فهم السياق وتقديم إجابات منطقية من خلال الاستدلال النصي، لكنها غالباً ما تواجه صعوبة في المهام الحسابية التي يمكن حلها بشكل أفضل باستخدام البرمجة، مثل مقارنة الأعداد العشرية أو حل مسائل التحسين.
لمعالجة هذا القصور، طور باحثون من معهد ماساتشوستس للتقنية (MIT) نظام CodeSteer، وهو مساعد ذكي يعمل كمدرب للنماذج اللغوية الكبيرة، حيث يوجهها للتنقل بين توليد النصوص والبرمجة حتى تصل إلى الإجابة الصحيحة على الاستفسار.
يشرح يونغتشاو تشين، طالب الدراسات العليا في جامعتي هارفارد وMIT وأحد أعضاء الفريق: "استلهمنا الفكرة من البشر. ففي الرياضة، قد لا يكون المدرب أفضل من النجم في الفريق، لكنه يستطيع تقديم اقتراحات مفيدة لتوجيه اللاعب. هذه الطريقة في التوجيه تنجح أيضاً مع النماذج اللغوية الكبيرة".
يُعد CodeSteer نفسه نموذجاً لغوياً صغيراً تم ضبطه بدقة على نموذج Llama-3-8B، حيث يقوم بمراجعة الاستفسار وتحديد ما إذا كان من الأنسب حله بالنص أو البرمجة. بعد ذلك، يُنشئ تعليمات للنموذج الأكبر ويوجهه لاستخدام الطريقة المناسبة. وإذا لم تكن الإجابة صحيحة، يواصل CodeSteer توجيه النموذج لتجربة طرق مختلفة حتى يصل إلى الحل الصحيح.
وجد الباحثون أن إضافة CodeSteer إلى نموذج GPT-4o زادت دقته في المهام الرمزية بأكثر من 30%، حيث ارتفع متوسط أدائه من 53.3 إلى 86.4 عبر 37 مهمة. ومكنه هذا التحسين من التفوق على نماذج أكثر تقدماً مثل o1 من OpenAI (82.7) وDeepSeek R1 (76.8). والأكثر إثارة للإعجاب أن CodeSteer أظهر قدرة عالية على التعميم، حيث وفر متوسط زيادة في الأداء بنسبة 41.8% عند تطبيقه على نماذج أخرى مثل Claude وMistral وGPT-3.5.
ولتصميم واختبار CodeSteer، أنشأ الباحثون معيار SymBench، وهو معيار شامل يضم 37 مهمة رمزية بمستويات تعقيد قابلة للتعديل، وتشمل هذه المهام الرياضيات، والاستدلال المكاني، والمنطق، وترتيب المعلومات، ومسائل التحسين.
من المتوقع أن يُحدث هذا الابتكار نقلة نوعية في قدرات الذكاء الاصطناعي على حل المشكلات المعقدة التي يصعب حلها بالاستدلال النصي فقط، مثل توليد مسارات للروبوتات في بيئات غير مؤكدة أو جدولة الشحنات في سلاسل الإمداد الدولية.
يضيف تشين: "من خلال تعزيز النموذج اللغوي الكبير بالقدرة على استخدام البرمجة بذكاء، يمكننا تحسين أداء نموذج قوي بالفعل بشكل أكبر". ويعمل الباحثون حالياً على تطوير CodeSteer لتسريع عملية التوجيه التكراري، بالإضافة إلى استكشاف إمكانية ضبط نموذج موحد يمكنه التنقل بين الاستدلال النصي وتوليد البرمجة دون الحاجة إلى مساعد منفصل.