تتفوق النماذج اللغوية الكبيرة (LLMs) في فهم السياق وتقديم إجابات منطقية من خلال الاستدلال النصي. ومع ذلك، غالباً ما تواجه صعوبة في المهام الحسابية التي يمكن حلها بشكل أفضل باستخدام البرمجة، مثل مقارنة الأرقام العشرية أو حل مسائل التحسين.
لمعالجة هذا القصور، طور باحثون من معهد MIT نظام CodeSteer، وهو مساعد ذكي يعمل كمدرب للنماذج اللغوية الكبيرة، حيث يوجهها للتبديل بين توليد النصوص والبرمجة حتى تصل إلى الإجابة الصحيحة على الاستفسار.
يقول يونغتشاو تشين، طالب دراسات عليا في جامعتي هارفارد وMIT وأحد المشاركين في المشروع: "استلهمنا الفكرة من البشر. في الرياضة، قد لا يكون المدرب أفضل من النجم في الفريق، لكنه يستطيع تقديم اقتراحات مفيدة لتوجيه اللاعب. هذه الطريقة في التوجيه تنجح أيضاً مع النماذج اللغوية الكبيرة".
يعتمد CodeSteer، وهو نفسه نموذج لغوي صغير تم تدريبه خصيصاً على نموذج Llama-3-8B، على مراجعة الاستفسار وتحديد ما إذا كان من الأنسب حله بالنص أو البرمجة. بعد ذلك، يقوم بتوليد تعليمات للنموذج اللغوي الأكبر، ويوجهه لاستخدام الطريقة المناسبة. وإذا لم تكن الإجابة صحيحة، يواصل CodeSteer توجيه النموذج لتجربة طرق مختلفة حتى يصل إلى الحل الصحيح.
أظهرت نتائج الباحثين أن تعزيز نموذج GPT-4o بنظام CodeSteer رفع دقته في المهام الرمزية بأكثر من 30%، حيث ارتفع متوسط أدائه من 53.3 إلى 86.4 عبر 37 مهمة. هذا التحسن مكنه من التفوق حتى على نماذج أكثر تقدماً مثل o1 من OpenAI (82.7) وDeepSeek R1 (76.8). ومن اللافت أن CodeSteer أظهر أيضاً قدرة عالية على التعميم، إذ حقق زيادة متوسطة في الأداء بنسبة 41.8% عند تطبيقه على نماذج أخرى مثل Claude وMistral وGPT-3.5.
ولتصميم واختبار CodeSteer، أنشأ الباحثون معياراً شاملاً باسم SymBench يضم 37 مهمة رمزية بمستويات تعقيد مختلفة. تشمل هذه المهام مسائل في الرياضيات والاستدلال المكاني والمنطق وترتيب العناصر ومسائل التحسين.
من المتوقع أن يسهم هذا الإنجاز في تحسين قدرات الذكاء الاصطناعي على حل المشكلات المعقدة التي يصعب حلها بالاستدلال النصي فقط، مثل توليد مسارات للروبوتات في بيئات غير مؤكدة أو جدولة الشحنات في سلاسل التوريد الدولية.
يضيف تشين: "من خلال تعزيز النموذج اللغوي الكبير بالقدرة على استخدام البرمجة بذكاء، يمكننا تحسين أداء نموذج قوي أصلاً بشكل أكبر". ويعمل الباحثون حالياً على تطوير CodeSteer لتسريع عملية التوجيه التكراري، بالإضافة إلى استكشاف إمكانية تدريب نموذج موحد يمكنه التبديل بين الاستدلال النصي وتوليد البرمجة دون الحاجة إلى مساعد منفصل.