AI가 코드 스니펫 생성에서 눈부신 발전을 이뤘지만, MIT의 새로운 연구는 진정한 자율 소프트웨어 공학 실현에는 여전히 상당한 장벽이 존재함을 드러냈다.
'AI 기반 소프트웨어 공학의 도전과제와 발전 경로(Challenges and Paths Towards AI for Software Engineering)'라는 제목의 이번 연구는 MIT 아르만도 솔라르-레사마(Armando Solar-Lezama) 교수와 제1저자 알렉스 구(Alex Gu)가 이끄는 팀이 수행했다. 2025년 7월 16일 발표된 이 논문은 밴쿠버에서 열리는 국제 기계학습 학회(ICML 2025)에서 발표될 예정이다.
솔라르-레사마 교수는 "요즘은 더 이상 프로그래머가 필요 없다는 이야기와 자동화 기술이 넘쳐난다는 이야기가 많다"며, "한편으로는 이 분야가 엄청난 발전을 이뤘고, 지금 우리가 가진 도구들은 과거와 비교할 수 없을 만큼 강력하다. 하지만 우리가 기대하는 완전한 자동화의 약속을 실현하려면 아직 갈 길이 멀다"고 말했다.
연구진은 현재의 AI 시스템이 소규모 코드 함수 생성에는 뛰어나지만, 대규모 리팩토링, 코드 마이그레이션, 복잡한 시스템 디버깅 등 더 넓은 범위의 소프트웨어 공학 과제에는 한계를 보인다고 지적했다. SWE-Bench와 같은 대표적 벤치마크도 수백 줄 수준의 GitHub 이슈 패치만을 평가할 뿐, 실제로는 수백만 줄의 코드 최적화나 레거시 시스템 마이그레이션 등 현실적인 시나리오를 반영하지 못한다.
인간-기계 간 소통 역시 큰 과제로 꼽혔다. 구는 현재의 상호작용을 "매우 얇은 소통선"에 비유하며, AI 도구들이 종종 대용량의 비구조적 파일과 피상적인 테스트만을 생성하고, 인간 개발자가 의존하는 디버깅 도구나 정적 분석기를 효과적으로 활용하지 못한다고 설명했다.
연구진은 단일 해법 제시 대신, 커뮤니티 차원의 노력을 촉구했다. 개발자가 코드를 작성하고 리팩토링하는 과정을 시간에 따라 포착하는 풍부한 데이터셋 구축, 리팩토링 품질과 버그 수정의 지속성을 평가하는 공동 평가 도구 개발, 모델의 불확실성을 투명하게 드러내고 인간의 개입을 유도하는 도구 개발 등이 그 예다.
솔라르-레사마 교수는 "소프트웨어는 이미 금융, 교통, 의료 등 수많은 핵심 시스템의 기반"이라며, AI가 반복적 개발 업무를 담당하고 인간 엔지니어는 고차원 설계와 복잡한 의사결정에 집중하는 미래를 그린다고 밝혔다.