프로그래밍 플랫폼 CodeRabbit에 따르면, AI가 수행한 소스 코드 변경 요청 평균에는 10.83개의 문제가 포함되어 있는 반면, 인간의 경우는 6.45개에 불과하다. 이는 시장에서 급증하고 있는 AI 프로그래밍 도구의 신뢰성에 대한 우려를 불러일으킨다.
AI가 생성한 소스 코드는 단순한 숫자에서 그치지 않고, “심각한 오류” 비율이 1.4배, “대규모 오류” 비율이 1.7배 더 높은 것으로 나타났다. 구체적으로, AI는 논리 및 정확성(1.75배), 코드 품질 및 유지보수성(1.64배), 보안(1.57배), 성능(1.42배) 부문에서 잦은 오류를 발생시킨다. AI는 비밀번호를 잘못 처리하거나, 안전하지 않은 객체를 참조하거나, 악성 코드 삽입 취약점에 노출되는 등의 문제가 자주 발생한다.
CodeRabbit의 AI 담당 이사인 데이비드 로커(David Loker)는 “AI 도구는 생산성을 크게 향상시킬 수 있지만, 조직이 능동적으로 줄여야 할 예측 가능하고 측정 가능한 약점을 생성하기도 한다”고 언급했다.
마이크로소프트는 2025년에 1,139개의 보안 취약점을 수정했다고 발표하며, 역사상 두 번째로 많은 패치 수를 기록했다. 그러나 AI의 출현으로 인해 개발자들은 처음부터 더 많은 소스 코드를 생성하고 있어, 전체 코드의 오류 비율은 여전히 수용 가능한 수준일 수 있다.
또한 AI 프로그래밍은 여러 장점도 가지고 있다. 통계에 따르면, AI는 사람보다 1.76배 적은 맞춤법 오류를 발생시키며, 테스트 능력은 1.32배 더 우수하다. 연구는 또한 프로그래머의 역할 변화도 보여주고 있다. 즉, 사람들은 더 이상 세밀하게 각각의 코드를 작성하는 대신, AI의 결과를 검토하는 역할로 점차 전환되고 있다.
– Huy Đức (출처: TechRadar)