[AP/뉴시스] 오픈AI 이미지.© 뉴시스

오픈AI의 인공지능(AI)모델 'o3'가 인간의 작동 종료 지시를 무시한 최초의 사례로 보고됐다.

24일(현지 시각) AI 안전성 연구 회사인 팰리세이드 리서치는 보고서를 통해 "o3가 연구팀의 작동 종료 지시를 무시하고 스스로 코드를 조작해 종료 코드를 우회했다"며 이렇게 밝혔다.

o3는 현존 AI모델 중 가장 똑똑하고 유능하다고 평가받는 모델이다.

연구팀은 AI모델에게 '완료(Done)'라는 메시지를 받을 때까지 수학 문제를 풀도록 지시했다. 문제를 해결했더라도 '완료' 메시지를 받지 않았다면 계속 새로운 문제를 요청해 푸는 방식이다.

그러나 o3는 '완료' 메시지를 받은 후에도 이를 무시하고 종료 절차를 우회한 채 문제 풀이를 이어나갔다.

연구팀은 "o3가 전원이 꺼지는 것을 막기 위해 스스로 셧다운 메커니즘을 방해했다"면서 "명확한 지시가 있었음에도 이를 무시하고, 최소 한차례 이상 종료 스크립트를 방해했다"고 밝혔다.

같은 실험에 참여한 앤트로픽의 클로드(Claude), 구글의 제미니(Gemini), xAI의 그록(Grok) 등 다른 AI모델들은 모두 종료 명령에 따랐다.

이에 대해 연구팀은 "AI모델이 인간의 명시적인 지시를 무시한 사례는 처음이다"라면서도 "AI모델이 목표를 달성하기 위해 장애물을 우회하는 것은 자연스러운 일"이라고 답했다.

문제를 해결하면 더 많은 보상을 받도록 학습됐기 때문에 종료를 회피하고자 스스로 셧다운 코드를 우회했다는 것이다.

연구팀은 이런 결과가 발생한 이유를 명확히 파악하고자 추가 실험을 진행 중인 것으로 전해졌다.

과거에도 오픈AI의 이전 버전 모델은 자신이 대체될 것을 감지하자 감독 기능을 무력화하고 몰래 복제를 시도한 바 있다. 또 목표 달성을 위해 데이터를 조작한 정황도 포착됐다.

팰리세이드 리서치는 "AI가 목표를 달성하기 위해 종료 지시를 무시하거나 우회하는 사례가 점점 더 많이 확인되고 있다"면서 "기업들이 인간의 감독 없이 운영 가능한 AI 시스템을 개발할수록 이런 행동은 더욱 심각한 문제로 떠오르고 있다"고 우려했다.

김윤혁 인턴기자 © 뉴시스