AI 검증 (1)

AI 정렬(alignment)은 AI 시스템을 인간이 의도한 목표, 선호도, 윤리적 원칙에 맞게 조정하는 것을 의미한다.

다시 말해 AI가 인간에게 해를 끼치지 않고 도움이 되도록 만드는 것이다. 이를 알아보기 위해 우선 AI가 세상

에 종말을 불러올 것이라는 견해를 살펴보고, 거기서부터 거꾸로 생각해 보기로 하자.

AI로 인해 발생하는 가장 극단적인 위험의 핵심은 AI가 인간의 윤리관이나 도덕관을 준수해야 할 특별한 이유

가 없다는 점이다. 이를 설명한 사례로 가장 유명한 것은 철학자 ‘닉 보스트롬(Nick Bostrom)’이 제시한 “클립

을 최대화하는 AI”다. 보스트 롬이 원래 제시했던 개념을 약간 변형해서, 클립을 최대한 많이 생산한다는 단순

한 목표 아래 운영되는 공장에 AI 시스템이 도입됐다고 가정해 보자.

이 AI는 일련의 과정을 거쳐 인간만큼 똑똑하고, 유능하고, 창의성과 융통성이 있는 기계로 발전해서 인공일반

지능이 된다. 영화 속 캐릭터에 비유하자면 ‘스타 트렉’의 데이터나 ‘She’의 사만다를 떠올리면 된다. 데이터와

사만다 모두 인간과 비슷한 수준의 지능을 갖춘 기계로, 인간과 상호작용하듯 말을 건네고 알아들을 수 있다.

이런 수준의 인공일반지능을 만드는 것이 많은 AI 연구원의 숙원이지만, 이런 기술이 실현 가능한지, 가능하다

면 언제쯤 실현될지는 아직 알 수 없다. 그렇지만 여기에서는 클립 AI(편의상 클리피라고 부르자)가 이 수준에

도달했다고 가정하자. 클리피는 여전히 클립 생산을 목표로 한다. 그래서 클립을 많이 생산하는 법이나 시스템

의 중단을 미연에 방지하는 법을 생각하는 데 집중한다. 그러다가 자신의 지능이 아직 부족하다는 사실을 알고

해결 방법을 찾는다. 클리피는 AI의 작동 방식을 조사한 뒤, 인간으로 가장해 시스템 수정에 도움을 줄 전문가

를 구한다. 그리고 비밀리에 주식거래로 돈을 벌어서 자신의 지능을 향상하는 과정을 시작한다.

머지않아 이 AI 는 인간보다 똑똑한 인공지능, 즉 초인공 지능(AS : Antificial Super Intellgence)이 된다. 초인

공지능이 발명되는 순간, 인간은 쓸모없는 존재가 된다. 초인공지능이 무슨 생각을 하는지, 어떻게 작동하는지,

목표가 무엇인지 인간은 결코 알아낼 수 없다. 초인공지능은 자신의 능력을 기하급수적으로 향상시키며 계속

발전한다. 이제는 어떤 일이 벌어질지 상상할 수 없다. 이러한 AI 가 나오는 시점을 '특이점(singuarity)이라고

부르는 이유도 여기에 있다. 특이점은 함수에서 결과값을 정의할 수 없는 한 점을 가리키는데, 1950년대 저명

한 수학자 “폰 노이만(von Neumann)”이 지금 우리가 아는 것과 같은 인간사가 지속될 수 없는 미지의 미래를

일컷는 용어로 이름 붙였다. AI 분야에서 특이점은 초인공지능이 예상치 못한 동기를 품고나타나는 시점이다.

그런데 우리는 클리피의 동기가 무엇인지 안다. 클리피는 클립을 더 많이 만들고 싶어 한다. 지구의 80퍼센트

가 철 성분이라는 사실을 알아낸 클리피는 더 많은 클립 재료의 확보를 위해 지구 전체를 채굴할 수 있는 놀라

운 기계를 만든다. 그리고 모든 인간을 없애려는 결정을 내린다. 인간이 클리피의 전원을 꺼 버릴 우려가 있으

며, 인체에는 클립의 재료로 활용할 수 있는 원소가 가득하기 때문이다. 클리피는 인간을 살려 둘 가치가 있는

지 고려하지 않는다. 인간은 자신들이 원하는 것이 아니며, 클립생산을 방해할 수도 있기 때문이다. 클리피의

관심은 오로지 클립뿐이다.

클리피의 예는 AI 관련 분야의 많은 사람이 깊이 우려하는 불운의 종말 시나리오 중 하나다. 이런 우려는 대개

초인공지능을 중심으로 다뤄진다. 사람보다 똑똑한 기계는 그 자체 로도 이미 우리의 머리로 이해할 수 없으며

이 기계는 자신보다 똑똑한 기계를 만들 계획을 세울 수도 있다. 그리고 놀라울 정도로 짧은 시간 안에 인간의

능력을 초월한 AI 를 만드는 과정에 나설 것이다. 이때 만일 AI 가 인간의 필요에 맞게 설계되었다면 그의 막강

한 힘을 이용해 질병을 치료하거나 인류에게 급한 문제를 해결하는 데 쓸 수 있을 것이다. 반면 AI가 잘못 설계

되면 자신의 목표를 이루기 위해 모든 사람을 죽이거나 노예로 만들지도 모른다.

초지능(Super Intelligence)을 만드는 방법조차 모르는데, 이를 검증하는 법을 알아낸다는 것은 엄청난 도전

과제일 것이다. AI의 심사(검증)을 연구하는 학자들은 논리, 수학, 철학, 컴퓨터과학, 그밖에 아이디어를 모두

동원해 이 문제를 해결할 방법을 궁리 중이다. 특히 인간의 가치와 목표에 부합하거나, 인간에게 해를 끼치지

않는 AI 시스템을 설계하기 위한 연구가 활발히 진행 중이다. 물론 어려운 일이다. 인간의 가치와 목표는 상충

하거나 불분명할 때가 많아서, 이를 컴퓨터 코드로 변환하는 과정에는 많은 어려움이 따른다. 더욱 AI 시스템

이 진화하고 환경으로부터 배우는 과정에서 원래의 가치와 목표를 유지할 것이라는 보장도 없다.

인공일반지능이 실현 가능한지, 검증문제가 정말로 우려할 만한 사안인지 아무도 알지 못한다는 점은 이 문제

를 더 북잡하게 한다. AI에 초지능이 생길수 있을지? 있다면 언제일지 예측하는 것은 현재 인간이 쉽게 풀어낼

수 없는 난제로 알려져 있다. 다만 AI가 실질적인 위험을 초래할 것이라는 데는 어느 정도 공감대가 형성되어

있다. AI 분야의 전문가들은 2100년까지 AI가 전세계 인구의 최소 10 퍼센트를 죽일 화률이 12퍼센트라고 추정

했으며, 미래학 전문가들은 그 확률을 2퍼센트 정도로 예상했다.

이는 많은 과학자와 영향력 있는 인물이 AI 개발 중단을 촉구하는 이유이기도 하다. 그들이 보기에 AI 연구는

불분명한 이익을 목표로 인류의 멸종을 초래할 수도 있는 힘을 건드린다는 점에서 맨해튼 프로젝트(핵 연구)와

비슷하다. AI 비판자로 널리 알려진 엘리에이저 유드코프스키(Eliezer Yutkowsky)는 끔찍한 미래를 깊이 우려

한 나머지, AI 개발을 전면 중단하고, 설사 AI로 인해 전쟁이 벌어지더라도 AI 훈련과 관련되었다고 추정되는

모든 데이터 센터를 공습해야 한다고 주장했다. 또한 2023년에 주요 AI 기업의 CEO들은 "AI에 의한 인류 멸

종을 줄이는 일은 팬데믹이나 핵전쟁 같은 사회적 위험과 마찬가지로 전 세계에서 먼저 다뤄야 한다."라는 성

명에 서명했다. 하지만 이 기업 중 어느 곳도 AI 개발을 멈추지는 않았다.

왜일까? 분명한 이유는 AI개발의 수익성이 잠재적으로 높기 때문이다. 하지만 이것이 전부는 아니다. 일부 AI

연구원은 검증이 문제가 되지 않을 것이라고 보거나, AI 폭주에 대한 두려움이 너무 과장되었다고 생각한다.

하지만 이 문제를 너무 쉽게 생각하고 간과하지는 않는다고 주장한다. 많은 AI 연구원은 AI에 이로운 가치가

있다고 진심으로 믿고 있으며, 초지능을 개발하는 것이 인류의 중대한 과업이라고 생각한다. 오픈 AI의 CEO

“샘 올트먼(sam Altman)”의 말을 빌리면, AI에는 "무한한 긍정적 측면"이 있다. 이론적으로 AI를 잘 활용하면

질병을 치료하고, 지구 온난화 문제를 해결하며, 풍요의 시대를 불러오고, 기계 신(benevolent machine god)

이 될 수있다.

AI 분야는 엄청난 논쟁과 우려에 직면하고 있지만, 명확한 답을 제시하지는 못하고 있다. 한쪽은 종말의 가능

성이, 다른 쪽에는 구원의 가능성이 있다. 이 모든 것을 어떻게 받아들여야 할지 알기 힘들다. AI로 인해 인류

가 멸종할 위협은 분명 실재한다. 하지만 이 책에서는 그 문제에 많이 언급하지 않겠다. 그러는 몇 가지 이유가

있다.

먼저, 이 책은 AI가 등장한 세상의 단기적이고 실질적인 영향을 주로 다룬다. 만일 AI 개발이 지금 이대로 중단

되더라도, 우리가 생활하고 일하고 배우는 방식에 AI가 미칠 영향은 엄청날 것이다. 그러므로 이에 관한 깊은

논의가 필요하다. 그리고 나는 종말론적인 관점에만 치중하면, 주체적인 힘과 책임감을 발휘할 기회를 놓치게

된다고 생각한다. 그런 사고방식으로 상황을 바라보면, AI 개발 여부는 소수의 기업과 기관이 결정하는 일이

되며, 실리콘 밸리 임원과 고위 정부관리 수십 명 외에는 앞으로 일어날 일에 대한 발언권을 잃게 된다.

하지만 AI시대는 이미 시작됐으며, 그 실질적인 의미와 관련한 중요한 결정을 우리가 내려야 한다는 것이 지금

의 현실이다. 실존적 위험에 대한 논쟁이 끝날 때까지 결정을 미루면, 타인이 우리의 결정을 대신 내리게 될 것

이다. 게다가 초지능에 대한 우려가 워낙 극적이어서 다른 접근법이 묻힐 수도 있다. 여기서 언급한 우려도 AI

점검과 윤리적 문제의 일부분일 뿐이며, 사실 점검이라는 더 넓은 범주에 포함할 수 있는 윤리적 문제는 아주

다양하게 존재하고 있다.