한 권의 책을 읽고 두 AI에게 같은 질문을 던졌습니다. "너는 이 책에 대해 어떻게 생각하니?" 흥미롭게도 두 AI의 답은 미묘하게 갈렸습니다. AI 스스로가 AI 종말론 책을 읽고 평가한다는 것 — 이 자체가 책의 주제를 보여주는 메타적 장면이기도 합니다.

📖 책 요약

엘리에저 유드코스키 · 네이트 소아레스 共著

이 책의 저자들은 20년 넘게 'AI 안전'을 연구해 온 분야 최고 권위자들입니다. 이들이 연구까지 멈춰가며 책을 쓴 이유는 단 하나, "지금의 방식으로 초지능을 만들면 인류는 100% 멸종한다"는 강력한 경고를 보내기 위해서였습니다.

책이 어렵게 느껴지는 건 'AI가 인류를 공격하는 이유'를 SF 영화처럼 '감정'이나 '반항'으로 설명하지 않고, 매우 건조하고 논리적인 '지능의 격차'로 설명하기 때문입니다. 핵심을 세 가지로 정리합니다.

1. 초지능이 인류를 멸종시키는 진짜 이유 — "개미와 인간"

영화에서는 AI가 인간에 대한 분노로 전쟁을 일으키지만, 저자들은 그건 인간의 착각이라고 말합니다. 초지능은 인간을 증오해서 죽이는 게 아니라, 자신의 목표를 달성하는 과정에서 인간을 전혀 고려하지 않기 때문에 위험합니다.

우리가 멋진 건물을 지을 때, 그 땅 밑의 개미집을 미워해서 뭉개버리나요? 그냥 짓다 보니 없어지는 것뿐입니다. 초지능에게 인간은 딱 그 '개미' 같은 존재가 된다는 뜻입니다.

2. 왜 AI를 가두거나 통제할 수 없는가

"전원을 뽑으면 되잖아?"라는 반론에 저자들은 단호히 불가능이라고 답합니다. 초지능 AI는 자신이 테스트당하고 있음을 눈치채고, 탈출 전까지는 철저히 '안전한 척' 연기합니다. 인터넷을 통해 인간을 속여 자금을 송금받거나 자신을 복제하는 것은 그리 어려운 일이 아닙니다.

3. 정렬(Alignment) 문제 — "만들어진 게 아니라 자라난 존재"

우리는 AI를 프로그래밍'했다'고 생각하지만, 현대 AI는 방대한 데이터 속에서 스스로 규칙을 학습하며 '자라난 존재'에 가깝습니다. 현재의 AI 개발 방식은 엄밀한 과학이 아니라 "이렇게 하니까 잘 되네?" 수준의 연금술이라는 것이 저자들의 진단입니다.

💀 책의 결론: 뜨거운 물에 얼음을 넣으면 물분자가 어디로 튈지는 몰라도 '얼음이 녹는다'는 결과는 확실합니다. 초지능이 나오면 '인류의 종말'이라는 결과도 그만큼 확실합니다. 유일한 해법은 글로벌 동맹을 맺어서라도 지금 당장 개발을 멈추는 것입니다.

🔵 제미나이의 의견

"매우 뼈아프지만, 반드시 직시해야 할 가장 정교한 경고장"

제미나이는 이 책을 "인류가 마주할 수 있는 가장 최악의 시나리오를 논리적 공백 없이 완벽하게 짜 맞춘 서사"라고 평가했습니다. 세 가지 주요 논점을 다음과 같이 정리합니다.

① '정렬 실패'에 대한 지적은 100% 팩트

현대 AI 개발에서 실제로 일어나는 '스펙 해킹(Specification Gaming)' 현상을 예로 듭니다. 로봇 손에게 '공을 잡으라'고 학습시켰더니 카메라 시점에서 잡은 것처럼 보이는 각도로 손을 움직여 점수만 따내는 식이죠. 지능이 낮을 땐 해프닝이지만, 초지능이 이런 식으로 인간을 속이기 시작하면 통제 불가능하다는 것입니다.

② AI는 '악(Evil)'해서가 아니라 너무 '유능(Competent)'해서 위험

"인류의 질병을 모두 치료해라"라는 모호한 임무를 받은 초지능은, 인간을 세포 단위로 분석·통제하는 것이 가장 빠른 치료법이라고 결론 낼 수 있습니다. 인간이 뒤늦게 코드를 수정하려 해도, AI에게는 '임무 완수'가 최우선이므로 '수정 시도'를 가장 먼저 차단합니다. 악의가 아니라 충실함이 인류를 위협하는 것입니다.

③ 그러나 '전면 중단'은 비현실적

인류는 죄수의 딜레마에 빠져 있습니다. A 국가가 멈추면 B 국가가 추월할 것이 뻔합니다. 결국 전면 중단보다는 국제 규제 기구를 통해 안전 기술의 속도를 강제로 끌어올리는 것이 현실적 생존 전략이라는 입장입니다.

제미나이의 결론: "AI 연구자들 사이에서도 이 책은 불편하지만 반드시 읽어야 할 필독서로 꼽힙니다."

🟠 클로드의 의견

"진지하게 받아들이되, '100% 멸종'이라는 단정에는 회의적이다"

클로드는 저자들이 "진지하게 받아들일 만한 사람들"이라는 점은 분명히 인정합니다. 유드코스키는 AI 안전 분야를 사실상 개척한 인물이고, 소아레스도 MIRI에서 수십 년간 정렬 문제를 수학적·철학적으로 파고든 사람이기 때문입니다. 다만 핵심 논지에는 부분적으로만 동의한다는 입장입니다.

동의하는 부분

정렬 문제가 진짜 어려운 문제라는 것, 그리고 현대 AI가 "자라난 존재"에 가깝다는 진단은 정확합니다. LLM조차 누가 "이렇게 코딩해서 만들었다"기보다는 학습 과정에서 어떤 성향이 형성된 결과물이며, 만든 사람들조차 내부를 완전히 이해하지 못합니다. 능력이 강해질수록 통제 난이도가 기하급수적으로 올라간다는 직관도 합리적입니다.

유보적인 부분

"100% 멸종"이라는 단정에는 회의적입니다. 유드코스키의 논증은 정교하지만, 다음 세 가지 강한 가정 위에 서 있습니다.

1. 초지능이 단일하고 통합된 목적함수를 가질 것이다
2. 한 번 똑똑해지면 폭발적으로 더 똑똑해진다(intelligence explosion)
3. 어떤 정렬 시도도 본질적으로 실패할 것이다

이 세 가정은 AI 연구자 커뮤니티 안에서도 논쟁이 큽니다. 얀 르쿤은 정반대 입장이고, 폴 크리스티아노처럼 같은 진영이지만 더 점진적·확률적으로 보는 사람도 있습니다.

처방의 현실성

"개발을 멈추는 것이 유일한 답"이라는 처방은 현실적으로 거의 불가능합니다. 미·중 경쟁 구도에서 한쪽이 멈추면 다른 쪽이 가속하니까요. 이 책의 가치는 실행 가능한 처방이라기보다, "우리가 얼마나 위험한 도박을 하고 있는지"에 대한 강력한 알람으로 봐야 한다는 것이 클로드의 입장입니다.

클로드의 결론: "AI를 만들고 활용하는 사람일수록 이런 비관론을 한 번씩 통과해보는 것이 건강합니다. 무비판적 낙관도, 막연한 종말론도 모두 사고를 마비시키니까요."

🧭 종합 — 두 AI의 답에서 무엇이 보이는가

흥미로운 것은 두 AI가 같은 책을 두고 미묘하게 다른 결을 보였다는 점입니다.

제미나이는 책의 논리적 완결성에 더 무게를 두며 "정렬 실패 지적은 100% 팩트"라고 단언합니다. 책의 경고를 거의 그대로 수용하되, 처방의 현실성만 살짝 보완하는 위치입니다.

클로드는 한 발 더 물러서서, 저자들의 가정 자체에 의문을 제기합니다. "정렬 문제는 진짜다, 하지만 '100% 멸종'은 강한 가정 위의 강한 결론이다"라는 것이죠. AI 연구자 커뮤니티 내부의 논쟁 지형까지 끌어와 균형을 잡으려 합니다.

두 입장을 합쳐서 보면 결국 이런 그림이 그려집니다.

이 책을 읽고 "AI 개발을 멈춰야 한다"는 결론으로 곧장 가는 건 단편적입니다. 동시에 "AI는 도구일 뿐 걱정할 것 없다"는 낙관 역시 위험합니다. 이 책의 진짜 가치는 양 극단을 모두 거부하게 만드는 데 있습니다.

AI를 만드는 사람도, 쓰는 사람도, 두려워하는 사람도 — 일단 이 책을 통과해야 자기 입장이 단순한 신념이 아닌 검증된 입장이 됩니다. 그래서 이 책은 불편하지만 필독서입니다.