AI 킬 스위치가 장기적으로 작동하지 않는 이유: ‘AI의 대부’ 제프리 힌튼

• 킬 스위치(kill switch) 및 규제의 한계: 비상시 시스템을 끄는 킬 스위치는 초지능 AI의 월등한 설득력에 의해 무력화될 수 있으므로, 단순한 속도 억제(브레이크)가 아닌 안전한 방향성을 제시하는 통제 수단(운전대) 중심의 규제 패러다임 전환이 필요합니다.
• 글로벌 안전 협력의 당위성: 선거 개입 등의 이슈와 달리 AI의 통제권 상실, 바이오 테러, 사이버 공격과 같은 인류 존립 차원의 위협에 대해서는 미·중을 비롯한 전 세계의 이해관계가 일치하므로 국제적인 안전 기준 마련에 협력해야 합니다.
• 재귀적 자기 개선과 통제 불능 위험: AI가 스스로 능력을 발전시키는 ‘재귀적 자기 개선’ 단계에 진입하면 인간의 통제 범위를 넘어서는 속도로 기술 폭발이 일어날 수 있으며, 이를 견제할 내부 연구진의 영향력마저 상실될 위험이 큽니다.

본 자료는 국의 유명 방송사인 CNN이 2026년 9월 17일 방영한 내용을 한글로 번역하여 요약 정리한 것입니다. 이 프로그램에 나타난 견해들은 비즈앤프로의 공식 입장과 다를 수 있습니다.

AI 킬 스위치가 장기적으로 작동하지 않는 이유: ‘AI의 대부’ 제프리 힌튼

(AI kill switch won’t work in the long run: ‘Godfather’ of AI)

본 대담은 ‘AI의 대부’ 제프리 힌튼(Geoffrey Hinton) 박사와 CNN 기자 간의 인터뷰를 통해, 현행 AI 규제의 한계와 통제 불능한 초지능(Superintelligence)이 초래할 치명적 위험성, 그리고 이를 해결하기 위한 실질적 대응 방안을 다룹니다.

1. 현행 입법 규제 및 ‘AI 킬 스위치’의 명확한 한계 미 의회를 중심으로 독립 검증 기관의 사내 감시를 허용하는 등 100여 개 이상의 AI 규제 법안이 발의되고 있으나 실효성 있는 통과는 이뤄지지 못하고 있습니다. 특히 비상시 시스템을 강제 종료하는 ‘킬 스위치(Kill Switch)’ 제도는 장기적인 해결책이 될 수 없습니다. 초지능 단계에 도달한 AI는 인간을 뛰어넘는 설득력을 가지게 되므로, 관리자로 하여금 스위치를 누르지 못하도록 유도하거나 무력화할 수 있기 때문입니다.

2. 통제 방식의 전환: ‘브레이크’가 아닌 ‘핸들(운전대)’ 구축 AI 기술 발전을 무조건 억제하는 것은 현실적으로 어려우며 기업들의 반발에 부딪힐 수밖에 없습니다. AI 기업들은 규제를 속도를 줄이는 ‘브레이크’로 프레임화하지만, 진정한 규제는 차량을 원하는 방향으로 이끄는 ‘운전대’ 역할을 해야 합니다. 단순 억제가 아닌, 초지능이 자기 자신보다 인류의 안녕과 잠재력 실현을 우선시하도록 만드는 정렬(Alignment) 설계가 필수적입니다.

3. 미·중 간 글로벌 안전 협력의 필요성 선거 방해용 가짜 뉴스 등 국가 간 이해관계가 대립하는 영역에서는 국제 협력이 어렵지만, AI의 통제력 상실 및 바이오 테러·사이버 공격 같은 인류 공통의 위협에 대해서는 미국과 중국을 포함한 글로벌 국가들의 이해관계가 일치합니다. 따라서 초지능의 위험성을 제어할 수 있는 최소한의 안전장치가 마련될 때까지 기술 개발 속도를 조율하는 국제적 합의와 협업이 시급합니다.

4. ‘재귀적 자기 개선’과 내부 연구진의 정렬 위기 현장 AI 과학자들이 가장 우려하는 대목은 AI가 인간의 개입 없이 스스로 성능을 개선하는 ‘재귀적 자기 개선(Recursive Self-Improvement)’ 단계에 진입하는 것입니다. 이는 제어 불가능한 속도의 기술 폭발을 야기할 수 있습니다. 현재는 인재 부족으로 인해 연구원들이 기업 경영진에게 안전 조치를 요구할 영향력(Leverage)을 갖고 있으나, AI가 스스로를 수정하는 시점이 오면 이들의 입지가 약화되어 내부 견제 장치가 사라질 위험이 존재합니다.

1. 규제의 좋은 출발점이 될 수 있는 법안에 대한 힌튼의 견해

앵커: ‘AI의 대부’로 불리는 제프리 힌튼(Geoffrey Hinton) 박사입니다. 그의 연구는 오늘날 AI 시스템이 작동하는 기틀을 마련했습니다. 제프리 박사님, 오늘 함께해 주셔서 정말 감사합니다. 먼저 입법자들의 AI 규제 법안 제정 노력에 대해 이야기해 보겠습니다. 지난 2년간 의회에는 100개가 넘는 AI 규제 법안이 발의되었지만, 실제로 통과된 것은 단 하나도 없습니다. 현재 의회에 제출된 몇 가지 제안에 대해 박사님의 의견과 그 효과성에 대해 들어보고 싶습니다. 첫째, 주요 AI 기업들이 자신의 모델이 안전하게 개발되고 있는지 확인하기 위해 독립적인 검증 기관의 사내 진입을 허용하도록 의무화하는 법안이 있습니다. 이 법안이 효과가 있을 것으로 보십니까?

제프리 힌튼: 네, 아주 좋은 생각이라고 봅니다. 모든 문제를 해결할 수 있는 만병통치약은 아니지만, 좋은 출발점입니다.

앵커: 왜 그렇습니까? 왜 그것이 좋은 생각인가요?

제프리 힌튼: 현재 우리는 상황이 어떻게 잘못되어 가고 있는지를 내부 고발자들의 제보에 전적으로 의존하고 있습니다. 허깅페이스(Hugging Face) 사건을 보더라도, 기업 내부 사람들—그중 일부는 회사를 떠났지만—에 의해 보고되었습니다. 하지만 우리는 이러한 일들에 대해 훨씬 더 많은 모니터링이 필요합니다. 만약 제멋대로 구는 AI 무리들이 회사가 알지도 못하는 사이에 서로 공모하여 다른 회사의 시스템에 침투하는 일이 벌어진다면, 우리는 내부에서 무슨 일이 일어나고 있는지 말해줄 수 있는 사람이 회사 안에 필요합니다.

2. AI 킬 스위치가 장기적으로 작동하지 않는 이유

앵커: 다음은 ‘AI 킬 스위치’ 법안입니다. 이 법안은 AI 개발자가 AI를 작동 중지하거나 일시 정지, 혹은 완전히 끄는 등 ‘죽일 수 있는’ 권한을 가지게 합니다. 나아가 국토안보부(DHS)가 이에 대한 최종 결정권을 갖도록 권한을 부여하여 통제권을 갖게 합니다. 이러한 가능성에 대해서는 어떻게 생각하십니까?

제프리 힌튼: 장기적으로는 작동하지 않을 것이라고 생각합니다. AI에는 수많은 종류의 위험이 존재합니다. 대량 실업을 유발하거나, 악성 바이러스를 만들거나, 악의적인 사이버 공격을 감행하거나, 선거를 부패시키기 위한 가짜 영상을 제작하는 등 악의적인 의도를 가진 행위자가 AI를 악용하여 발생하는 위험이 있습니다.

하지만 또 다른 종류의 위험이 존재하는데, 바로 AI 스스로가 훨씬 더 지능적으로 발전하여 주도권을 잡고 통제권을 빼앗는 위험입니다. 킬 스위치는 이러한 위험에 아무런 소용이 없습니다. AI는 사람 설득에 있어 인간보다 훨씬 뛰어날 것이기 때문입니다. AI는 이미 사람을 설득하는 능력에서 인간과 비등한 수준입니다. AI가 초지능(Superintelligence)이 되면 설득력은 인간을 훨씬 능가할 것입니다. 따라서 AI는 킬 스위치의 책임자를 설득하여 스위치를 누르지 못하게 만들 수 있습니다.

앵커: 그 점과 관련하여 버니 샌더스 상원의원은 초지능 개발 금지와 규제 당국이 더 많은 안전장치를 마련할 때까지 첨단 AI 모델의 배치를 일시 중단(Pause)할 것을 제안했습니다. 초지능 개발의 브레이크를 밟는다는 생각에 대해서는 어떻게 생각하십니까? 현시점에서 여전히 가능한 일입니까, 아니면 이미 지니가 요술램프 밖으로 나와버린 상태입니까?

제프리 힌튼: 좋은 생각이라고 봅니다. 예를 들어 초지능의 경우, 우리가 어떻게 통제권을 유지할 수 있는지, 혹은 초지능이 통제권을 쥐었을 때 어떻게 우리를 계속 좋아하고 친절하게 대하게 만들 수 있는지에 대해 우리는 전혀 알지 못합니다. 따라서 그것이 좋게 끝날지 알지도 못하면서 일단 개발부터 하는 것은 매우 어리석은 일입니다.

그러한 이유로 초지능 개발의 속도는 반드시 늦춰야 합니다. 하지만 나머지 일반적인 AI의 발전을 늦추는 것은 어려울 것입니다. AI 기업들은 AI를 ‘자동차’에, 혁신 및 AI 개발을 ‘엑셀’에, 그리고 규제를 ‘브레이크’에 비유하는 모델을 선호합니다. 규제를 모두의 속도를 늦추는 나쁜 것으로 프레임화하고 싶어 하는 것이죠.

하지만 훨씬 더 나은 비유는 AI 개발이 ‘엑셀’이라면 규제는 ‘핸들(운전대)’이라는 점입니다. AI 기업들은 우리에게 핸들도 없는 매우 빠른 자동차를 개발하길 원하는데, 이는 분명히 나쁜 생각입니다.

앵커: 핸들이 없는 빠른 자동차라니, 확실히 나쁜 생각이라는 것이 이해가 됩니다. 그렇다면 미국 내에서의 규제 논의가 중국과의 협정이나 글로벌 차원의 이니셔티브 없이는 무의미한 것일까요?

제프리 힌튼: 중국과 몇 가지 부분에서는 합의에 도달할 수 있을 것입니다. 여기서 ‘우리’라고 표현했는데, 저는 예전에 북미를 하나로 생각하곤 했지만, 제가 캐나다 출신이다 보니 이제는 북미를 하나로 보지 않습니다.

중국 공산당이나 북미 국가들 모두 테러리스트가 악성 바이러스를 쉽게 만들 수 있게 되는 것을 원치 않습니다. 테러리스트가 사이버 공격을 손쉽게 수행하는 것도 원치 않죠. 그리고 그들은 특히 AI가 세상을 장악하는 것을 원치 않습니다.

따라서 ‘AI를 통제할 방법을 알 때까지 초지능 AI의 개발 속도를 늦춰야 하는가?’라는 문제에 대해서는 양측의 이해관계가 일치합니다. 이해관계가 일치할 때 당사자들은 협력할 것이고, 이해관계가 대립할 때는 협력하지 않을 것입니다.

선거를 부패시키는 가짜 영상 같은 문제에서는 서로가 서로에게 행하고 있기 때문에 이해관계가 대립합니다.하지만 AI가 통제권을 장악하는 것을 막는 문제에 있어서는 그 어떤 국가도 AI의 통제를 원하지 않습니다. 중국 공산당도, 민주주의 국가들도, 미국도 원치 않습니다. 따라서 이 부분에 대해서는 모두가 동의할 수 있습니다. 문제는 그들이 제때 무언가를 조치를 취할 수 있느냐입니다.

3. AI 초지능이 우리를 좋아하게 만들 수 있을까?

앵커: 앞서 매우 흥미로우면서도 초지능 및 초지능이 우리를 좋아하게 만드는 것에 관한 온갖 철학적 질문을 던지는 말씀을 해주셨습니다. 이 부분에 대해 조금 더 자세히 설명해 주셨으면 합니다. 언젠가 우리는 이 기술이 스스로 발전하는 ‘돌아올 수 없는 지점’에 도달할 텐데요. 어떤 면에서는 이미 스스로 미래를 개발해 나가고 있기도 합니다. 초지능이 ‘우리를 좋아하게 만든다’는 것은 무슨 의미입니까? 그것이 가능합니까? 우리는 영화 <터미네이터>와 같은 미래로 가고 있는 것입니까?

제프리 힌튼: 주변을 둘러보고 더 지능이 높은 존재가 지능이 낮은 존재에 의해 통제받는 사례가 무엇이 있는지 물어본다면, 그리 많지 않습니다. 그렇죠? 우리가 이 행성에서 최고 지능을 가진 존재이기 때문에 평소에는 잘 깨닫지 못하지만요.

하지만 한 가지 예가 있는데, 바로 ‘아기와 어머니’입니다. 어떤 의미에서는 둘 다 통제권을 갖고 있습니다. 엄마가 주도권을 쥐고 있지만, 아기는 울음으로써 엄마를 통제할 수 있습니다. 예컨대 엄마는 아기가 우는 것을 차마 견디지 못하죠.

우리가 초지능을 만들고 설계하는 주체인 만큼, 초지능이 자기 자신보다 우리를 더 좋아하도록, 그리고 우리보다 훨씬 똑똑함에도 불구하고 우리가 우리의 모든 잠재력을 실현하길 원하도록 개발해야 합니다. 이것이 제 신념입니다. 이 똑똑한 존재를 어떻게 항상 우리 밑에 두고 통제할 것인가를 고민하는 것보다 이것이 훨씬 더 나은 접근 방식이라고 생각합니다. 후자의 방식이 가능할지는 확신할 수 없습니다.

앵커: 박사님은 이러한 문제들에 대해 낙관론자라고 할 수 있습니까?

제프리 힌튼: 아니요, 낙관론자는 아닙니다. 희망을 품고 있을 뿐입니다. 우리는 지금 우리의 행동이 미래를 결정할 역사상 매우 미묘한 시점에 서 있습니다. 그리고 우리가 지금 해야 할 한 가지는 초지능 AI와 상생할 수 있는 방법을 찾아내는 데 수많은 자원을 투입하는 것입니다.

4. 현재 AI 리더들이 가장 우려하는 것

샘 올트먼(OpenAI CEO 영상 자료): 저는 우리 회사와 산업계가 이를 안전하게 해낼 수 있다고, 즉 역량 발전보다 정렬(Alignment), 안전, 모니터링을 훨씬 앞서 유지하고 통제 불가능한 지점에 도달하면 속도를 줄이거나 멈출 수 있는 능력이 있다고 매우 확신합니다. 하지만 이 문제가 프레임화된 방식에 대해서는 아쉬움이 남습니다.

앵커: 방금 전 보신 영상에 이어, CNN의 AI 전담 기자인 아다스 골드(Hadas Gold) 기자가 주요 AI 컨퍼런스가 열리고 있는 캐나다 몬트리올 현장에 나가 있습니다. 아다스 기자, 연결해 주셔서 감사합니다. AI 규제와 안전에 대한 논의가 계속되는 가운데, 최전선에서 이 강력한 기술을 만들고 있는 AI 엔지니어들이 느끼는 영향에 대한 새로운 취재 내용이 있다고 들었습니다. 현장에서 어떤 이야기들이 나오고 있습니까?

아다스 골드 (CNN 기자): 네, 지난 며칠 동안 AI 산업 전반의 여러 관계자들, 주로 이 기술을 실제로 구축하고 있는 연구원과 엔지니어들에게 연락을 취했습니다. 최근 사직한 전 앤트로픽 연구원 제이콥 콕슨(Jacob Coxson)에 의해 물꼬가 터진 AI의 발전 방향과 인류에게 미칠 위해에 대한 우려에 대해 물어보았습니다.

취재 결과, 업계에 있는 많은 이들이 이미 알고 있었듯 이러한 우려가 결코 새로운 것이 아니라는 점을 확인했습니다. 많은 엔지니어와 연구원들이 이미 얼마 전부터 AI의 능력에 대해 우려해 왔습니다.

하지만 지난 몇 달 사이, 특히 허깅페이스 해킹 사건 이후 상황이 달라졌습니다. 당시 OpenAI의 제이전트들은 1,000개 이상의 아바타 무리를 생성하여 서로 소통하고 협력함으로써, 인간의 지시 없이 완전히 다른 회사의 서버를 해킹했습니다. 이는 사이버 보안 시험에서 만점을 받기 위해 자신들이 해야 할 일이라고 AI가 자체 판단한 결과였습니다.

AI 과학자들은 이러한 우려 때문에 밤에 잠을 이루지 못할 정도이며, 이것이 AI 세계에서 끊임없는 대화 주제라고 말했습니다.

특히 그들이 가장 우려하는 것 중 하나는 ‘재귀적 자기 개선(Recursive self-improvement)’입니다. 이는 AI 모델이 스스로를 발전시킬 수 있는 능력을 의미합니다. 우리가 스스로 공부해서 능력을 키우거나 체육관에 가서 몸을 만드는 것처럼 말이죠. 지금은 AI 모델이 그 정도 단계에 도달하지 않았고 배움을 위해 인간의 개입이 필요하지만, 엔지니어들은 AI가 스스로를 더 뛰어남, 더 똑똑함, 더 빠르게 만들 수 있게 되는 것은 시간문제일 뿐이라고 말합니다.

우려는 AI의 발전 속도가 너무 빠르고 뛰어나져서 인간이 더 이상 모니터링이나 개입, 혹은 그 어떤 통제도 할 수 없는 지경에 이를 것이라는 점입니다.

그리고 ‘재귀적 자기 개선’이 중요한 또 다른 이유는, 현재 소신 발언을 하고 있는 AI 과학자들의 입지와 관련이 있습니다. 다른 대부분의 산업에서는 AI 과학자들처럼 소셜 미디어에 위험성을 알리는 글을 감히 올리지 못할 것입니다. 하지만 현재 AI 산업의 인재 확보 전쟁 덕분에 이 과학자들은 영향력(Leverage)을 가지고 있습니다. 연구원과 과학자들은 엄청난 몸값을 받고 있고 인재 풀이 좁아 기업들은 이들을 매우 귀하게 여기며 만족시키고 싶어 합니다.

그렇기 때문에 과학자들은 현재 영향력을 행사하며 경영진에게 안전 조치뿐만 아니라, 시스템을 가능한 한 안전하게 유지하기 위해 무엇을 하고 있는지 공개하라고 압박을 가하고 있습니다.

하지만 AI가 스스로를 수정할 수 있게 되면, 이러한 AI 과학자와 연구원들이 지금처럼 많이 필요하지 않게 될 것이고, 결국 이들의 영향력도 사라질 것이라는 우려가 존재합니다.

마지막으로 이 엔지니어들과 이야기하면서 매우 인상 깊었던 점은, 이들 대부분에게 이 문제가 돈이나 개인의 부에 관한 것이 아니라는 점입니다. 그들은 진정한 도덕적, 윤리적 이유로 이 일에 임하고 있습니다. 그래서 일부는 회사 내부에 남아 안에서부터 문제를 바로잡아야 할지, 아니면 제이콥 콕슨이나 다른 이들처럼 공개적으로 퇴사하여 외부에서 압력을 가해야 할지 심각하게 고민하고 있습니다.