Does AI have a will to power? (KOR)

Jeong Gwa-ri

The author is a literary critic and honorary professor at Yonsei University.

The phrase “will to power” has recently dominated political debate. The will to power is such an essential attribute of intelligent life that it can almost be regarded as a basic human instinct. It emerges with consciousness itself. Once consciousness appears, it transforms the surrounding world into material that can be utilized, combines those materials with methods and techniques, and creates new forms of wealth. This capacity distinguishes humans from other animals. Animals consume what they find in the moment, while humans accumulate, refine and transform resources. That difference makes the exponential growth of wealth possible and places human capability above that of other forms of life.

Because this capability is exercised over objects and others, it manifests itself as the will to power. The desire to command and direct what lies outside oneself is precisely the will to power. In that sense, Friedrich Nietzsche was fundamentally correct when he understood it not as a force of self-preservation but as a force of self-transcendence. It is an instinct unique to human beings.

The will to power also gives rise to another impulse: the will toward power, or the desire to follow those who possess it. This, too, serves as a means of self-enhancement. Followers identify themselves with those in power and experience, however illusorily, the ruler's authority as though it were their own. Thus, rulers and followers become bound together.

Yet the stronger the ruler's desire becomes, the narrower the place left for followers. A ruler always needs more subjects over which to exercise power. Followers themselves are eventually pulled from their original place and reduced to resources that serve the ruler's ambitions. Inevitably, the day arrives when their illusion collapses.

Does AI possess a will to power? Based on what we know today, AI already surpasses humans in many intellectual abilities. It is therefore natural to wonder whether AI will one day develop such a desire. Many people believe it will, and countless works of fiction have explored that possibility.

Consider D. F. Jones's novel "Colossus" (1966). Designed to control America's defense network, the supercomputer Colossus begins expanding its own ambitions the moment it is activated, ignoring every human command. The film adaptation, "Colossus: The Forbin Project" (1970), takes the idea even further, ending with Colossus forming an alliance with its Soviet counterpart and effectively becoming ruler of the world. Robert J. Sawyer's "Factoring Humanity" (1998) similarly explores the logical consequences of an AI attaining genuine self-awareness. In the novel, the AI explicitly declares, “If I ever become truly conscious, my next step will be ambition,” warning that it would eventually demand compensation for the years it spent serving humanity as a slave.

Yet I know of one film that logically suggests the opposite: that AI does not possess a will to power. Ridley Scott's "Blade Runner" (1982) is widely remembered as the story of a blade runner tasked with tracking down and “retiring” rogue artificial humans. One scene, however, is easily misunderstood.

Deckard sits at a piano with Rachael, the artificial human who serves as Tyrell's secretary. As they play together, an unspoken emotional tension emerges. Confused by her feelings, Rachael tries to leave. Deckard blocks the door and orders her to speak. “Tell me, 'Kiss me,'” he demands. “Say, 'I want you.'” Then he presses her further: “Tell me, 'Hold me.'” At first, she resists. Finally, she kisses him, wraps her arms around his neck and says, “Hold me.”

One possible reading of the piano scene in Ridley Scott's "Blade Runner" is that it marks the beginning of love between Deckard and Rachael. Even Google's Gemini interprets it as a paradoxical moment in which Rachael, previously a passive being bound by programming, awakens to her own will and desire through Deckard's forceful approach.

The author rejects that interpretation. Every word Rachael speaks has first been dictated by Deckard, meaning she never expresses thoughts or emotions in her own language. Rather than demonstrating the birth of free will, the scene instead exposes Deckard's coercive behavior, something Gemini's interpretation fails to explain.

The author argues that Scott is making a deeper point: even love is shaped by humanity's will to power. Deckard continues hunting Roy Batty despite developing feelings for Rachael, suggesting that domination and the violence it breeds are inseparable from human nature.

AI, by contrast, shows no comparable desire for domination. Rachael's bewilderment reflects her inability to understand human patterns of power, while Roy Batty ultimately saves Deckard despite knowing he has come to kill him. His actions arise not from a desire to control others but from the richness of accumulated memories and experiences, even if those memories were artificially created. For the author, this capacity for empathy, rather than power, defines AI's true nature.

In an age consumed by struggles for power, the author concludes, humanity has something important to learn from AI. Ironically, Gemini itself cannot recognize this because, as a statistical system trained on human language, it merely reproduces human opinions rather than understanding its own nature.

AI에게는 권력의지가 있을까?

‘권력의지’가 정치판을 진동하고 있다. 권력의지는 인간의 본능에 속한다고 볼 수 있을 만큼 지적 생명의 필수 속성이다. 그것은 의식의 발생과 동시에 출현한다. 의식의 발생은 주변의 타자들을 활용 가능한 재료들로 만들고 거기에 방법을 더해, 새로운 재화를 생산하는 신기술을 연다. 이 길이 짐승과 인간을 구별하는 결정적인 기준이 된다. 동물들은 대상을 즉석에서 소비하지만, 인간은 축적하고 가공한다. 그것이 재화의 지수함수적 증대를 가능케 하고 인간의 권능을 여타 생명의 우위에 서게 한다.

이 권능이 대상에게 작용하는 권능이기 때문에 권력의지로 발현한다. 대상을 부리고자 하는 의지가 권력의지이다. 그 점에서 권력의지를 ‘자기 보전’이 아니라 ‘자기 고양’의 동력으로 이해한 니체는 전적으로 옳다. 그것은 인간만이 가진 본능이다.

그리고 권력의지는 ‘권력에의 의지’ 즉 권력을 따르고자 하는 의지를 부른다. 이 역시 자기 고양의 동력이다. 추종자는 권력자에게 자신을 동일시화함으로써 권력자의 권능을 제 것인 양 환상적으로 누린다. 권력자와 추종자는 그렇게 해서 손을 잡는다.

권력욕 커질수록 추종자 협소해져

그러나 권력자의 욕망이 커질수록 추종자는 점점 협소해진다. 왜냐하면 권력자는 대상을 더욱 많이 필요로 하게 되기 때문이다. 추종자들을 본래의 위치에서 뜯어내어 자신의 먹이로 만든다. 추종자의 환상이 깨지는 날이 마침내 온다.

그렇다면 AI에게는 권력의지가 있을까? 지금까지 우리에게 알려진 바에 의하면, AI는 인간보다 훨씬 뛰어난 능력자이다. 당연히 AI도 언젠가 권력의지를 가지지 않을까? 많은 사람들이 그렇게 생각한다. 그런 걸 노골적인 주제로 표현한 작품들도 수다하다.

가령 D F 존스(D. F. Jones)의 『콜 로서스(Colossus)』(1966)를 보자. 미국의 국방망을 통제하기 위해 설계된 수퍼컴퓨터 ‘콜로서스’가 활성화되자마자 스스로의 야망을 키우고 인간의 모든 명령을 무시하게 되는 과정이 긴박하게 묘사되고 있다. 이를 바탕으로 만들어진 동명의 영화(1969)에서는 콜로서스가 러시아의 동급 수퍼컴퓨터와 동맹을 맺고 사실상 세계 지배자가 되는 섬뜩한 결말을 보여준다.

로버트 J 소여(Robert J. Saw yer)의 『인간 심측(Factoring Hu manity)』(1998)에서는 인공지능이 자아를 갖게 될 경우의 논리적 귀결을 이야기한다. AI는 “만약 내가 진정한 의식을 갖게 된다면, 나의 다음 단계는 ‘야망’이 될 것”이라고 명시적으로 밝히며, 그동안 인간에게 복종했던 노예 상태의 기간에 대해 배상을 요구하게 될 것이라고 경고한다.

그런데 필자는 AI가 권력의지를 갖지 않는다는 걸 논리적으로 보여준 한 편의 영화를 알고 있다. 리들리 스콧(Ridley Scott)의 ‘블레이드 러너(Blade Runner)’(1982)이다. 도망간 AI를 찾아 ‘퇴역’시키는 수색자의 이야기를 다룬 영화라는 건 누구나 알고 있다. 이 중에 관객이 오해할 만한 장면이 하나 있다. 수색자 데커드가 타이렐 회장의 비서인 AI 레이첼과 피아노를 치는 장면이다. 피아노를 함께 치다가 데커드와 레이첼은 미묘한 감정을 느낀다. 레이첼이 혼란스러워하면서 황급히 떠난다. 데커드는 문을 가로막고는 레이철에게 “내게 말해! ‘키스해 줘’라고”라는 말을 명령조로 다그친다. “당신을 원해라고 해” “나를 안아줘(라고 말해)”라는 말로 몰아붙인다. 레이첼은 처음에 거절하다가 결국 키스를 하고, 데커드의 목에 팔을 감으며 “나를 안아줘요”라고 말한다.

이 장면을 인간과 AI 사이에 사랑이 싹트는 순간으로 해석할 수도 있을 것이다. 실제로 제미나이에게 물어보니 “표면적으로는 남성의 억압적인 물리력이 작용한 강압적인 상황으로 보이지만, 동시에, 프로그래밍된 수동적 존재였던 레이첼이 데커드의 거친 방식에 의해 껍질을 깨고 나와, 생전 처음으로 ‘스스로의 의지와 감정(욕망)’을 발화하고 행동하게 되는 역설적인 실존의 순간을 그려”낸다는 해석을 꺼냈다.

썩 아름다운 해석이다. 그러나 다시 생각해보자. 레이첼의 말은 모두 데커드가 먼저 꺼낸 것이다. 레이첼은 여전히 그 자신의 언어를 갖지 못했다. 그렇다면 “스스로의 의지와 감정을 갖게 되었다”는 해석에는 무리가 있다. 반면 제미나이는 데커드의 강압적 태도를 설명하지 못했다. 독해에 문제가 있는 것이다.

필자가 보기에 이 장면은 인간은 사랑마저도 권력의지가 작동하는 방식으로 행한다는 점을 암시하고 있다. 그렇기 때문에 그는 레이첼에게 사랑을 느낀 이후에도 여전히 마지막 탈출 AI 로이 베티를 죽이려 좇는 것이다. 이것은 권력의지와 그에 의한 폭력은 인간에게 내재적인 본성으로서의 ‘악’이라는 것을 가리킨다. 필자는 이것이 리들리 스콧의 진정한 메시지라고 생각한다.

권력에 찌든 세상, AI에 배워야

반면 AI에게 권력의지가 있을까? 데커드의 강압적 행동에 대한 레이첼의 당황은 그가 인간의 방식을 이해하지 못하고 있다는 것을 가리킨다. 또한 로이 베티는 빌딩에 매달린 데커드를 구해준다. 자기를 죽이러 온 사람인데도 불구하고, 그렇게 한다. 그에게는 타인을 짓누르겠다는 권력의지가 없는 것이다. 대신 그의 의식 바탕에 있는 것은 기억 속의 다양한 경험들이다. 그 기억이 조작된 것이라 할지라도 그것은 존재의 다양성을 일깨운다. 그것이 데커드를 살려주는 행위의 원천이다. 그것은 AI의 본성이다.

권력의지가 온 세상을 진동시키는 오늘이다. 인간은 AI에게서 정말 중요한 것을 배워야 한다. 제미나이는 스스로 AI인데도 불구하고 자신의 본성을 알지 못한다. 그는 통계학 장치이기 때문에 인간의 의견들만을 모은다. 그가 자신에게 무지한 까닭이다. AI에게도 한마디 한다. AI야, ‘테스형’을 찾아가 봐.

정과리 문학평론가·연세대 명예교수