“불투과성은 영혼의 본질에 속한다. 영혼의 내부를 훤히 비춘다면 영혼은 불타 버릴 것이며 특별한 종류의 소진 상태에 빠지고 말 것이다. 오직 기계만이 투명하다.”(한병철 ‘투명사회’)

“문제는 그 인공지능(AI) 시스템은 인간의 눈으로 속을 들여다볼 수 없는 불투명한 블랙박스라는 점이다. 우리는 이런 과정이 이뤄지는 내내 자신이 ‘속한’ 부족이 무엇이며, 자신이 왜 그런 부족에 포함됐는지에 대해 거의 알지 못할 것이다. 기계지능(machine intelligence), 다른 말로 인공지능의 시대에 거의 모든 변수는 미스터리로 남게 된다.”(캐시 오닐 ‘대량살상 수학무기’)

이성의 빛이 닿지 않는 영혼의 수수께끼는 사라졌다. 알고리즘이 비추는 디지털의 환한 전자광은 인간의 영혼을 낱낱이 발가벗긴다. 인간의 영혼은 ‘더는 숨을 곳이 없다’.

당신의 영혼은 오로지 데이터의 덩어리로서 존재하며 조각조각 해부돼 수학에 의해 ‘모형화’되고 특정한 집단(부족)으로 끊임없이 분류된다. 어떤 광고, 뉴스, 유튜브 콘텐츠, SNS 메시지를 터치 혹은 클릭하는 당신의 손길은 현대세계를 주관하는 ‘알고리즘의 신’에게 당신 자신도 모르는 당신 영혼의 비밀을 고백하는 ‘고해성사’이자 앞으로도 똑같은 종류의 축복을 갈구하는 ‘기도’이며, 어디에 어떤 모습으로 있을지 모르는 또 다른 신도끼리의 ‘신앙공동체’를 향한 열망이다.

저서 ‘피로사회’로 유명한 한병철 독일 베를린예술대 교수가 말했던 ‘영혼의 본질로서의 불투과성’은 전통적인 세계에서나 통할 법한 글귀가 되고 말았다. 이제 영혼의 본질은 ‘데이터’가 대체했으며 ‘불투과성(불투명성)’이라는 신성(神性)은 알고리즘이 입게 됐다.

하버드대 수학박사 출신의 학자이자 2008년 금융위기 전후 월스트리트 헤지펀드에서 ‘퀀트(수학 모델에 기반을 둔 금융 분석·상품개발 전문가)’ 전성시대를 겪은 데이터과학자 캐시 오닐은 “빅데이터의 시대, 알고리즘이 신을 대체했다”며 알고리즘은 ‘블랙박스’라고 했다. 그 누구도 그 속을 알 수 없다는 것이다. 구글, 애플, 네이버, 카카오, 유튜브 등의 알고리즘은 사용자들을 취향과 정치성향 등으로 끊임없이, 미세하게 분류하지만 어떤 기준으로, 어떤 원리로 그렇게 하는지는 아무도 알 수 없다는 얘기다. 매우 복잡하기도 하고 ‘영업비밀’이기도 하기 때문이다.

뿐만 아니라 알고리즘의 불투명성 자체가 역설적으로 효율성의 원천이기도 하고, 대규모 시장을 만들어낼 수 있는 이유이기도 하다. 블랙박스에 봉인돼 있는 알고리즘만이 이윤과 권력을 만들어낸다. 알고리즘은 ‘신(神)’이다. 만능이라는 점에서도 그렇지만 언제 어디에서나 존재하되, 어떤 뜻과 어떤 모습으로 임하는지 모른다는 의미에서 더더욱 그렇다.

‘발가벗겨진 영혼’과 ‘블랙박스에 봉인된 알고리즘’은 단지 인간적인 감상만을 자아내는 것은 아니다. 구글, 네이버, 유튜브 등 검색도구이든, 챗GPT나 바드 같은 언어 기반 생성형 인공지능(AI)이든, 일상적인 추론까지 가능한 범용인공지능(AGI·Artificial General Intelligence) 이든 핵심은 알고리즘이다. 문제는 수학 모형, 곧 알고리즘은 과거와 기존 패턴들이 반복될 것이라는 가정에 기반을 두고 있으며, 그래서 정의나 평등, 공정 따위에는 전혀 관심이 없다는 사실이다.

알고리즘은 이제까지 인간이 축적한 자료와 날마다 추적되고 기록되며 분류되는 인간 행위에 기반을 두는 한, 인간의 편견과 이데올로기를 벗어날 수 없다. 넷플릭스 제작 다큐멘터리 ‘알고리즘의 편견’의 원제는 ‘코드화된 편견(Coded Bias)’이다. 아무리 많은 데이터를 소스로 하든, 아니 더욱더 많은 데이터를 소스로 할수록 알고리즘은 사회의 갈등과 모순, 부조리를 강화할 가능성이 커진다. 지난 16일(현지시간) 미국 상원 법제사법위원회 사생활·기술·법 소위원회에서 미 의회로는 처음으로 연 ‘AI 청문회’에서 민주당 소속 리처드 블루먼솔 소위 위원장은 “AI는 희망적인 동시에 정보의 무기화, 불평등의 조장, 목소리 복제 사기 등 잠재적 해악도 품고 있다”며 “가장 끔찍한 것은 이 같은 새로운 산업혁명으로 수백만 일자리가 사라질 수 있다는 것”이라고 지적했다.

지난 3월 15일 이 칼럼에서는 우리 세계가 불행해지는 원인으로 크게 세 가지를 꼽았다. 부의 불평등으로 인한 경제의 양극화, 능력의 대물림을 위한 무한 교육경쟁, 정치의 적대적인 양극화다. 우리 삶은 이 세 가지 계기가 꼭짓점을 이루며 나선형으로 확장해가는 악마의 삼각 덫에 올려져 있다고 했다. 알고리즘이야말로 불행의 계기들을 나선형으로 확장해가는 주범이다. 현재까지는 말이다.

▶알고리즘은 당신을 더욱더 ‘당신답게’ 만든다=이제 누구든지 짐작할 수 있다. 네이버에서 ‘나이키’ 광고를 한 번 클릭하면 추천쇼핑 목록에 어떤 제품들이 올라올지 말이다. ‘손흥민’을 한 번 검색하면 다음엔 유튜브가 어떤 콘텐츠를 내 첫 화면에 띄울지 말이다. ‘김어준의 겸손은 힘들다 뉴스공장’을 봤던 사용자와 ‘신의 한수’를 시청했던 사용자의 온라인세상은 얼마나 다를지 말이다.

알고리즘은 당신을 더 ‘당신답게’ 만든다. 당신의 정체성과 취미, 소비 취향, 정치적 성향 등 당신을 이루는 모든 것이 점점 더 당신이 되도록 강화한다. 요컨대, 알고리즘에 의해 ‘코드화’된 당신은 ‘지금까지와는 다른 사람’이 될 기회를 영원히 잃어가게 될 것이다. 다른 취향을 배우고, 다른 정치적 선택을 할 가능성이 점점 줄어들 것이다. 가난한 사람은 더 가난하게 되고, 부자인 사람은 더 부자가 될 수밖에 없을 것이다. 이 말은 우리 사회가 ‘더 나은 사회’, 즉 더 공정하고 더 정의로우며 더 평등한 세상이 될 여지가 점점 더 없어진다는 뜻이다.

▶챗GPT 창시자의 대선 걱정, 데이터과학자의 ‘데이터경제 비판’=세계 각국의 AI에 대한 민간투자는 확대일로다. 미국 스탠퍼드대 인간중심인공지능연구소(HAI)가 집계한 2022년 기준 주요국의 AI 분야 민간투자 규모에 따르면, 미국이 474억달러(62조4300억원)로 가장 많고, 중국(134억달러), 영국(44억달러), 이스라엘(32억달러), 인도(32억달러) 순이다. 한국도 31억달러(4조830억원)로, 6위권이다. 그러나 최근 챗GPT의 등장을 계기로 규제론도 확산하고 있다.

챗GPT 개발사 오픈AI의 공동 창업자인 샘 올트먼 최고경영자(CEO)는 미국 의회의 AI 청문회에 출석해 AI의 정치적 위험성을 경고했다. “미국 대선이 가까워지고 기술이 점차 발전하는 상황을 고려했을 때 일 대 일로 상호 작용하는 AI 모델이 여론을 조작하거나 움직이고 거짓 정보를 제공할 수 있다는 점은 심각하게 우려되는 부분”이라고 했다.

가짜 뉴스로 인한 여론 왜곡과 조작, 유권자의 투표행위에 미치는 막대한 영향은 몇 년 전부터 국내외에서 광범위하게 나타났고, 통계적으로 검증된 것으로 보인다. 그러나 문제는 가짜 뉴스만이 아니다. 진짜 문제는 ‘선별된 팩트’와 중립적으로 보이는 ‘캠페인’에 있다. 소셜미디어는 사용자 각자의 취향과 성향대로 뉴스를 선별해서 보여준다. 온라인에서 국민의힘 지지자는 보수 이념의 정당성을 강조하는 콘텐츠와 민주당의 부정과 비리를 보도하는 뉴스를 더 많이 접하고, 더불어민주당 지지자는 유명 진보논객의 말을 더 많이 듣고 역대 보수 정당의 폐해를 다룬 동영상을 더 많이 볼 가능성이 크다.

플랫폼기업이 자사의 이익을 위해 특정 정치세력에 유리한 캠페인을 벌일 수도 있다. ‘대량살상 수학무기’에 따르면 페이스북의 데이터과학자들은 지난 2010년 미국 총선과 2012년 미국 대선 때 실험을 했다. 사용자들에게 자신이 투표했다는 사실을 페이스북에 널리 퍼뜨려 다른 이의 투표를 독려하는 것이었다. 페이스북은 6100만명 이상의 유권자를 대상으로 한 이 캠페인이 34만명의 유권자를 더 투표소로 불러들였다고 결론 내렸다. 또 페이스북 친구들의 투표 인증 메시지에 노출된 사용자집단과 어떤 투표 독려 캠페인에도 노출되지 않은 사용자집단을 대조한 실험에서는 2%의 투표율 차이가 난 것으로 분석됐다. 상대적으로 숫자가 미미한 것으로 보이지만 가장 최근의 미국 대선인 지난 2020년 선거에서 선거인단 11명이 걸린 애리조나와 16명이 걸린 조지아는 각각 1만여표 차이로 승부가 갈렸다. 이 두 곳을 포함해 위스콘신, 펜실베이니아, 노스캐롤라이나주는 두 후보의 득표율이 0~1%대였다. 가장 최근의 우리 대선에서 득표율 1, 2위 차이는 0.73%였고, 브라질 대선 결선투표에서는 1.8%였다. 만일 페이스북이 마음먹고 특정 정당에 유·불리한 지역을 선택해 선별적으로 투표 독려 캠페인을 한다면 결과를 바꿀 수 있다는 얘기다. 특정 정치성향을 보인 개인을 대상으로 선택적인 캠페인을 벌일 수도 있다. 그래도 페이스북 사용자들은 다른 사용자에게 무슨 메시지가 가는지 서로 알 수 없다. 끔찍한 가능성이다.

정치양극화뿐 아니라 경제양극화도 문제다. 캐시 오닐은 “수학 모형은 사회적 약자와 가난한 사람들을 차별하고 부자는 더욱더 부자로 만들어주는 경향이 있다”고 했다. 가난한 사람들의 데이터는 비우량 담보대출과 고이율의 ‘약탈적 대출 광고’가 표적이 된다. 그들의 데이터는 고이율의 대출금리와 불리한 보험료율로 연결되며, 좋은 직업을 가질 확률을 떨어뜨리고 실업이나 비정규 최저임금 일자리, 범죄집단의 유혹에 빠질 가능성을 키운다.

AI의 확산은 대니얼 마코비츠 예일대 로스쿨 교수가 ‘엘리트 세습’에서 말한 중산층의 붕괴와 엘리트 지위 세습을 위한 무한 교육경쟁을 가속화한다. 월스트리트저널의 최근 보도에 따르면, 미국 고용시장에서 대기업 관리직이나 사무직 종사자를 뜻하는 ‘화이트칼라’에 대한 수요가 꾸준히 줄어들 것이라는 예측이 나왔다.

▶정의와 윤리는 인간의 몫=경고는 요란하고, 진단은 장광설이지만 현재 대책은 알량하거나 혹은 간결하기만 하다. 다만 세계 각국과 국제사회에서는 AI기술과 사용 기업에 대한 규제 마련에 속도를 내고 있다는 점은 다행이다. 논의의 초점은 대체로 AI 위험성에 대한 분류 및 정의, 위험 수준에 대한 평가, 규제 법안의 마련, 국제적인 표준의 합의, 별도의 국제적·국가적 규제기구의 설치 등에 맞춰 있다. 지난 21일 히로시마에서 폐막한 ‘주요 7개국(G7) 정상회의’에서도 AI 규제는 주요 의제 중 하나였다. 일본 정부 발표에 따르면 회원국 정상들은 생성형 AI와 몰입형 기술에 대한 통제 필요성을 확인했다.

그러나 세계 각국에서 논란이 되고 있는 안면 인식기술을 활용한 치안정책이나 사법·행정 분야에서 개인정보 알고리즘의 활용 등 국가권력 스스로가 규제의 대상이 될 수 있는 상황에서 논의와 제도 마련이 얼마나 진척될지는 의문이다. 뿐만 아니라 AI기술 자체가 가장 혁신적인 이윤의 보고가 된 마당에 각국 정부와 기업들이 얼마나 적극적으로 규제에 나설지도 미지수다.

그러나 AI기술을 인간의 통제 아래 두지 않으면 인류가 파멸의 길로 들어설 수 있다는 위기의식은 업계와 전문가들 스스로로부터 나오고 있다. 캐시 오닐 박사는 알고리즘을 가리켜 인류의 삶을 파괴할 수도 있는 ‘대량살상 수학무기(WMD·Weapons of Math Destruction)’라고 했다.

알고리즘은 사용하기에 따라서 선이 될 수도, 악이 될 수도 있다. 정의와 공정, 공익은 인간이 주입하는 것이지, 알고리즘이 학습할 수 있는 성질의 것이 아니라는 것이 주요 전문가들의 지적이다.

무엇보다 AI 규제에서 가장 중요한 것은 모든 시민과 개인이 자신의 개인정보를 어떻게 어디에 쓰는지 알 수 있게 하는 것이다. 정부나 기업이나 개인정보 수집의 범위와 목적, 방식, 사용처를 투명하고 정확하게 공개하도록 해야 하며, 활용하기 위해선 반드시 본인의 승인을 얻게 해야 한다.

알고리즘이 차별적인 정보나 편견에 기반하고 있지는 않은지 감사하기 위한 제도도 필요하다. 취업이나 사회보장, 보험, 대출, 인사평가, 사법제도에 동원되는 자료와 알고리즘이 공정한지를 법적으로 평가하고 심사해야 한다.

마지막으로, 알고리즘과 AI기술의 공공성과 공익성을 강화해야 한다. 정치권력을 유지하기 위한 주민 통제의 수단이 되거나 다수를 착취해 소수만 살찌우는 맹목적 이윤의 도구가 되기 전에 재난·질병·사회갈등 등 인류의 숙제를 풀어내기 위한 ‘착한 기술’이 될 수 있도록 사회적 감시와 견제가 필요하다.