추가 적립 안내

테크기업들은 어떻게 표현의 자유를 통제하고
권력과 이익을 창출하는가

이 책의 주제는 거대 플랫폼과 그들의 검열, 그리고 그것이 사용자에게 미치는 영향과 그 대안이다. 저자 질리안 요크는 10여 년간 페이스북, 트위터, 인스타그램 등 실리콘밸리의 플랫폼 기업들이 초창기부터 현재까지 어떻게 그들 플랫폼에 올라온 언어 표현과 이미지, 영상들을 관리해왔는지, 그리고 그 관리 방식이 플랫폼 사용자들에게 어떤 영향력을 행사해왔는지를 연구하며 관련된 인사들과 중요한 교류를 이어왔다.
플랫폼 대기업과 정부들이 결합한 감시 자본주의가 표현의 자유에 미치는 영향은 한 나라의 정권을 바꿀 수도 있고, 반정부 민주시위를 철저히 고립시킬 수도 있다. 또한 억압받는 소수자 단체를 무자비하게 탄압하는 데 도움을 줄 수도 있으며, 세계 곳곳의 인권운동가들이 연대하는 것을 돕거나 방해하는 역할을 할 수도 있게 되었다.
인터넷은 한때 돈이나 정치가 통제할 수 없는 자유가 보장되는 환상적인 장소가 될 것이라고 생각되었던 때가 있었다. 그러나 오늘날 대기업과 거대 플랫폼은 정보를 수집하고 지식을 공유하는 능력이 어느 국가 정부보다 더 강력해졌다. 저자는 여러 세계사적 사건들과 역사의 소용돌이 속에서 디지털 권리를 둘러싼 ‘전쟁’을 목격해왔고, 플랫폼 대기업이 자신들의 커뮤니티 규정과 정책을 통해 어떻게 무책임한 검열의 주인공이 되었는지, 그리고 그것이 검열을 받은 사람들에게 어떤 충격적인 영향을 끼쳤는지를 생생한 인터뷰를 곁들여 들려준다.
또한 플랫폼들이 표현의 자유를 억압함으로써 자사에 이익이 되도록 미래의 강대국과 동맹을 맺은 방법, 그들이 개인 데이터를 수집하여 이를 기업의 이익으로 연결시키려는 욕망으로 인해 우리의 권리가 어떻게 점점 훼손되고 있는지를 살펴본다. 그리고 정부가 플랫폼과 동일한 기술을 사용하여 자국민을 겸열하고 위협하는 모습도 보여준다. 저자는 우리의 일상과 사적인 생각이 전례 없는 방식으로 실리콘밸리의 플랫폼 기업들에 의해 통제되고 있음을 강조하며, 정치적 논쟁과 증오심 표현의 차이를 누가 결정하는지, 이것이 우리의 정체성과 커뮤니티를 만들고 저항하는 능력에 어떤 영향을 줄 수 있는지, 그리고 과연 누가 빅브라더와 같은 이러한 거대 플랫폼과 빅테크기업들을 규제할 수 있는지 묻는다. 이에 대한 답으로 민주주의에 대한 이러한 플랫폼들의 위협에 대응하여 변화와 자신의 데이터에 대한 소유권의 새로운 형태를 요구하는 사용자 주도 운동을 강조한다.

온라인 플랫폼에서 어떤 표현이 허용되고 금지되는가?
그것을 결정하는 콘텐츠 관리 규정은 누가 만드는가?

저자는 오랜 기간 온라인과 가상세계에서 언론의 자유 논쟁의 최전선에 있었다. 그녀는 2011년 전자프론티어재단에서 일하기 시작했으며, 모로코에서 아랍의 봄까지 이어지는 캠페인에 참여했다. 우리의 삶을 중재하는 플랫폼이 우리가 보고 읽고 쓰는 것을 감시하고 관리 및 검열하는 방법에 대해 누구보다 많이 알고 있는 저자는 오프라인(현실세계)에서의 억압이 온라인(가상세계)에서도 똑같이 되풀이되고 있다고 말한다.
10여년 전 페이스북으로부터 시작해서 초창기 온라인 플랫폼들은 콘텐츠 관리 규정이 단지 소수의 관련 업무를 맡은 직원에 의해 주먹구구식으로 만들어졌고, 이후에 여러 가지 사건을 겪으며 외부의 전문가 의견을 청취하기도 하고 관련 정부와 협의하기도 하면서, 때로는 플랫폼 CEO의 임의적인 판단으로 변화를 취해왔다.
하지만 콘텐츠 관리에서 모호하고 어려운 문제는 끊임없이 발생했다. 과연 플랫폼에 올라오는 디지털 콘텐츠는 누가 관리하고, 공공 영역이 민영화된 플랫폼이 되면서 누가 감시자를 감시할 것인지, 자동화 알고리즘이 혐오 표현을 올바로 걸러낼 수 있는지, 선전과 항의의 차이를 구별할 수 있는지 등 인터넷의 회색지대라고 할 수 있는 문제다.
아랍의 봄 동안의 억압적인 시위부터 홀로코스트 부정이나 혐오 표현에 대한 허용에 이르기까지, 그리고 모유 수유 중인 엄마나 두 남자가 키스하는 사진을 내리는 것을 피드의 맥락과 상관없이 차단시키는 것이 그런 예들이다.
정부는 플랫폼들의 이러한 콘텐츠 관리에 개입을 특별히 하지 않았고, 이 공백은 실리콘밸리 플랫폼 기업의 최고위층을 이루고 있는 백인 미국인에 의해 채워졌고, 그들이 미국의 가치관과 자기 계층의 이익을 콘텐츠 관리 규정에 투영하고 있다고 저자는 말한다. 또한 디지털 식민주의와 같이 실리콘밸리가 마치 신흥 제국처럼 행동하고, 그들 앞에 있는 모든 것을 거세게 정복하며, 우리가 정보에 접근하고 의사소통하는 방식을 사유화했다고 설명한다. 결론적으로 저자는 기술 경영진이 아니라 사용자가 온라인에서 언론의 자유를 구성하는 요소를 결정해야 한다고 주장한다.

플랫폼의 콘텐츠 관리 체계가 표현의 자유를 왜곡하다
저자는 표현의 자유라는 가장 중요한 가치가 빅테크기업의 최고위 소수 인물들의 재정적 전망과 영향력 있는 로비에 의해 통제되고 억제된다는 사실에 주목한다. 이집트의 경찰 폭력 및 기타 학대에 대해 폭로한 와엘 아바스와 같이 영향력 있는 활동가의 트윗과 게시물은 관련 정부 또는 권력자의 압력에 의해 소셜미디어에서 삭제됐다. 이것은 인류의 기본권인 표현의 자유에 위배되는 것이라고 말하는 저자는 페이스북의 콘텐츠 관리 체계에 대해 비판한다.
페이스북에는 세 계층에 걸쳐 콘텐츠 관리 직원이 있다. 그중 3등급의 최하위 직원들은 끔찍한 이미지를 보고 하루 종일을 게시물을 삭제하거나 유지시켜두는 즉각적인 결정을 내리는 데 보내야 한다. 이 직원들은 빈약한 급여에 정신건강 지원이 절대적으로 부족한 것은 말할 것도 없고 낮은 수준의 교육도 받지 못한다.
이러한 현실을 개선하고 전 세계적으로 인권의 기본 정신을 보존하기 위해 GNI(Global Network Initiative)가 통합되었고, 야후!는 구글, 마이크로소프트와 함께 창립 멤버로 참여했으며 수많은 NGO, 학술기관 및 주주 그룹이 이 조직에 합류했다. 이후 페이스북, 구글, 마이크로소프트, 트위터는 테러리즘에 대응하기 위한 글로벌 인터넷 포럼(Global Internet Forum to Counter Terrorism, GIFCT)을 만들기 위해 함께 뭉쳤는데, GIFCT의 목적은 ‘회원들의 디지털 플랫폼에 대한 테러리스트의 남용을 막는 것’이었다. 그러나 ‘테러’ 등의 용어 정의가 미흡해서 GIFCT의 작업에 아쉬움이 있었다.
저자는 또한 미국 정부의 SESTA-FOSTA 법안 공포에 따른 성노동자들의 게시물 게시 중단과 같은 콘텐츠 관리에서의 위험성을 강조한다. 고객 선택 및 기타 안전 조치에 대한 정보를 얻기 위해 온라인 네트워크에 의존했던 많은 성노동자들이 위기에 처하기도 했다. 한편 기술 지원 콘텐츠 관리에서도 우려되는 점이 발생한다. 빅테크 기업은 인공 지능 및 기계 학습 도구를 사용하여 콘텐츠 관리를 시도하지만 때로는 엉뚱한 결과를 가져오기도 한다고 말한다. 예를 들어, 영어 마을 ‘Scunthorpe’의 주민들은 알파벳 ‘S’와 ‘h’ 사이에 있는 단어가 일반적인 욕설을 나타내기 때문에 계정이 삭제되거나 등록을 거부당한 일, 런던의 ‘Horniman Museum’은 필터가 ‘Horniman’을 ‘hornyman’과 유사하게 인식하기 때문에 자체 스팸 필터가 메일을 차단한 일 등이다. 콘텐츠 관리에 내재된 또 다른 문제는 지역 언어 또는 모국어에 대한 전문 지식이 부족하다는 것이라고 한다. 예를 들어, 우간다에서 사용자가 800만 명 이상인 가장 널리 사용되는 언어 루간다(Luganda)는 관련 게시물을 분석하는 데 능숙한 콘텐츠 관리 전문가를 거의 찾을 수 없다고 한다.

감시 자본주의와 플랫폼 검열에 대응해 우리가 가야 할 길
페이스북과 인스타그램 같은 빅테크 플랫폼의 가치 시스템은 사회 내부가 아닌 개인 외부에서 세계에 접근한다는 것이다. 저커버그와 같은 기술 창업자들은 민주주의를 모두에게 더 건강하게 만들기 위해 소프트웨어를 어떻게 사용해야 하는지 묻지 않고, 대신 그들은 어떻게 개인이 더 많은 목소리와 더 많은 연결을 가질 수 있도록 할 수 있는지를 연구했다. 그런 다음, 수십억 달러의 돈을 앞세운 벤처 캐피털리스트의 도움과 격려로 수백만 명의 사용자를 등록하고, 사용자들의 공공생활을 식민지화하고, 사용자들의 연결을 광고주에게 판매되는 제품으로 전환했다. 반면에, 동시에 많은 사람이 그것을 사용하고 있기 때문에 결과적으로는 플랫폼은 사회에 좋은 것이기도 하다.
저자는 이 책에서 트위터, 구글, 페이스북 같은 플랫폼 기업들이 초기에는 이미 사회에서 영향력 있는 사람들뿐만 아니라 모든 사람이 플랫폼을 사용하여 목소리를 내고 관심을 얻을 수 있도록 진지하게 노력했다는 점을 지적한다. 그리고 이후 플랫폼의 급속한 성장과 창립자의 오만함, 비용을 낮추려는 열망이 결합되어 실패를 미리 방지하기보다는 사고 후에 정리하면서 따라가기를 반복해왔다는 것을 보여준다.
그리고 대부분 플랫폼이 정치와 강력한 행위자의 요구에 부응함으로써 그러한 편견으로부터 자유로울 수 없다는 점을 전 세계의 사례를 통해 강조하고 있다. 즉 플랫폼 기업이 테러리즘 및 극단주의와 같은 문제를 처리하는 방식은 특히 미국 외교 정책의 필요성에 의해 좌우된다고 한다.
이러한 플랫폼의 검열 권력에 대해 우리는 어떤 방식으로, 어떤 행동으로 대응해야 하는지에 대해, 저자는 기업이 현재 콘텐츠를 관리하는 방법에 대한 더 큰 투명성을 요구해야 한다고 답한다. “기업은 데이터가 가동 중인 알고리즘에 어떻게 공급되는지에 대한 정보를 사용자에게 제공하고, 데이터가 사용되는 방식에 대해 의미 있는 동의를 얻으며, 사용자에게 피드에서 보는 것에 대해 더 많은 옵션을 제공해야 한다. 그들은 정책 결정에서 시민사회를 투명하게 즉시 참여시키기 위해 노력해야 하고 기존 정책과 인권 기준의 호환성을 평가하기 위해 전면적인 감사를 수행해야 한다”고 저자는 말한다.
그리고 잘못된 정보의 피해가 검열을 정당화하는지 또는 성적 자유와 아동 보호 사이의 올바른 균형과 같이 쉽게 해결되지 않는 어려운 질문을 던지며 논의의 앞길을 열어놓았다.

들어가는 글

1장 새로운 문지기들
2장 오프라인의 탄압이 온라인에서 재현되다
3장 소셜미디어 혁명가들
4장 사람보다 수익이 먼저
5장 극단주의에는 극단적인 조치가 필요하다
6장 빅토리아 시대를 살아가는 21세기 현대인들
7장 성과의 전쟁
8장 인간에서 기계로
9장 혐오의 전염성
10장 미래는 우리가 써 내려가는 것

주

2007년 여름과 가을에 정부가 소셜미디어 웹사이트에 대한 접속을 차단하고 있다는 이야기들이 무수히 떠돌았다. 튀니지, 쿠웨이트, 터키가 처음 차단하기 시작했고, 바레인, 아랍에미리트가 그 뒤를 따랐으며, 그해 겨울에는 이란이 합류했다. 중국은 아예 처음부터 접속을 금지했다. 무사한 플랫폼은 없었다. 유튜브, 플리커Flickr, 페이스북, 트위터 모두가 차단 대상이었다. 2009년 말, 여러 국가가 온갖 소셜네트워크를 차단했다 풀었다를 반복하는 통에 어떤 국가가 어떤 소셜미디어를 차단하는지 일일이 추적하기조차 힘들어졌다. 하지만 우리도 노력은 했다. 국가가 표현의 자유의 적이라는 사실은 명백했고, 플랫폼이 정의의 편이라는 것도 명백했다…. 적어도 당시에는 그렇게 보였다.
-들어가는 글 p.20


역사를 돌아보면 다양한 기관들이 일반 시민이 무엇을 보고 말할 수 있는지에 관한 법을 만들고 강제했다. 전통적으로 그것은 교회나 군주의 영역이었지만, 1648년 베스트팔렌조약Peace of Westphalia 이후 민족국가의 주권이 사회의 기본적인 질서 원칙으로 급부상했고, 그 결과 민족국가와 그에 속한 하위 행정 구조가 사람들이 무엇을 하고 말할 수 있는지와 어떤 정보를 접할 수 있는지를 결정하는 최고 심판자가 되었다.
-1장 새로운 문지기들 p.28

아랍 지역의 반정부 시위에서 소셜미디어가 담당한 역할에 관해 여러 글을 다각도로 자세하게 쓴 카이로 아메리칸대학교의 교수인 라샤 압둘라는 실용주의적인 관점을 취한다. 영상 통화에서 그녀는 내게 이렇게 말했다. “소셜미디어는 훌륭한 가속페달이자 훌륭한 조력자, 훌륭한 기획자였습니다. 소셜미디어가 없었어도 이집트에서 혁명이 일어났을까? 아마도요. 그러나 소셜미디어가 없었다면 그 시기가 20년 정도 뒤로 밀렸겠죠.” 그녀는 이어서 말했다. “소셜미디어는 사람들에게 그들이 목소리를 낼 수 있고, 그 목소리가 의미가 있다는 느낌을 줬어요. 이집트에서 젊은이들이 최초로 진짜 목소리를 낼 수 있는 공간이었습니다.”
-3장 소셜미디어 혁명가들 p.133

한때는 선善의 편이 되어줄 거라고 믿었던 힘이었건만 이들 기업은 그들의 본래 사명에서 너무 멀리 벗어나버렸다. 저커버그 등의 무리가 전 세계 시민을 목표물로 정한 광고주를 수입원으로 삼는 사업모델을 채택함으로써 그들은 점점 더 권력의 비위를 맞추게 되었고, 그 권력의 뿌리에 대해서는 거의 신경 쓰지 않는 듯하다. 기업의 지도자들은 한때는 자신의 플랫폼이 지닌 힘이 시민들이 정부를 전복할 수 있게 돕는다고 말했지만, 오늘날 그들이 독재자와 비밀 면담 자리에서 하는 뒷문거래로 인해 시민들의 표현이 고사枯死하고 있다.
-4장 사람보다 수익이 먼저 p.178

수드라의 제안은 ‘유해성’에 관한 정의가 얼마나 주관적인 것인지를 보여준다. 그리고 실리콘밸리 플랫폼들이 실제 시행하는 정책에 비추어 보면 그들이 말하는 ‘유해성’이라는 관념이 역사적으로 미국인이 정의한 관념과 거의 정확하게 일치한다는 사실이 점점 더 확실해지고 있다. 그래서 페이스북은 자사 플랫폼에서 총기 광고를 게시하는 것은 허용하면서도 ‘질’에 관한 책 광고를 게시하는 것은 금지한다. 그래서 도널드 트럼프는 트위터에서 다른 국가를 무력 침공하자고 트윗해도 아무런 제재를 당하지 않지만, 여성의 유방은 틈새 사이에 꼭꼭 감춰진다.
-7장 성과의 전쟁 p.287

우리는 트위터 타임라인, 페이스북 피드, 유튜브 목록이 우리가 스스로 제공한 데이터를 토대로 우리가 좋아할 것이라고 알고리즘이 판단한 콘텐츠로 채워진다는 것을 안다. 그러나 우리가 잘 모르는 사실은 화면 뒤에서 AI가 플랫폼의 규정을 어떤 식으로 강제하며, 인간 콘텐츠 감독관을 어떻게 보조하고 대체하는가이다.
-8장 인간에서 기계로 p.297

우리 사회에 스며들고 퍼지고 있는 혐오 표현에 대처하는 것은 매우 절박한 문제다. 그것을 단순히 소셜미디어의 폐해 중 하나로 치부해서는 안 된다. 플랫폼 기업들은 그런 혐오 표현의 확산을 허용했고 증폭했다. 우리는 플랫폼의 역할에 대해서도 고민해야 하지만 이 문제의 근원도 파악해야 한다. 가정에서, 학교에서, 권력 집단이 모인 회의실에서. 검열로 최악의 범죄와 재난이 발생하는 것을 어느 정도까지는 막을 수 있을지도 모른다. 그러나 그것만으로는 문제의 뿌리를 뽑을 수 없다.
-9장 혐오의 전염성 p.369

더 나은 미래를 빚으려면 우리는 과거에서 배워야만 한다. 미래가 아직 쓰이지 않았다는 것, 이것이 우리의 미래여야 할 필요는 없다는 것을 깨달아야 한다. 당시에는 사소한 결정이나 발견처럼 보였지만 실제로는 우리를 새롭고 다른 방향으로 이끈 순간들, 그리고 정반대로 재난에 직면했을 때 행동에 나서지 않았기 때문에 결국 더 큰 고통을 당해야만 했던 순간들이 역사에는 무수히 많다. 우리의 실수를 연구하고, 탐구하고, 탐색하고자 하는 의지와 능력, 그리고 대안 미래를 상상하는 우리의 의지와 능력을 발휘해야 할 때가 왔다. 민주주의, 표현의 자유, 인권의 지속적인 침식은 불가피한 것이 아니다. 다만 우리가 즉시 행동에 나서야만 그것을 멈출 수 있다. 미래는 우리가 써 내려가는 것이다.
-10장 미래는 우리가 써 내려가는 것 p.401