추가 적립 안내

텍스트 기반 검색 시스템의 구축과 활용!

코퍼스는 언어의 빅데이터이다. 이미 1990년대 초반에 코퍼스를 이용하여 언어의 여러 특성을 밝히는 연구가 시작됐다. 지금은 코퍼스 기반 언어 연구가 연구 방법론의 트렌드를 이루고 있다. 『빅데이터 시대의 언어 연구』는 이런 배경에서 텍스트를 다루는 사람이라면 누구나 디지털화된 텍스트를 CWB 검색 시스템으로 직접 구축할 수 있도록 안내한다. 더 나아가 검색엔진을 이용하여 여러 가지 정보를 추출하여 활용하는 방안을 제시한다.

이 책이 대상으로 한 언어는 영어와 한국어, 독일어, 프랑스어, 스페인어, 인도네시아어이다. 또한 파생어, 연어관계, 구문과 어휘의 상관관계, 텍스트의 핵심도 및 문서유사도 등의 언어현상을 연구 대상으로 삼았다. 코퍼스로부터 추출한 빈도와 용례를 기초로 하여 6개 언어에 대해 여러 층위이 언어현상을 분석하고 필요에 따라 Perl 스크립트와 R 스크립트를 이용하여 통계적 분석을 추가했다.

언어 빅데이터와 디지털 기술이
언어학 연구의 도구와 양상을 바꾼다!
역대 대통령들의 취임사를 언어기호의 사용과 빈도 데이터를 기준으로 분석하면 흥미로운 결과가 나온다. 김대중 대통령과 노무현 대통령의 취임사가 가장 근접성이 높다. 그런데 놀랍게도 박근혜 대통령의 취임사는 이 두 대통령의 취임사와 높은 근접성을 나타낸다. 이로써 정책 비전의 제시에서 보수와 진보라는 이념적 기준이 절대적으로 작용하기보다는 시대정신이 핵심적 역할을 수행함을 엿볼 수 있다.
이런 분석은 어떻게 가능할까? 대통령 취임사라는 ‘언어 집합체’를 컴퓨터 기술을 활용해 파고든 결과이다. 구체적인 언어생활을 통해 형성된 일종의 언어학적 빅데이터를 기반으로 삼음으로써 다양한 언어학 연구를 할 수 있게 된 것이다.
현대인의 실제 언어생활은 그 자체로 빅데이터이다. 특히 한 편의 연설, 시집이나 소설책 1권 등과 같이 일정한 분량과 체계를 갖춘 말의 덩어리는 그 속에서 여러 언어 특성을 추출하고 분석하는 기반이 된다. 이런 말의 덩어리를 코퍼스(corpus)라 하는데 이를 디지털 기술과 도구를 통해 언어학 연구에 활용할 수 있다. 코퍼스를 기반으로 하는 언어 연구에서는 검색 엔진의 구축이 필수적이다. 이 책은 언어학 연구자가 자신의 연구 목적에 맞게끔 검색 엔진을 만들고 활용할 수 있도록 돕는다. 또한, 다양한 연구 분야에 걸쳐 상세한 방법론과 함께 다양한 사례를 제시함으로써 연구에 체계적으로 적용할 수 있도록 했다.

[출판사 서평]
언어학적 관점에서 박근혜 대통령의 취임사는
김대중 · 노무현 대통령의 취임사와 근접성이 높다!
현대 사회를 빅데이터 시대라 한다. 디지털 환경을 살아가는 현대인들은 일상을 통해 엄청난 양과 다양한 종류의 흔적을 남기는데 이것의 분석을 통해 여론과 정서, 행동 양상과 변화의 흐름을 파악할 수 있다. 사람들의 언어생활에서도 수없는 빅데이터가 생성된다. 언어학에서의 빅데이터는 ‘말뭉치’ 또는 ‘코퍼스(corpus)’로 불린다. 이것은 말 그대로 말의 뭉치를 뜻하는데, 한 덩어리로 볼 수 있는 언어의 집합체로 보면 된다. 언어학에서는 “일정 분량 이상이 되고 내용상으로 다양성과 균형이 확보된 언어 자료의 집합체”로 정의하고 있다.
이러한 코퍼스를 발전된 컴퓨터 기술을 통하여 분석함으로써 언어 사용의 양상과 현실 등 언어학 연구를 위한 유용한 자료를 체계적으로 획득할 수 있다. 1990년대 초반 이후로 코퍼스를 이용해 언어의 특성을 밝히는 연구가 연구방법론의 중요한 트렌드를 형성하고 있다.
코퍼스 기반 언어 연구에서는 디지털화된 언어 텍스트를 검색하고 분석하는 기능이 핵심이 되며 이를 위한 검색엔진 구축이 매우 중요하다. 그런데 언어학 연구자에게 검색엔진을 직접 만드는 일은 생소하게 느껴지는 분야이다. 이런 점에서 『빅데이터 시대의 언어 연구』(이민행 지음, 21세기북스)는 언어학 연구자에게 매우 유용한 지식을 선사한다. 쉽고 체계적으로 디지털화된 텍스트를 CWB 검색 시스템으로 구축할 수 있는 방법론을 제공하기 때문이다. 그리고 이 검색 시스템을 통해 다양한 정보를 추출하고 활용하는 방안과 사례를 함께 제시한다. CWB는 독일 슈투트가르트대학에서 개발하여 오픈소스로 공개한 코퍼스 작업대(Corpus WorkBench)를 줄여서 말한 것이다.
이 책은 6개 언어(영어·한국어·독일어·프랑스어·스페인어·인도네시아어)를 대상으로 삼아 파생어, 연어 관계, 구문과 어휘의 상관관계, 텍스트의 핵심도와 문서 유사도 등의 언어현상을 탐구한다. 또한 코퍼스로부터 추출한 빈도와 용례를 기초로 하여 6개 언어에 대해 여러 층위의 언어현상을 분석했으며 필요에 따라 Perl-스크립트와 R-스크립트를 이용하여 통계적 분석을 추가했다.
공연구조적 분석, 변별적 공연어휘소 분석, 군집분석 및 대응분석 방법론 등의 연구방법론을 적용한 이 연구서는 일반 언어학자들과 외국어 교육자들이 자신들의 연구나 교육에 필요한 다양한 데이터 및 용례를 효율적으로 추출하는 데 유용한 지식을 제공해줄 것이다.

책머리에

1 서론
2 CWB 기반 코퍼스의 구축 방법: 단일어 코퍼스, 통합 코퍼스, 병렬 코퍼스
2.1 단일어 코퍼스의 구축 방법
2.2 통합 코퍼스 MILCA의 구축 방법
2.3 병렬 코퍼스 FA-EN/FA-KO의 구축 방법

3 CQP 검색언어의 이해
3.1 기본 검색식의 활용
3.2 정규 표현식의 활용
3.3 고급 검색식의 이해

4 영어 분석
4.1 어휘 층위의 통계적 분석
4.2 파생어 연구
4.3 연어관계 연구
4.4 구문과 어휘의 상관관계

5 한국어 분석
5.1 어휘 층위의 통계적 분석
5.2 파생어 연구
5.3 연어관계 연구
5.4 구문과 어휘의 상관관계

6 독일어 분석
6.1 어휘 층위의 통계적 분석
6.2 파생어 연구
6.3 연어관계 연구
6.4 구문과 어휘의 상관관계
6.5 텍스트의 핵심도와 문서유사도

7 다중언어 코퍼스 MILCA의 활용
7.1 프랑스어 분석
7.2 스페인어 분석
7.3 인도네시아어 분석

8 종합

참고문헌
부록
찾아보기

CWB 기반 코퍼스는 몇 가지 장점을 가지고 있다. 그중의 하나는 대용량 데이터를 처리할 수 있는 효율적인 검색 시스템 CQP를 내장하고 있다는 점이다. 이 검색 시스템은 2GB까지 처리 가능하다. 두 번째 장점은 유니코드를 지원하기 때문에 여러 언어의 코퍼스 구축을 가능하게 하여 언어 보편적으로 활용된다는 것이다. 세 번째 장점은 원천 텍스트의 포맷을 폭넓게 수용하기 때문에 부가되는 언어적 정보에 있어 차이가 있는 자료들도 하나의 코퍼스로 통합할 수 있다는 데서 찾을 수 있다. 넷째는 검색 시에 정규 표현식을 지원한다는 장점을 갖는다. 이러한 여러 가지 장점 때문에 많은 언어들이 이미 CWB 기반 코퍼스로 구축되어 웹을 통해 서비스되고 있다. 예를 들어 BNCweb이라는 이름으로 웹상에서 서비스되고 있는 영어 코퍼스 BNC는 바로 CWB 기반 코퍼스이다. (22쪽)

위의 예에서 확인할 수 있듯이 존재를 표현하는 ‘there’와 함께 한 문장 내에 나타나는 동사들 가운데 출현빈도가 높은 것은 ‘seem’, ‘appear’, ‘remain’이다. 이 통계를 뒷받침하는 용례들 가운데 일부는 앞서 50에 제시된 바 있다. 위의 검색식 60에 쓰인 준거점(target) 바로 뒤에는 ‘hw’가 나타나 있는데, ‘hw’ 대신에 ‘word’나 ‘pos’ 등 위치속성이 쓰일 수도 있다. 이와 관련한 선택은 검색을 통해 달성하고자 하는 검색의 목적과 결부되어 있다. (91쪽)

이 표에 따르면 소통동사(vc4), 심리동사(vc9) 및 사회관계동사(vc13) 부류가 into 사역구문과 공연하는 정도가 매우 높은 것으로 나타난다. 이 부류의 동사들은 워드넷 내에서의 평균값과 비교하여 2∼3배 정도 자주 이 구문에 출현한다. 선구적으로 이 구문에 대한 연구를 시작했던 Huston·Francis (2000)에서도 frighten, scare 및 terrify 등 부정적인 심리동사들이 이 구문을 매우 선호한다는 점을 지적한 바 있다. 이들은 이외에도 coax나 charm 등 비이성적인 설득을 시도하는 소통동사와 force나 coerce 등 강요를 의미하는 동사들도 이 구문에 빈번히 나타난다는 사실을 밝혀낸 바 있다. (222쪽)

다음으로 괴테가 요한나 쇼펜하우어와 가장 가깝다는 점도 이목을 끄는데, 둘 다 여행기를 쓴 문학가라는 점에서 공통점을 찾을 수 있다. K?hler(1999)에 따르면, 요한나 쇼펜하우어가 1806년부터 1828년까지 바이마르에서 문학살롱을 운영하였고 괴테는 살롱의 주요 참석자였다. 교육열이 높은 한국인의 시각에서 보자면, 철학자 쇼펜하우어의 어머니는 아들의 교육을 위해서 문화교육도시 바이마르로 이사를 해 당대 최고 지성인들과 친교를 맺은 것으로 해석할 수 있다. 어머니의 지혜로운 결정에 의해 쇼펜하우어는 위대한 철학자의 반열에 오른다. 곧 요한나 쇼펜하우어는, 아들의 교육을 위해 3번이나 이사를 한 맹자의 어머니와 비교될 만하다.
또한 Brewer(2002)는 요한나 쇼펜하우어의 장편소설 『가브리엘레(Gabriele)』가 괴테의 작품 『빌헬름 마이스터의 편력시대』에 영향을 미쳤다고 주장한다. 더 나아가 빌헬름 폰 훔볼트와 루소가 어떤 관심사를 공유한 것으로 나타난다. 이에 대해서도 심층적인 연구가 필요하지만, 문득 드는 생각은 두 저자가 모두 ‘교육’ 문제에 몰두한 적이 있다는 사실이다. 알렉산더 폰 훔볼트와 다윈은 지질학자이자 탐험가라는 공통점을 갖기 때문에 텍스트들도 자연 유사성을 보인 것이라고 할 수 있다. 일반 대중의 시각에서 볼 때 13인의 문서유사도가 흥미로운 점은 텍스트적 관점에서는 친구 간(괴테와 쉴러)이나 모자 간(요한나 쇼펜하우어와 아르투어 쇼펜하우어) 혹은 형제 간(알렉산더 폰 훔볼트와 빌헬름 폰 훔볼트)도 모두 남남이라는 사실일 것이다. (385~387쪽)

각 언어의 코퍼스를 활용하여 분석을 시도하는 영역은 크게 네 가지다. 어휘 층위의 통계적 분석, 형태론 층위, 연어관계 및 구문과 어휘의 상관관계이다. 코퍼스로부터 추출한 빈도와 용례를 기초로 하여 6개 언어에 대해 각 영역과 관련된 언어현상을 분석했다. 필요에 따라 Perl 스크립트와 R 스크립트를 이용하여 분석을 더 깊이 있고 넓게 만들었다. 누적백분율을 구할 때와 영어 워드넷(WordNet)의 명사 의미부류 체계와 동사 의미부류 체계를 이용하여 심화분석을 시도할 때 Perl 스크립트를 실행했다. 한편 구문과 어휘의 상관관계를 분석하고 문서유사도를 구할 때와 단어구름을 그릴 때에는 R 스크립트를 실행시켰다. (447쪽)