추가 적립 안내

현대적인 언어 연구는 언어자료 처리를 바탕으로 이론적인 주장을 경험적으로 입증하고자 한다. 따라서 실제 언어자료 처리는 기본적인 연구의 방법론이 된다. 이를 위해서 언어자료를 처리할 수 있는 기본적인 프로그래밍을 습득하는 것은 현대 언어학적 연구의 기본이 된다.

이 책은 현대 언어학의 요구에 부응하기 위하여 언어처리에 많이 활용되는 perl 프로그래밍의 기본을 설명하고, 아울러 다양한 프로그래밍 기법을 소개한다. 더 나아가 프로그래밍을 활용한 전산적인 언어 처리를 설명한다.

이러한 접근 방식은 언어학을 경험적으로 접근하는 이론 언어학의 연구, 전산적 처리를 대상으로 하는 전산언어학의 실질적인 연구 그리고 기본적인 언어 처리를 목적으로 하는 공학적인 연구의 기초를 제공하게 될 것이다.

"프로그램 작업은 또 하나의 세계이다. 그 곳은 때로는 거칠고, 가혹한 곳으로 목적과 대상만이 새로운 것을 분명히 만드는 곳이다."
이 서적에서는 Perl 을 통한 언어학적 연구를 설명하였다. 데이터 중심의 언어학적 연구를 하는 연구가에게 많은 도움이 되기 바란다. 이러한 언어학적 연구에 도움이 되는 몇 가지의 잔소리를 하고자 한다.
첫째, 언어에 대한 연구는 언어 데이터에 대한 연구이다.둘째, 언어학에 대한 연구는 실증적 경험적 연구가 동반되어야 한다.셋째, 언어 데이터는 매우 귀찮은 일을 해야 하는 '더러운 손'으로 가득 차 있으며, 다른 누군가가 대신 해주리라는 생각을 하지 말아라.넷째, 언어를 배우듯이 프로그래밍 언어를 배우면, Perl을 쉽게 배울 수 있다.다섯째, 언어학적 연구에 대한 결론을 나를 통해서 얻지 말고, 다른 사람들에게 검증이 되도록 하자.

서문

1부. 언어학과 Perl
1.1 프로그래밍이란?
1.2 언어학과 프로그래밍
1.3 Perl과 ‘더러운 손’
1.4 Perl 관련 사이트 및 관련 서적

2부. Perl 문법
2.1 스칼라 데이터
2.1.1 Hello World!!!
2.1.2 스칼라 데이터
2.1.3 연산자
2.1.4 간단한 입력과 출력
2.1.5 간단한 스칼라 데이터 처리 함수
2.1.6 연습문제

2.2 배열
2.2.1 배열이란?
2.2.2 배열의 활용
2.2.3 배열 내부 지시
2.2.4 배열 관련 함수
2.2.5 연습문제

2.3 제어구조
2.3.1 if/unless
2.3.2 while/until
2.3.3 do while/do until
2.3.4 for
2.3.5 연습문제

2.4 함수
2.4.1 서브루틴
2.4.2 서브루틴 호출하기
2.4.3 프로토타입
2.4.4 변수의 범위
2.4.5 인자 전달 방식
2.4.6 서브루틴 관련 함수
2.4.7 연습문제

2.5 해쉬와 레퍼런스
2.5.1 해쉬란?
2.5.2 해쉬의 구조
2.5.3 레퍼런스
2.5.4 데이터 구조
2.5.5 연습문제

2.6 파일핸들
2.6.1 열고 닫기
2.6.2 읽고 쓰기
2.6.3 파일 테스트
2.6.4 표준 입출력 및 인자
2.6.5 연습문제

2.7 패턴매칭
2.7.1 패턴매칭과 정규표현
2.7.2 문자열 검색
2.7.3 문자열 변경 및 치환
2.7.4 복잡한 패턴매칭의 형식
2.7.5 연습문제

3부. 언어 자료 처리와 Perl
3.1 정규식
3.1.1 상태기계
3.1.2 패턴매칭
3.1.3 Perl 모듈
3.1.4 연습문제

3.2 코퍼스 통계
3.2.1 빈도
3.2.2 N?gram
3.2.3 연습문제

3.3 용례찾기
3.3.1 용례찾기
3.3.2 연습문제

3.4 파싱
3.4.1 파싱이란?
3.4.2 Parse::RecDescent
3.4.3 연습문제

3.5 언어학적 연구를 위한 도움말

부록
색인

서문
언어학의 연구 대상은 언어 자료이다. 일상적인 언어 현상인 대화 자료나 소설이나 신문 같은 문어 자료를 다양하게 모으면 엄청나게 많은 양이 될 것이다. 언어 자료에 기반해 언어 현상을 연구하는 것은 대량의 언어 자료를 상대하는 일이다. 방대한 언어 자료를 사람이 일일이 처리하기에는 너무 많기 때문에 언어 자료 기반 연구에는 기계의 도움이 절실하다. 컴퓨터는 이러한 반복적인 작업을 매우 빠르고 정확하게 지정된 방식대로 수행한다. 그러나 컴퓨터를 활용하려면 컴퓨터에게 작업을 지시하기 위한 대화를 위해서 컴퓨터 언어를 배워야 한다.
이 책에서는 언어 자료 처리를 위한 프로그래밍 언어인 Perl을 소개한다. Perl은 텍스트를 다루기에 적합한 언어로 미국의 언어학자 Larry Wall이 개발한 프로그래밍 언어이다. 이 프로그래밍 언어의 개발 목적은 텍스트 처리 작업을 원활히 수행하고 보고를 위한 실용적인 것이다. Perl의 텍스트 처리 방식은 언어 자료의 처리 방식과 매우 유사하다. 이러한 연유로 텍스트 형태로 쓰여진 언어 자료를 처리하는 목적으로 Perl은 많이 활용된다. Perl 이외에도 다른 프로그래밍 언어가 많이 있지만 언어 자료 텍스트의 검색, 추출, 치환 등의 작업에는 Perl이 매우 강력한 힘을 발휘한다. 이외에도 Perl은 다양한 장점을 갖고 있다. Perl의 문법은 간단하기 때문에 프로그래밍에 문외한인 초보자도 쉽게 배울 수 있다. 또한 프로그램 개발 환경도 간단해서 쉽게 설치하고 구동할 수 있다. Perl 개발자들의 커뮤니티도 잘 발달되어 있어서 프로그램 개발시에 많은 도움을 받을 수 있다. 이런 개발자 커뮤니티는 웹을 중심으로 발전하였는데, 개발에 직접적인 도움을 웹을 통해서 쉽게 얻을 수 있다. Perl에 대한 입문서나 기타 학습서도 많이 발간되어 있어서 관련 자료도 쉽게 구할 수 있다.
이 책은 크게 3부로 구성되어 있다. 1부에서는 Perl에 대해 간단히 소개하고 언어학과의 연관성을 살펴 본다. 프로그래밍이란 무엇이며 언어학에 왜 Perl이필요한가를 다루고 있다. 또한 Perl이 언어 자료를 처리하는 측면을 ‘더러운 손’이라는 관점에서 설명하고 있다. 이외에도 Perl의 자료를 얻을 수 있는 웹 사이트와 커뮤니티 및 학습서를 소개한다. 2부에서는 Perl을 배우기 위한 내용이 소개되는데, 여타의 프로그래밍 소개서와 흡사하다. Perl이 가진 문법을 항목별로 소개한다. 크게 스칼라 데이터, 배열, 제어 구조, 함수, 해쉬와 레퍼런스, 파일 핸들, 패턴 매칭 부분으로 나누어 설명한다. 프로그래밍 언어도 하나의 언어로서 단어와 문법을 가지고 있다. Perl을 배우기 위해서도 먼저 Perl의 단어와 문법을 알아야 한다. 이 책은 인문학도인 언어학 전공자를 위한 것으로 여타의 컴퓨터 전문 서적보다 더 쉽게 Perl을 소개하려고 노력했다. 3부에서는 언어 자료 처리를 위한 Perl 프로그래밍을 소개하기 위해서, 텍스트 처리, 통계 처리, 용례 찾기, 파싱과 같은 항목을 다룬다. 텍스트 처리에서는 일반적인 Perl의 프로그래밍 기법을 이용하는 것과 Perl 개발자들이 미리 만들어 놓은 모듈을 활용하는 방식을 소개한다. 통계 처리에서는 언어 자료 처리에서 필수적으로 다루어야 하는 빈도와 n-gram을 자세히 다룬다. 언어 자료를 통계적으로 처리하기 위해 기본이 되는 부분으로 언어학 전공자에 가장 절실히 필요한 부분이다. 용례 찾기는 텍스트에서 하나의 단어가 어떻게 활용되는지를 검색하는 기능인데, 프로그램을 활용하여 언어 자료를 처리하는 가장 초보적인 부분이다. 파싱은 문장을 주어진 문법에 따라서 잘게 잘라내는 것으로, 여러 가지 문법 이론과 전산적 알고리즘에 따라서 매우 복잡하게 설명될 수도 있다. 이 책에서는 파싱부분에서 Perl 개발자들이 미리 만들어 놓은 모듈을 활용하였는데, 문법을 제공하면 문법에 맞게 주어진 문장 구조를 분석하거나 해당 문장이 문법에 부합하는지를 검토한다.
프로그래밍은 컴퓨터공학이나 전산학을 공부하는 사람들에게도 매우 어려운 분야로, 프로그래밍 자체는 쉽지 않은 분야이다. 인문학도에 속하는 언어학 전공자는 공학이나 과학을 접해보지 못한 사람들로, 프로그래밍 분야에 매우 생소하다. 이 책은 인문학도인 언어학 전공자를 위해 씌어졌으므로 이런 점을 고려하였다. 무엇보다도 프로그래밍을 쉽게 소개하려고 애를 썼으며, 언어 자료를 처리하는 데에 꼭 필요한 프로그래밍을 소개하였다. 또한 언어학 및 연관된 학문 분야에서 강의 교재로 활용될 수 있도록 적절한 분량을 설정하였다. 수업 진도에 맞게 내용과 분량을 설계하고, 각 장의 끝에 연습문제를 실었다. 연습문제는 각 장을 학습하고 반드시 스스로 만들어 보아야 할 프로그래밍 훈련 과제를 담고 있다. 쉬운 프로그래밍 과제도 있지만 어려운 과제도 있다.