추가 적립 안내

[입문자를 위한 병렬 프로그래밍]은 MPI, Pthreads, 그리고 OpenMP를 이용한 병렬 프로그래밍 가이드북이다. 책은 튜토리얼을 사용하여 작은 프로그래밍 예제로 시작해서 좀 더 규모가 큰 예제들을 구축하고, 분산과 공유 메모리 프로그램을 설계하고, 디버깅하며, 평가하는 데 초점을 맞추었다. 아울러 MPI, Pthreads, 그리고 OpenMP 프로그래밍 모델을 사용하여 병렬 프로그램에 대한 개발을 강조한다.

MPI, Pthreads, 그리고 OpenMP를 이용한 병렬 프로그래밍 완벽 가이드!
효율적 병렬 프로그래밍에 관한 완벽한 튜토리얼!
샌프란시스코 대학을 비롯한 세계 유명 대학 교재로 선정!

병렬 프로그래밍은 더 이상 전문가들만을 위한 기술이 아니다. 여러분들이 클러스터나 멀티코어 프로세서의 강력한 기능을 충분히 사용하고 싶다면, 분산 메모리 병렬 프로그래밍과 공유 메모리 병렬 프로그래밍에 대해 배워야 한다. 《입문자를 위한 병렬 프로그래밍》은 여러분들이 MPI, Pthreads, OpenMP를 사용하여 효율적인 병렬 프로그램을 개발하는 방법에 대해 설명하고 있다. 학생이든 실무를 하는 전문가이든 상관없이 피터 파체코의 이 새로운 책은 여러분들에게 분산과 공유 메모리 프로그램의 성능을 어떻게 설계하고, 디버깅하며, 평가하는지 그 방법을 알려 줄 것이다.

■ 튜토리얼을 사용하여 작은 프로그래밍 예제로 시작해서 좀 더 규모가 큰 예제들을 구축한다.
■ 분산과 공유 메모리 프로그램을 설계하고, 디버깅하며, 평가하는 데 초점을 맞춘다.
■ MPI, Pthreads, 그리고 OpenMP 프로그래밍 모델을 사용하여 병렬 프로그램에 대한 개발을 강조한다.

이 책의 구성
1장은 병렬 컴퓨팅이 컴퓨터 분야에서 중요한 역할을 하는 이유에 대해 상대적으로 덜 기술적으로 설명하고 있다. 또, 병렬 시스템과 병렬 프로그래밍에 대해 간단하게 소개하고 있다. 2장은 컴퓨터 하드웨어와 소프트웨어에 대한 기술적 배경 지식을 제공한다. 3장, 4장, 그리고 5장은 MPI, Pthreads, 그리고 OpenMP를 이용한 프로그래밍을 소개하고 있으며, 6장에서는 두 개의 큰 프로그램을 개발한다. 하나는 병렬 n-body 솔루션이고, 다른 하나는 병렬 트리 검색이다. 이 두 프로그램은 세 개의 API를 모두 사용해서 개발한다. 7장은 다양한 측면의 병렬 컴퓨팅에 대해 추가적인 정보를 간략하게 다루고 있다. 이 책은 C 언어를 사용하여 프로그램을 개발하는데, 그 이유는 이 세 가지 API가 모두 C 언어 인터페이스를 갖고 있으며, C 언어는 사용하기에 상당히 간단한 언어이고 배우기도 상대적으로 쉬운 언어이기 때문이다. C 언어의 제어 구조에 대해 익숙한 C++이나 자바 개발자들도 어려움 없이 읽을 수 있다.

CHAPTER 1 왜 병렬 컴퓨팅인가?
1.1 성능 증가의 필요성 2
1.2 병렬 시스템을 구축해야 하는 이유 3
1.3 병렬화 프로그래밍이 필요한 이유 4
1.4 병렬화 프로그램을 작성하는 방법 8
1.5 배울 내용 11
1.6 병행, 병렬, 분산 13
1.7 책의 구성 14
1.8 당부의 말 14
1.9 이 책의 표기 방법 15
1.10 요약 16
1.11 연습문제 17

CHAPTER 2 병렬 하드웨어와 병렬 소프트웨어
2.1 약간의 배경 지식 22
2.1.1 폰 노이만 아키텍처 22
2.1.2 프로세스, 멀티태스킹, 그리고 스레드 24
2.2 폰 노이만 모델의 수정 26
2.2.1 캐시의 기본 개념 26
2.2.2 캐시 매핑 29
2.2.3 캐시와 프로그램: 예제 30
2.2.4 가상 메모리 32
2.2.5 명령어 레벨 병렬화 35
2.2.6 하드웨어 멀티스레딩 39
2.3 병렬 하드웨어 40
2.3.1 SIMD 시스템 40
2.3.2 MIMD 시스템 44
2.3.3 인터커넥션 네트워크 48
2.3.4 캐시 일관성 57
2.3.5 공유 메모리와 분산 메모리 61
2.4 병렬 소프트웨어 62
2.4.1 경고 63
2.4.2 프로세스/스레드의 조정 63
2.4.3 공유 메모리 65
2.4.4 분산 메모리 71
2.4.5 하이브리드 시스템 프로그래밍 75
2.5 입력과 출력 76
2.6 성능 78
2.6.1 스피드업과 효율성 78
2.6.2 암달의 법칙 81
2.6.3 확장성 83
2.6.4 타이밍 84
2.7 병렬 프로그램 디자인 88
2.7.1 예제 89
2.8 병렬 프로그램의 작성과 실행 94
2.9 가정 94
2.10 요약 96
2.10.1 시리얼 시스템 96
2.10.2 병렬 하드웨어 98
2.10.3 병렬 소프트웨어 100
2.10.4 입력과 출력 102
2.10.5 성능 102
2.10.6 병렬 프로그램 설계 103
2.10.7 가정 104
2.11 연습문제 104

CHAPTER 3 MPI를 이용한 분산 메모리 프로그래밍
3.1 시작하기 112
3.1.1 컴파일과 실행 113
3.1.2 MPI 프로그램 115
3.1.3 MPI_Init과 MPI_Finalize 116
3.1.4 커뮤니케이터, MPI_Comm_size와 MPI_Comm_rank 117
3.1.5 SPMD 프로그램 117
3.1.6 통신 118
3.1.7 MPI_Send 118
3.1.8 MPI_Recv 121
3.1.9 메시지 매칭 121
3.1.10 status_p 인수 123
3.1.11 MPI_Send와 MPI_Recv의 동작 의미 124
3.1.12 약간의 심각한 문제 126
3.2 MPI를 사용한 사다리꼴 규칙 126
3.2.1 사다리꼴 규칙 126
3.2.2 사다리꼴 규칙의 병렬화 128
3.3 I/O의 처리 131
3.3.1 출력 132
3.3.2 입력 133
3.4 컬렉티브 통신 135
3.4.1 트리 구조 통신 135
3.4.2 MPI_Reduce 137
3.4.3 컬렉티브 통신 대 일대일 통신 139
3.4.4 MPI_Allreduce 141
3.4.5 브로드캐스트 141
3.4.6 데이터 분산 144
3.4.7 스캐터 146
3.4.8 게더 148
3.4.9 Allgather 150
3.5 MPI 파생 데이터 타입 153
3.6 프로그램의 성능 평가 157
3.6.1 수행 시간 159
3.6.2 결과 162
3.6.3 속도 향상과 효율성 165
3.6.4 확장성 166
3.7 병렬 정렬 알고리즘 167
3.7.1 간단한 시리얼 정렬 알고리즘 168
3.7.2 병렬 홀수-짝수 변환 정렬 170
3.7.3 MPI 프로그램에서 세이프티 173
3.7.4 병렬 홀수-짝수 정렬의 마지막 설명 177
3.8 요약 179
3.9 연습문제 185
3.10 프로그래밍 문제 194

CHAPTER 4 Pthreads를 이용한 공유 메모리 프로그래밍
4.1 프로세스, 스레드, 그리고 pthreads 200
4.2 HELLO, WORLD 202
4.2.1 실행 202
4.2.2 준비 204
4.2.3 스레드의 시작 206
4.2.4 스레드의 실행 208
4.2.5 스레드의 중지 209
4.2.6 에러 체킹 210
4.2.7 스레드의 시작에 대한 다른 접근 210
4.3 매트릭스-벡터 곱셈 211
4.4 크리티컬 섹션 214
4.5 비지-웨이팅 218
4.6 뮤텍스 222
4.7 프로듀서-컨슈머 동기화와 세마포어 227
4.8 배리어와 조건 변수 232
4.8.1 비지-웨이팅과 뮤텍스 233
4.8.2 세마포어 234
4.8.3 조건 변수 236
4.8.4 Pthreads 배리어 239
4.9 읽기-쓰기 잠금 239
4.9.1 링크드 리스트 함수 239
4.9.2 멀티스레드 링크드 리스트 242
4.9.3 Pthreads 읽기-쓰기 잠금 246
4.9.4 여러 가지 구현에 대한 성능 247
4.9.5 읽기-쓰기 잠금의 구현 249
4.10 캐시, 캐시 일관성, 그리고 거짓 공유 250
4.11 스레드 세이프티 257
4.11.1 올바르지 않은 프로그램이 올바른 출력을 낼 수 있다 260
4.12 요약 261
4.13 연습문제 264
4.14 프로그램 문제 272

CHAPTER 5 OpenMP를 사용한 공유 메모리 프로그래밍
5.1 시작 277
5.1.1 OpenMP 프로그램의 컴파일과 실행 방법 278
5.1.2 프로그램 279
5.1.3 오류 체크 283
5.2 사다리꼴 규칙 284
5.2.1 첫 번째 openMP 버전 285
5.3 변수의 범위 290
5.4 감소 클라우즈 291
5.5 parallel for 디렉티브 295
5.5.1 주의 사항 297
5.5.2 데이터 의존성 298
5.5.3 루프에 의한 의존성 찾기 300
5.5.4 의 계산 301
5.5.5 변수 범위 304
5.6 OpenMP에서 루프의 다른 예제: 정렬 305
5.6.1 버블 정렬 305
5.6.2 홀수-짝수 변환 정렬 307
5.7 루프 스케줄 310
5.7.1 schedule 클라우즈 312
5.7.2 static 스케줄 타입 313
5.7.3 dynamic과 guided 스케줄 타입 314
5.7.4 runtime 스케줄 타입 315
5.7.5 어떤 스케줄을 사용해야 할까? 316
5.8 프로듀서와 컨슈머 317
5.8.1 큐 317
5.8.2 메시지 패싱 318
5.8.3 메시지 전송 319
5.8.4 메시지 수신 319
5.8.5 종료 검출 320
5.8.6 시작 321
5.8.7 atomic 디렉티브 322
5.8.8 크리티컬 섹션과 잠금 323
5.8.9 메시지 패싱 프로그램에서 잠금의 사용 326
5.8.10 critical 디렉티브, atomic 디렉티브, 혹은 잠금? 327
5.8.11 몇 가지의 문제점 328
5.9 캐시, 캐시 일관성, 거짓 공유 330
5.10 스레드 세이프티 337
5.10.1 올바르지 않은 프로그램이 정상적인 결과를 만들어 낼 수도 있다 340
5.11 정리 341
5.12 연습문제 346
5.13 프로그래밍 문제 352

CHAPTER 6 병렬 프로그램 개발
6.1 두 개의 n-body 솔루션 357
6.1.1 문제 358
6.1.2 두 개의 시리얼 프로그램 359
6.1.3 솔루션의 병렬화 365
6.1.4 I/O 369
6.1.5 OpenMP를 사용한 기본 솔루션의 병렬화 370
6.1.6 OpenMP를 사용한 리듀스 솔루션의 병렬화 373
6.1.7 OpenMP 코드의 평가 378
6.1.8 Pthreads를 사용한 솔루션의 병렬화 380
6.1.9 MPI를 사용한 기본 솔루션의 병렬화 381
6.1.10 MPI를 사용한 리듀스 솔루션의 병렬화 384
6.1.11 MPI 솔루션의 성능 391
6.2 트리 검색 393
6.2.1 재귀적 깊이-우선 검색 396
6.2.2 비재귀적 깊이-우선 검색 397
6.2.3 시리얼 구현을 위한 자료 구조 400
6.2.4 시리얼 구현의 성능 402
6.2.5 트리 검색의 병렬화 402
6.2.6 pthreads를 사용한 트리 검색의 정적 병렬화 405
6.2.7 pthreads를 사용한 트리 검색의 동적 병렬화 408
6.2.8 Pthreads 트리-검색 프로그램의 평가 413
6.2.9 OpenMP를 사용한 트리-검색 프로그램의 병렬화 414
6.2.10 OpenMP 구현의 성능 418
6.2.11 MPI와 정적 파티셔닝을 사용한 트리 검색의 구현 419
6.2.12 MPI와 동적 파티셔닝을 사용한 트리 검색의 구현 429
6.3 조언 440
6.4 어떤 API가 최선인가? 440
6.5 요약 441
6.5.1 Pthreads와 OpenMP 443
6.5.2 MPI 444
6.6 연습문제 448
6.7 프로그래밍 연습 461

CHAPTER 7 그 다음에 해야 할 일

참고문헌 469
찾아보기 473

대부분 사용하고 있는 공유 메모리 시스템은 하나 혹은 두 개의 멀티코어(multicore) 프로세서를 사용한다. 1장에서 설명한 것처럼 멀티코어 프로세서는 여러 개의 CPU 혹은 여러 개의 코어를 하나의 칩에서 사용한다. 일반적으로 각 코어는 프라이빗 레벨 1 캐시를 갖고 있으며 다른 캐시는 코어들 간에 공유할 수도 있지만 공유할 수 없기도 한다. _46p

과거에는 모든 병렬 프로그램 개발은 vi나 Emacs와 같은 텍스트 에디터를 사용해서 개발됐다. 그 당시 프로그램은 커맨드 라인이나 에디터 내부에서 컴파일하고 실행했다. 디버거 역시 커맨드 라인에서 사용했다. 현재는 마이크로소프트나 이클립스(Eclipse) 프로젝트 혹은 다른 회사나 사이트에서 제공하는 통합 개발 환경(IDE, Integrated Development Environment)를 사용한다. [16, 38]을 보자. _94p

매트릭스-벡터 곱셈 프로그램의 성능에 대해 살펴보도록 하자. 대부분의 파트에서 프로그램의 실행 속도가 최대한 빠르게 실행하는 것을 기대하기 때문에 같은 문제를 해결하는 시리얼 프로그램보다는 병렬로 프로그램을 작성했다. 이러한 예상이 맞다고 어떻게 검증할 수 있을까? 이에 대해서는 섹션 2.6에서 논의했었다. 따라서 섹션 2.6에서 배운 내용에 대해 다시 기억을 되살려 보자. _157p

Pthreads에서 배리어를 생성하는 더 좋은 방법은 조건 변수(condition variable)를 사용하는 것이다. 조건 변수는 스레드가 특정 이벤트나 조건(condition)이 발생할 때까지 실행을 서스펜드(suspend)하는 데이터 객체이다. 이벤트나 조건이 발생할 때 다른 스레드는 그 스레드에게 “웨이크업(wake up)” 시그널을 보낸다. 조건 변수는 항상 뮤텍스와 관련이 있다. _236p

큐(queue)는 새로운 항목이 큐의 “뒤”에 삽입되고 큐의 “앞”에서는 삭제되는 형태를 리스트 구조의 자료 구조라는 것을 기억하자. 큐는 슈퍼마켓에서 물건을 사기 위해 줄을 서 있는 고객들의 모습과 비슷하다. 리스트의 항목은 고객이다. 새로운 고객은 줄의 “뒤”에 가서 서고 다음 고객이 계산을 하고 나면 그 다음 고객이 줄의 “앞”에 서게 된다. _317p