이 책은 트랜스포머 모델에 대한 가장 기본적인 개념과 이론은 물론, 실전에서 유용한 코랩과 파이토치를 통해 문장 자동 번역, 줄거리 요약, 음성/이미지 인식, 추출 등의 자연어 처리 과정을 경험해 볼 수 있습니다. 또한 체계적으로 분류된 101가지 문제를 바탕으로 허깅페이스의 트랜스포머스 라이브러리를 다루며 상황에 따라 활용하는 방법을 알아봅니다. [이 책에서 다루는 내용] _01~03장: 구글 코랩 환경 설정 / DistillBERT 파인튜닝, IMDB 데이터세트, 사전학습 / 모델 성능 평가, 예측 성과 지표 분석 _04~05장: GPT-Neo, DistilGPT2, DialoGPT를 활용한 텍스트 자동 생성 / BERT, DistilBERT, ALBERT 로딩 MLM 파이프라인을 통한 토큰 예측 _06~07장: CLIP를 통한 이미지 인식과 자연어 처리 / Wav2Vec2 자동 음성 인식 모델, 오디오 데이터 처리 _08~09장: BERT 사전학습 모델, 데이터세트, 파인튜닝, 분류 정확도 분석 / BART 사전학습 모델, 정규식 활용, 토크나이징, 추론, 디코딩 _10~12장: BERT 앙상블 데이터세트, BERT 앙상블 학습 및 예측 / BigBird 데이터세트와 추론 / PEGASUS 토크나이징 및 인코딩, 자동 요약 _13~14장: M2M100를 통한 중국어, 한국어 자동 번역 / Mobile BERT 라이브러리를 활용한 빈칸 채우기 _15~16장: GPT, DialoGPT, DistilGPT2를 통한 문장 생성 활용 / BERT, tSNE의 자연어 처리 실습 및 벡터 처리, 시각화 [이 책의 대상 독자] _트랜스포머스 라이브러리를 직접 경험해 보고 싶은 대학생, 개발자 _파이토치와 코랩으로 간편하게 딥러닝, 머신러닝을 분석하고 싶은 사람 누구나!

01장 파이프라인 _문제 001 구글 코랩 환경 설정 _문제 002 감성 분석 _문제 003 질의 응답 02장 DistillBERT 파인튜닝 및 평가 _사전준비: GPU 설정 _문제 004 IMDB 데이터세트 _문제 005 레이블 인코딩 _문제 006 학습 및 검증 데이터세트 분리 _문제 007 토크나이징 및 인코딩 _문제 008 데이터세트 클래스 생성 _문제 009 사전학습 모델 불러오기 _문제 010 TrainingArguments 설정 _문제 011 GPU로 전송 _문제 012 Trainer 클래스 사전학습 _문제 013 파이토치 사전학습 03장 모델 성능 평가 _예측 성과지표 _문제 014 정확도 _문제 015 재현율, 정밀도, F1값 _문제 016 분류 리포트 04장 GPT를 활용한 작문 _문제 017 GPT-Neo 작문 환경 설정 _문제 018 GPT-Neo 토크나이징 _문제 019 GPT_Neo 작문 _문제 020 DistilGPT2 환경 설정 _문제 021 DistilGPT2 작문 _문제 022 DialoGPT 환경 설정 _문제 023 DialoGPT 작문 05장 MLM _문제 024 BERT 로딩 MLM 파이프라인 _문제 025 DistilBERT 로딩 MLM 파이프라인 _문제 026 ALBERT 로딩 MLM 파이프라인 06장 CLIP - 이미지 인식과 자연어 처리 연동 _CLIP란? _문제 027 CLIP 모듈 설치 _문제 028 샘플 이미지 데이터세트 _문제 029 CLIP 기반 사전학습 모델 불러오기 _문제 030 CLIP 기반 사전학습 모델 신경망 구조 _문제 031 CLIP 전처리 _문제 032 전처리 후 이미지 확인 _문제 033 인코딩 및 디코딩 _문제 034 CLIP 추론 _문제 035 CLIP 추론에서 로짓 추출 _문제 036 CLIP 캡션 예측 결과 07장 Wav2Vec2 자동 음성 인식 _문제 037 Wav2Vec2 모듈 설치 _문제 038 Wav2Vec2 사전학습 모델 불러오기 _문제 039 자동 음성 인식 데이터세트 불러오기 _문제 040 코랩에서 오디오 데이터 확인 _문제 041 Wav2Vec2 전처리 _문제 042 Wav2Vec2 자동 음성 인식 실행 08장 BERT 다중 클래스 분류 _문제 043 다중 클래스 분류용 BERT 사전학습 모델 불러오기 _문제 044 데이터세트 준비 _문제 045 파인튜닝 없는 BERT 분류 _문제 046 BERT 분류 파인튜닝 _문제 047 파인튜닝 BERT 모델 학습 과정 시각화 _문제 048 파인튜닝 후 BERT 분류 _문제 049 분류 정확도 09장 BART 자동 요약 _문제 050 BART 라이브러리 설정 및 사전학습 모델 불러오기 _문제 051 정규식 활용 전처리 _문제 052 학습 모델 이전에 BART 토크나이징 _문제 053 BART 토크나이징 결과를 넘파이 어레이로 변경 _문제 054 BART 추론 _문제 055 BART 추론 결과 디코딩 10장 BERT 앙상블 학습 _문제 056 BERT 앙상블 학습 라이브러리 설정 _문제 057 BERT 앙상블 데이터세트 준비 _문제 058 BERT 앙상블 클래스 정의 _문제 059 앙상블 트레이닝에 사용할 사전학습 BERT 불러오기 _문제 060 BERT 앙상블 학습 - 데이터 증강 _문제 061 BERT 앙상블 학습 - 커스텀 데이터세트 정의 _문제 062 BERT 앙상블 학습 - DataLoader _문제 063 BERT 앙상블 파인튜닝 _문제 064 학습 데이터세트를 활용한 BERT 앙상블 학습 및 예측 _문제 065 학습 데이터세트 이외의 BERT 앙상블 학습 및 예측 11장 BigBird _문제 066 BigBird 라이브러리 설정 및 사전학습 모델 불러오기 _문제 067 BigBird 추론용 데이터세트 준비 _문제 068 BigBird 토크나이징 및 인코딩 _문제 069 BigBird 추론 12장 PEGASUS _문제 070 PEGASUS 라이브러리 설정 및 사전학습 모델 불러오기 _문제 071 토크나이징 및 인코딩 _문제 072 PEGASUS 자동 요약 13장 M2M100 자동 번역 _문제 073 M2M100 라이브러리 설치 및 사전학습 모델 불러오기 _문제 074 M2M100 번역 소스로 중국어 텍스트 준비 _문제 075 소스 언어 M2M100 토크나이징 _문제 076 M2M100 중국어/영어 자동 변역 _문제 077 generate 메서드 결과물 디코딩 _문제 078 M2M100 번역 소스로 한국어 텍스트 준비 _문제 079 M2M100 한국어 텍스트 토크나이징 _문제 080 M2M100 한국어/영어 자동 번역 _문제 081 M2M100 번역 결과물 디코딩 14장 Mobile BERT _문제 082 Mobile BERT 라이브러리 설치 및 사전학습 모델 불러오기 _문제 083 Mobile BERT vs BERT Tokenizer _문제 084 Mobile BERT 추론 시 마지막 은닉층 _문제 085 Mobile BERT 빈칸 채우기 퀴즈 15장 GPT, DialoGPT, DistilGPT2 _문제 086 DistilGPT2 라이브러리 설치 및 사전학습 모델 불러오기 _문제 087 DistilGPT2 시각화 _문제 088 DistilGPT2 문장 생성 _문제 089 DialoGPT 모델(Diologe Text Pre-Learning Model) 불러오기 _문제 090 DialoGPT 문장 생성 16장 자연어 처리 실습 - BERT 및 tSNE _문제 091 위키피디아 영문 키워드 검색 _문제 092 모더나 COVID-19 위키피디아 텍스트 가져오기 _문제 093 화이자 COVID-19 위키피디아 텍스트 가져오기 _문제 094 BERT 도큐먼트 벡터 처리 모듈 설치 _문제 095 BERT 사전학습 모델을 파이프라인에 불러오기 _문제 096 BERT 도큐먼트 벡터 표현 추출 _문제 097 BERT 벡터 차원, 단어 토크나이징 및 디코딩 _문제 098 BERT [CLS] 토큰의 도큐먼트 벡터 표현 함수 및 BERT 전처리 _문제 099 모더나/화이자 Covid-19 백신 BERT [CLS] 벡터 추출 _문제 100 토크나이저를 통한 빈도수 합산 _문제 101 모더나 vs 화이자 t-SNE 시각화