2020년대 초반 까지만 해도, 파이썬을 활용한 자연어처리 (NLP :Natural Language Processing) 분야에 대한 관심이 높았다. 이때 까지만 해도 단순 응답형 챗봇 수준을 구현하기 위해서도 많은 인력과 자원들을 필요로 하는 시기였습니다.

Bert-dataset - 위키피디아 데이터를, 2017년도에 발표된 attention is all you need 논문을 활용한 학습 알고리즘의 발달로 학습을 고도화 함으로써, 여러분들이 2025년 현재 활발하게 활용중인 Chat GPT 서비스가 대중화 되는데 주요한 기반이 되었습니다.

이로써 앞서 언급했던 자연어처리 (NLP :Natural Language Processing) 분야는 비효율 적이고 구닥다리 기술로 치부하는 경향이 커졌고, 현재는 GPT 유료서비스를 기반으로 사용자 맞춤형 모델을 생성하는 프롬프트 엔지니어링 분야가 대중들의 관심을 주요하게 받고 있습니다.

2025년 현재는 수학적 기초와 코드없이, 프롬프트 엔지니어링 기법으로 데이터를 정리하고, 유료 GPT 서비스를 활용하면 대부분의 문제가 다 해결 가능한데, 왜 지금 자연어처리 (NLP :Natural Language Processing) 에 관련한 내용을 이해하는게 중요한가? 그리고 자연어처리 (NLP) 에 대한 내용을 이해하는 것이 LLM 기술을 이해하는데 기초가 되고 중요한 내용의 근본이 되는가를 독자가 이해할 수 있도록 기초부터 단계적으로 내용을 정리한 책 입니다.

자연어처리 (NLP :Natural Language Processing) 에 대하여 간단하게 설명을 하면 통계적 기법을 활용하여 자연어 데이터를 정리하고 및 분석하는 방법 이라고 설명할 수 있습니다.

How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models 등의 블로그 및 주요한 논문의 내용을 이해하려면 결국은 자연어처리와 관련된 기본적인 이론들이 총집합 되어 LLM 모델을 설명하는 기본 원리가 되고 있다는 것을 알 수 있습니다.

총평

때문에 앞서서 파이썬 NLP(자연어처리) LLM 과 관련된 도서들을 읽어본 경험 있는 분들이라면 많은 부분이 겹혀서 생각보다 쉽게 내용을 이해할 수 있습니다. 기존의 책들에 나오지 않았던 새로운 내용을 설명하는 책이 아니라 여러권의 책들에 자연어 처리와 관련하여 필요한 이론들을 일목요연하게 연결하여 정리했기 때문 입니다.

이 책의 최대 장점은 최신의 LLM 기술과의 연관성을 갖고서 내용들이 전개되기 때문에 최신내용들이 반영되어 있다는 점과 함께, 아래와 같이 개별 책들을 보다보면 내용들이 많아서 한 권 읽으면 이전의 다른 책 내용들을 잊어버리거나 연관성을 독자 스스로가 찾아가며 내용들을 읽어야 하는 수고스러움이 있는데 이러한 어려움을 한권의 책에 모두 담아냄으로써 완결성 높게 내용들을 이해하실 수 있으실 겁니다.

책 내용 간단하게 살펴보기

2장의 머신러닝과 자연어 처리를 위한 선형대수, 확률, 통계 마스터 하기 의 한 부분으로 기본적인 통계 및 수학적인 기초부터 설명을 하고 있습니다.

그리고 지금보기에는 한편으로는 비 효율적인 구시대의 기술들 에 대해서도 설명을 하고 있습니다. 오래됬다고 해도 2020년대 초반까지도 활발하게 활용중인 기술 이었지만, Hugging Face 로 양질의 데이터와 모델들이 공유 됨으로써, 더 많은 용량의 메모리와 HDD 그리고 GPU 성능을 제공받는다면 훨씬 수월한 작업이 가능해 졌기 때문 입니다.

위에서 언급한 Hugging Face 로 활용 가능한 향상된 최신기술들을 이 책의 6장 텍스트 분류의 재해석: 딥러닝 언어모델 깊게 탐구하기 부터 다루기 시작해서, 최근에 많이 언급되는 RAG (Retrieval-Augmented Generation) 및 다양한 최신기술 까지도 내용을 담고 있습니다.

마무리

인공지능 기술의 대중화로 인하여 여러가지 직장들에 대한 불안감이 높아지는 현재시점에, 전체적인 흐름을 파악하고 이를 유연하게 활용하는 응용력이 더 중요해 지고 있습니다. 자연어 분석과 관련하여 특정분야에 대한 책들을 읽어 본 경험이 있는 분들이라면 이 책을 읽음으로써 전체적인 흐름과 함께 향후의 방향 까지도 함께 예측 가능한 시각을 갖는데 이 책이 도움이 되어 줄 것입니다.

그리고 이 책의 리뷰를 마무리 할 때 쯤 똑같은 이 책을 리뷰한 블로그를 우연히 확인할 수 있었습니다. 리뷰 - NLP와 LLM 실전 가이드 인데 보다 현장 중심적인 이야기가 잘 담겨져 있는 만큼 이 책에 관심이 있으신 분들이라면 링크에 첨부한 이 책의 리뷰를 확인하시면 제가 부족해서 전달하지 못한 이 책의 장점들을 이해하시는데 도움이 되어줄 것입니다.

※ 본 리뷰는 IT 현업개발자가, 한빛미디어 책을 제공받아 작성한 서평입니다.