이런 상황이라면
회의에서 "파인튜닝하면 되지 않나요"라는 말에 고개만 끄덕인 적이 있다면 맞는 책이다. AI 도입을 검토하거나 개발팀과 대화해야 하는 기획자, 마케터, 1인 기업가에게 특히 그렇다. 반대로 이미 모델을 직접 학습시키거나 서빙해본 사람에게는 너무 쉬운 책이다.
한눈에 보기
이 책이 다루는 문제는 "AI를 써야 한다는 건 알겠는데, 안에서 무슨 일이 벌어지는지는 모르겠다"는 상태다. 뉴스와 유튜브로 배운 지식은 단어만 늘려줄 뿐 판단을 못 바꾼다. 저자는 검색·번역 같은 익숙한 기술이 어떻게 지금의 대화형 AI까지 왔는지를 순서대로 따라간다. 토큰, 임베딩, 트랜스포머, 파인튜닝처럼 겉보기에 어려운 개념을 일상의 비유로 풀어낸다. 수식 대신 "왜 이 방식이 이전 방식보다 잘 되는가"라는 질문으로 연결한다. 목표는 모델을 만드는 능력이 아니라, 모델이 하는 일과 못 하는 일을 구분하는 능력이다.
기존의 AI 입문서가 두 갈래로 갈렸다면 이 책은 그 사이에 선다. 한쪽은 파이썬 코드와 수식으로 시작해 비전공자를 3장에서 탈락시킨다. 다른 한쪽은 "AI가 세상을 바꾼다"는 전망만 반복해 읽고 나도 아는 게 늘지 않는다. 이 책은 구조를 설명하되 구현을 요구하지 않는다. 그 차이가 중요한 이유는, 실무에서 필요한 건 모델을 짜는 일이 아니라 벤더의 주장을 검증하는 일이기 때문이다. 환각이 왜 생기는지 아는 사람과 모르는 사람은 같은 데모를 보고 다른 결정을 내린다.
핵심 인사이트
- 01
LLM은 답을 아는 게 아니라 다음 단어를 고른다
언어 모델의 본질은 지식 검색이 아니라 확률 예측이다. 앞에 주어진 문장을 보고 다음에 올 토큰 중 가장 그럴듯한 것을 고르는 일을 계속 반복한다. 그래서 문법은 완벽한데 사실은 틀린 문장이 나온다. 존재하지 않는 논문 제목을 자신 있게 지어내는 것도 같은 이유다. 그럴듯함과 사실 여부는 애초에 다른 축인데, 모델은 앞의 축만 최적화되어 있다. 이 구조를 이해하면 "AI가 거짓말을 했다"는 표현이 틀렸다는 걸 알게 된다. 거짓말은 사실을 알고 숨기는 행위지만, 모델은 처음부터 사실이라는 개념을 다루고 있지 않다.
- 02
의미를 숫자로 바꾼 순간이 진짜 전환점이었다
AI 발전의 결정적 계기는 흔히 알려진 것처럼 데이터가 많아진 것만이 아니다. 단어를 좌표로 바꾸는 방식, 즉 임베딩이 자리잡은 게 컸다. 단어가 벡터가 되면 "비슷하다"는 감각을 거리로 계산할 수 있게 된다. 왕에서 남자를 빼고 여자를 더하면 여왕 근처에 도착한다는 유명한 예가 여기서 나온다. 규칙을 일일이 사람이 적어주던 시대가 여기서 끝났다. 이전의 번역기가 어색했던 이유도 단어를 기호로만 다뤘기 때문이다. 지금의 검색, 추천, 챗봇이 모두 이 좌표 위에서 움직인다.
- 03
트랜스포머의 핵심은 '어디를 볼지' 정하는 능력
이전 모델은 문장을 앞에서부터 한 단어씩 순서대로 읽었다. 문장이 길어지면 앞부분을 잊어버리는 게 구조적 한계였다. 트랜스포머는 모든 단어를 한꺼번에 놓고, 지금 단어가 어떤 단어와 관련 있는지 가중치를 매긴다. "그 사람이 가방을 들고 있었는데 그것이 무거웠다"에서 "그것"이 가방을 가리킨다는 판단이 이 방식으로 가능해진다. 순서대로 읽지 않으니 병렬 계산도 가능해졌고, 그래서 모델을 거대하게 키울 수 있었다. 성능 향상과 규모 확대가 동시에 열린 것이다. "어텐션"이라는 이름이 붙은 이유가 여기 있다.
- 04
학습과 추론을 구분하면 비용 감각이 생긴다
많은 오해가 "AI를 쓴다"와 "AI를 만든다"를 뭉뚱그려서 생긴다. 모델을 처음부터 학습시키는 일은 수천억 원대의 인프라가 필요한 소수의 게임이다. 반면 이미 학습된 모델에 질문을 던지는 추론은 API 호출 몇 줄이면 된다. 중간에 파인튜닝과 프롬프트 설계, 검색 결합 같은 선택지가 있고 비용과 효과가 각각 다르다. "우리 데이터로 학습시키자"는 제안이 실제로는 과한 경우가 많은 이유다. 대부분의 업무 문제는 좋은 프롬프트와 자료 연결만으로 풀린다. 이 구분을 못 하면 필요 없는 예산을 태우거나, 반대로 할 수 있는 일을 못 한다고 착각한다.
- 05
모델은 기억하지 않는다, 매번 다시 읽는다
대화가 이어지는 것처럼 보이지만 모델에 기억 장치가 있는 건 아니다. 매 요청마다 이전 대화를 통째로 다시 넣어주기 때문에 이어지는 것처럼 보일 뿐이다. 그래서 대화가 길어지면 앞부분이 잘려 나가고 맥락이 흐려진다. 같은 질문을 새 창에서 던졌을 때 답이 달라지는 것도 이 구조 때문이다. 문서를 붙여 넣어야 그 문서에 대해 답할 수 있는 이유도 같다. 이걸 알면 프롬프트를 쓰는 방식이 달라진다. "아까 말한 그거"보다 필요한 정보를 매번 다시 명시하는 쪽이 안정적이다.
- 06
비전공자에게 필요한 건 구현력이 아니라 판단력
기술을 배우는 목적을 직접 만드는 능력으로 잡으면 대부분 중도에 포기한다. 실무에서 실제로 필요한 건 다른 종류의 능력이다. 이 일에 AI가 맞는지, 벤더의 주장이 과장인지, 실패했을 때 무엇이 원인인지를 구분하는 일이다. 예를 들어 사내 문서 검색이 엉뚱한 답을 낼 때, 모델이 나쁜 건지 자료 연결이 잘못된 건지 판단할 수 있어야 한다. 구조를 알면 질문의 수준이 올라가고, 개발자와의 대화가 통역 없이 진행된다. 코드 한 줄 못 써도 프로젝트의 방향은 바꿀 수 있다.
이렇게 적용한다
상황외부 업체가 "자사 데이터로 파인튜닝한 전용 AI"를 제안해 왔을 때
학습이 정말 필요한지부터 되묻는다. 우리 자료를 검색해서 프롬프트에 붙이는 방식으로는 왜 안 되는지, 파인튜닝으로 얻는 게 말투인지 지식인지를 물어본다. 답이 모호하면 비용 대비 효과가 검증되지 않은 제안일 가능성이 높다.
상황AI가 만든 보고서에 없는 통계가 들어가 있는 걸 발견했을 때
모델을 탓하는 대신 확인이 필요한 항목을 분리한다. 숫자, 고유명사, 날짜, 인용은 생성 결과가 아니라 검증 대상으로 분류하고, 자료를 직접 넣어준 부분과 모델이 알아서 채운 부분을 구분해 표시한다. 그 경계가 곧 검토 범위다.
상황긴 대화를 이어가다 답변 품질이 눈에 띄게 떨어질 때
대화를 이어붙이지 말고 새로 연다. 지금까지의 결론만 압축해서 앞에 붙이고, 필요한 자료를 다시 넣은 뒤 질문한다. 모델이 맥락을 기억한다고 가정하지 않는 것만으로 결과가 안정된다.
ACTION ITEMS
오늘 바로 할 수 있는 것.
- ✓오늘 쓰는 AI 서비스에 같은 질문을 새 창에서 두 번 던지고, 답이 어떻게 갈리는지 기록한다.
- ✓지난주에 받은 AI 답변 하나를 골라 숫자와 고유명사에 밑줄을 긋고 사실 여부를 직접 확인한다.
- ✓우리 팀 업무 중 AI로 대체 가능한 작업 세 가지를 적고, 각각 프롬프트로 될 일인지 자료 연결이 필요한 일인지 나눈다.
- ✓자주 쓰는 프롬프트 하나를 골라, 맥락을 매번 명시하는 형태로 고쳐 쓰고 문서에 저장한다.
- ✓"토큰", "임베딩", "파인튜닝"을 각각 한 문장으로 동료에게 설명해 보고 막히는 지점을 메모한다.
밑줄 그은 문장
“모델은 사실을 말하도록 훈련된 것이 아니라, 그럴듯한 다음 말을 고르도록 훈련되었다.”
“비전공자에게 필요한 것은 모델을 만드는 능력이 아니라, 무엇을 물어야 할지 아는 능력이다.”
이 책이 답하지 않는 것
원리 이해에 무게를 둔 책이라 실제 도입 절차나 비용 산정, 보안·규제 대응 같은 실무 매뉴얼은 얻기 어렵다. 기술 변화 속도가 빨라 특정 모델과 서비스 사례는 빠르게 낡는다는 점도 감안해야 한다.
이 통찰의 근거가 궁금하다면?
원서·번역서 정보와 가격은 판매처에서 확인하세요.
※ 구매 링크는 제휴 활동의 일환이며, 이를 통해 일정액의 수수료를 제공받습니다. 구매자에게 추가 비용은 발생하지 않습니다.
비슷한 주제의 책
NEWSLETTER
매일 아침, 새로운 인사이트
하루의 시작을 도와줄 책 한 권의 핵심과 실천 과제를 보내드립니다.