“AI가 정말 똑똑할까?” LLM의 비밀, 그리고 한계와 해결책

요즘 대화형 AI, 생성형 AI 이야기가 곳곳에서 들려옵니다. ChatGPT 같은 AI가 질문에 답하고, 그림을 그리고, 심지어 긴 문서까지 작성하는 모습을 보면서 놀라셨을 텐데요. 그런데 이런 AI가 때로는 엉뚱하거나, 심지어 말도 안 되는 대답을 내놓는 걸 보신 적도 있으실 겁니다.

예를 들어, 이런 질문을 했을 때요:

“조선시대에 유행했던 뉴진스의 Hype Boy에 대해 알려줘.”

놀랍게도 AI는 조선시대에 Hype Boy가 히트곡이었다는 가짜 정보를 아주 구체적으로 날조해냈습니다. 이런 현상을 “할루시네이션(Hallucination)”이라고 하는데요, 왜 이런 일이 벌어질까요? 그리고 AI는 과연 진실을 이해하지 못하는 걸까요? 오늘은 LLM(대형 언어 모델)의 작동 원리와 한계를 살펴보면서, AI 기술을 업무에 도입할 때 주의해야 할 점을 알아보겠습니다.

AI는 어떻게 말을 만들어낼까? LLM의 작동 원리

1. “다음 단어를 예측한다”는 간단한 원리

AI가 텍스트를 생성할 때는 다음에 나올 단어를 예측합니다.
예를 들어, "오늘 날씨가"라는 문장을 입력하면 AI는

• “맑다” (80%)

• “흐리다” (15%)

• “비가 온다” (5%)

이런 확률을 계산해 가장 높은 확률의 단어를 이어 붙이는 방식으로 문장을 완성합니다. 이렇게 간단한 원리로 텍스트를 만들어내는 AI가 왜 이렇게 똑똑해 보일까요?

2. AI가 모든 문맥을 한눈에 보는 이유: 트랜스포머와 어텐션

LLM이 정말 강력한 이유는, 단순히 앞뒤 단어만 보는 게 아니라 문장 전체의 문맥을 동시에 분석할 수 있기 때문입니다. 단순히 앞뒤 단어들만 보고 예측하는 게 아니라, 마치 엄청나게 방대한 양의 책의 모든 페이지들을 동시에 펼쳐놓고 “이 단어가 문맥상 어디에 가장 잘 들어맞는지”를 빠르게 탐색, 계산하는 것에 가깝죠.

여기서 중요한 기술이 바로 트랜스포머와 어텐션인데요, 간단히 설명하면:

• 트랜스포머: 문장을 구성하는 모든 단어를 병렬로 처리할 수 있도록 돕는 기술.

• 어텐션: “이 문맥에서 어떤 단어가 중요한지”를 파악해, 중요한 정보를 강조하며 학습.

  
  

예를 들어, "나 어제 농구 봤어. 그 선수 엄청 잘하더라."라고 했을 때, 어텐션은 "그 선수가 농구선수임"을 문맥에서 자동으로 연결 짓습니다.

이러한 기술 덕분에 LLM은 긴 문장도 자연스럽게 이해하고 생성할 수 있는 겁니다.

LLM의 한계: 왜 할루시네이션이 발생할까?

LLM은 텍스트를 생성할 때 진실이 아니라, 그럴듯한 단어 연결을 목표로 합니다. 이게 바로 할루시네이션(Hallucination)의 원인입니다.

1. AI는 진실을 이해하지 않는다:
   AI는 단순히 통계적으로 가장 높은 확률의 단어를 예측할 뿐, 그 내용이 사실인지 아닌지는 알지 못합니다.

2. 학습 데이터의 문제:
   AI는 인터넷의 방대한 텍스트를 학습하는데, 이 중에는 오류, 편향, 가짜 정보도 포함되어 있습니다. 텍스트 품질이 고르지 않을 수 있어서 이를 걸러내는 과정도 중요합니다. 데이터의 품질이 엄청 큰 영향을 끼치는데, 이건 다음 글에서 설명하도록 하겠습니다.

3. 도메인 특화 지식 부족:
   범용 AI 모델은 특정 산업(예: 금융, 의료)의 복잡한 규제나 세부 지식을 학습하지 못하기 때문에 전문성을 요구하는 질문에 취약할 수 있습니다.

LLM은 계속해서 똑똑해지는 중!

그럼에도 LLM(대형 언어 모델)은 시간이 갈수록 점점 더 똑똑해지고 있습니다. 그 이유는 크게 두 가지입니다.

1. 학습 데이터의 다변화

2. 파라미터의 폭발적 증가

   
   

1. 학습 데이터가 점점 다양해지고 있다

1) 인터넷의 모든 텍스트를 긁어모으다

AI는 주로 인터넷 크롤링, 뉴스 기사, 소셜미디어(SNS) 등에서 수집한 데이터를 학습합니다. 하지만 여기에는 큰 문제가 있습니다.

• 인터넷에 있는 텍스트는 품질이 고르지 않을 수 있습니다.

  • 잘못된 정보, 편향된 관점, 중복된 내용 등 노이즈 데이터가 포함될 가능성이 높죠.

• 따라서 학습 과정에서 데이터 정제와 품질 관리가 필수입니다.

  • 텍스트 품질이 AI 성능에 엄청난 영향을 미치기 때문입니다.

2) 텍스트를 넘어 멀티모달 데이터로

AI는 이제 단순히 텍스트만 다루는 것이 아니라, 멀티모달 데이터를 학습하기 시작했습니다.

• 멀티모달 데이터란?

  • 텍스트뿐만 아니라 이미지, 음성, 동영상 등 다양한 데이터 형태를 다루는 것을 의미합니다.

  • 예를 들어, AI는 사진을 보고 이를 설명하거나, 음성을 듣고 텍스트로 변환할 수 있습니다.

결과적으로 AI는 글뿐 아니라 사진, 소리, 영상까지 이해하는 수준으로 발전하고 있습니다. 이로써 더욱 풍부한 맥락을 파악할 수 있게 되었죠.

2. 파라미터의 폭발적 증가

AI가 발전하는 또 다른 중요한 이유는 파라미터(매개변수)의 증가입니다.

1) GPT-3에서 GPT-4로: 더 많은 파라미터 = 더 똑똑한 AI

• GPT-3의 파라미터는 약 1750억 개였습니다.

• 그런데 GPT-4는 수조 단위의 파라미터를 보유한 것으로 추정됩니다.

파라미터는 AI가 학습한 정보와 연결 구조를 나타냅니다. 파라미터가 많아질수록 AI는 더 복잡한 패턴을 학습하고, 더 섬세한 문맥을 이해할 수 있죠.

2) 파라미터가 중요한 이유

사람이 더 많은 뇌세포를 사용하면 더 복잡한 사고를 할 수 있는 것처럼, AI도 파라미터가 많을수록 다음과 같은 장점이 있습니다.

• 더 다양한 문맥과 패턴을 학습할 수 있음.

• 미묘한 표현이나 복잡한 문장을 이해하고 생성할 수 있음.

하지만 파라미터의 증가에는 큰 대가가 따릅니다.

3. 어마어마해진 학습 비용

AI가 똑똑해지는 만큼, 그 학습 과정에서 드는 비용도 기하급수적으로 늘어나고 있습니다.

• 계산량 증가: 파라미터가 많을수록 학습에 필요한 연산량이 급증합니다.

• 운영 비용 증가: GPU 같은 고성능 하드웨어를 더 많이 사용해야 하고, 전력 소모도 크게 늘어납니다.

• 시간과 자원: AI를 학습시키는 데 드는 시간과 비용은 기업이 감당하기 어려울 만큼 커질 수 있습니다.

NVIDIA와의 연결고리

이 과정에서 NVIDIA가 중요한 역할을 합니다.

• AI 학습에 필수적인 GPU는 대부분 NVIDIA가 공급하고 있습니다.

• 대규모 파라미터를 처리하려면 고성능 GPU가 필요하고, 이로 인해 GPU의 가격도 상승하고 있죠.

결론적으로, 파라미터의 증가는 AI의 표현력과 성능을 높여주지만, 그만큼 비용이라는 한계를 가져옵니다.

파라미터가 계속 커지기만 하면 될까?

파라미터가 늘어난다고 해서 무조건 좋은 것은 아닙니다.

• 학습 비용이 지나치게 높아지면, 효율성이 떨어지는 지점에 도달할 수 있습니다.

• 모델이 커져도 잘못된 정보를 학습하거나, 특정 분야의 전문성을 확보하지 못하면 여전히 한계가 남습니다.

따라서 앞으로 AI 개발에서는 파라미터의 효율성과 도메인 특화 같은 방향으로 발전해야 할 것입니다.

할루시네이션을 줄이는 방법: RAG와 도메인 특화 모델

AI가 더 똑똑해지기 위해선 단순히 모델 크기를 키우는 것만으론 부족합니다. 특히 금융이나 의료처럼 정확성이 중요한 분야에서는 더 똑똑한 접근이 필요합니다.

1. RAG(Relevance-Aware Generation): 검색과 AI의 결합

RAG는 AI 모델이 자체 추론만 하는 것이 아니라, 기업 내부 데이터베이스나 문서를 검색해 정확한 정보를 바탕으로 텍스트를 생성하는 방식입니다.

• 예시: 회계 기준 검색 서비스에 RAG를 도입하면, AI가 단순히 ‘상상’하는 답이 아니라, 기업 문서나 회계 기준에서 정확한 근거를 찾아 답변합니다.

• 효과: 할루시네이션 완화, 도메인 특화 지식 강화.

2. 파인튜닝(Fine-Tuning): 업무 맞춤형 AI

범용 LLM을 특정 업무에 맞게 학습시키는 방식입니다.

• 예시: 금융권에서는 규제, 상품 구조, 리스크 관리 등 전문 내용을 학습한 AI를 도입하면 더 신뢰도 높은 결과를 얻을 수 있습니다.

AI 도입을 고민 중이라면, 이렇게 시작하세요

1. 작은 파일럿 프로젝트부터 시작

AI를 처음 도입할 땐, 질의응답 챗봇처럼 간단한 프로젝트를 먼저 실행해 보세요. 이를 통해 사내 데이터 품질, 사이트 구조 등의 문제를 파악할 수 있습니다.

2. RAG나 파인튜닝 활용

특히 금융권처럼 정확성이 중요한 업무라면, RAG나 맞춤형 AI 모델을 활용하는 것이 좋습니다.

3. 기술 파트너와 협력

AI 도입은 기술적 난이도가 높기 때문에, 전문적인 기술 파트너와 협력해 진행하는 것을 추천드립니다.

LLM은 완벽하지 않지만, 가능성은 무한하다

AI는 아직 완벽하지 않습니다. 특히 할루시네이션, 도메인 특화 부족 같은 문제가 남아 있죠.

특히 gpu 자원 부족 및 막대한 학습 비용이 허들을 높였습니다. → nvidia 등 gpu 업체의 급부상한 이유죠.

하지만 이러한 한계를 극복하기 위해 다양한 기술이 빠르게 발전하고 있습니다. LLM을 업무에 도입하고 싶다면, 작은 실험부터 시작하고, 필요에 따라 맞춤형 AI 솔루션을 도입하는 것이 성공적인 첫걸음이 될 것입니다.

다음 글에서는 RAG 기술과 도메인 특화 AI의 구체적인 활용 사례를 더 깊이 살펴볼 예정입니다. AI 도입과 관련해 궁금한 점이 있다면 언제든 문의하세요! 😊