[흥미를 더하다] ChatGPT

https://veganwithbacon.tistory.com/175

[흥미를 더하다] 인공지능?머신러닝?딥러닝?

 

개요

구글의 시대가 끝이 난다? 구글 시대의 종결? it관련 글뿐만이 아닌 뉴스에서조차 ChatGPT가 핫토픽이다.

기존 포스팅했던 것이 기본 개념이라면 AI의 흐름에 대해서 어느 정도 인지해야, 후에 언급하는 내용들을 이해할 수 있을 것이다.

 

컴퓨터 과학의 아버지, 앨런 튜링(Alan Mathison Turing)에서부터 AI에 대한 철학적 물음으로 시작된다.

앨런 튜링은 나치의 애니그마 암호해독에 투입되어, 연합군에 승리를 안겨준 것으로도 유명하다.

튜링 테스트(Turing Test)를 통과하면 지적이라고 생각할 수 있다고 하는 것인데, 이때 나온 것이 존설(John Searle)의 중국어 방 사고 실험이다.

>>튜링테스트

간단하게 설명하면 튜링 테스트는 한 사람이 질의를 하고, 답변은 한쪽은 컴퓨터가 한쪽은 사람이 한다. 질의를 하는 사람이 응답자 중에 컴퓨터를 찾지 못한다면 컴퓨터는 테스트를 통과하게 된다. 이 과정에서 30% 이상을 통과하면 그 컴퓨터는 인간과 같은 사고를 한다고 생각하는 것이다

>>중국어 방 실험

중국어를 모르는 사람을 방에 둔다. 이 방안에 중국어로 된 문답표를 넣어준다. 그리고 이 사람에게 중국어로 된 물음이 들어오면 비슷한 답안을 내놓으라고 한다. 밖에서 질문을 넣는 사람은 이 상황을 모르는 상태로 질문을 만든다.

안에 있는 사람은 문답표를 통해 이 질문에 대한 답변을 하고, 밖에 있는 사람은 중국어로 된 답안지를 보고 방안의 사람이 중국어를 할 줄 안다고 생각하는 것이다.

존설의 중국어 방 실험은 튜링테스트의 허점을 지적한 것이다.

 

🔔위에서 언급한 존설의 중국어 방 실험이나, 튜링테스트처럼 정해진 답변을 넘어서지 못하는 AI, 즉 이미 주어진 정보를 특정 기준으로 정보를 분리하는 모델을 판별 모델(Discriminative model)이라고 하며, 새로운 답변을 생성하는 모델을 생성 모델(Generative model)이라고 한다.

 

   Generative model

생성 모델은 사전 학습을 통해 상호 관계를 학습하며, 스스로 답안을 만들어낸다.

생성 모델이 답안을 만들어 내는 과정에서의 핵심은 상호 관계의 이해이다.

상호 관계를 통해 생성 모델은 문제를 인식, 답을 내놓는다.

질문이 들어오면, 기존 학습을 통해 단어 별로 상호 관계를 비교해 제일 답안에 가까운 것들을 배치시킨다.

 

지금까지 알려진 바로는 데이터 판별 모델에 비해 생성 모델이 생성해내는 값들이 간단하거나 형편없었다.

그 이유는 단순한 상호관계가 아닌 분사나 문법에 대한 이유가 필요했기 때문이다.

반면, 데이터 판별 모델은 DB생성 작업만 잘된다면 자연스러우며 깊이있는 대답이 가능했다.

 

위와 같은 이유들 때문에 생성모델은 현실의 벽에 부딪히는듯 했으나 ChatGPT의 등장으로 생각했던 결과와는 다르게 흘러가고 있다는 것을 알 수 있다.

 

이제 앞서 언급했던 ChatGPT가 무엇인지 알아보자.

  ChatGPT?

: 인공지능 언어 모델로 사용자의 입력을 기반으로 정보를 수집해 자체적으로 답변을 생성한다

 

ChatGPT가 무엇인지 ChatGPT에게 물어봤다.

'ChatGPT는 OpenAI에서 개발된 대화형 인공지능 모델 중 하나입니다. '라고 설명하고 있다.

 

살짝 덧붙이면 ChatGPT는 Open AI에 Chatting AI로 GPT로 만든 Chat봇이라는 의미이다. 

GPT란 Generative, Pre-trained, Transformer의 준말이다.

위의 Transformer는 구글이 만든 인공 신경망 모델이다.

이 Transformer는 기존 머신 러닝 알고리즘과는 다르게 순차 처리가 아닌 병렬 처리를 통해 압도적인 성능을 자랑한다.

기존에는 overfitting의 문제, 데이터 양의 문제, 연산 능력의 문제로 인해 발생하던 상충관계를 기술의 진보와 Transformer를 통해 뚫고 나갈 수 있게 된 것이다.

단순한 학습만을 하기에 학습 오류가 줄어들지 않는 것을 underfitting이라고 한다.

반면 너무 과도한 조건을 통해 너무 많은 오류를 발생시키는 것을 overfitting이라고 한다.

둘의 문제를 해결하는 방법은 간단하다. 양질의 대량의 데이터를 통해 학습시키는 것이다.

 

Transformer의 출현은 인간의 언어를 이해하는 자연어 처리 ai 시장에 획기적인 진보를 가져왔고,

Transformer를 가지고 사전학습을 한 생성 기반의 언어 모델들이 22년 말에 파장을 일으켰다. 중의 하나가 지금 파장을 일으키고 있는 ChatGPT인 것이다.

---

제일 중요한 것은 ChatGPT의 채팅이 아닌 초거대 언어 모델이다.

초거대 언어 모델의 등장과 함께 엄청난 수의 파라미터는 앞으로의 성능 경쟁을 암시하기도 한다.

 

ChatGPT의 등장으로 정답을 얻기 쉬워진 지금, 이제는 결과보다 이유를 중요시해야하는 것은 아닐까.

 

이제는 변화에 따라가지 못하면 그들만의 장점의 퇴색에서 그치는 것이 아닌 레이스에서의 이탈이라고 볼 수 있을 듯하다.

 

 

 

참고 자료 : 

https://www.btcc.com/ko-KR/academy/crypto-basics/what-is-chatgpt

https://www.youtube.com/watch?v=1jLTYGsMTSY 

https://youtube.com/watch?v=g9iWYxNfYpo&feature=shares . 

https://research.aimultiple.com/gpt/ 

https://openai.com/blog/ai-and-compute/ 

https://ko.d2l.ai/chapter_deep-learning-basics/underfit-overfit.html 

https://namu.wiki/w/%ED%8A%9C%EB%A7%81%20%ED%85%8C%EC%8A%A4%ED%8A%B8 

https://namu.wiki/w/%EC%9D%B4%EB%AF%B8%ED%85%8C%EC%9D%B4%EC%85%98%20%EA%B2%8C%EC%9E%84 

https://huggingface.co/blog/large-language-models