- 과학향기 Story
- 스토리
스토리
[과학향기 Story] 생성형AI를 발전시키는 ‘거대 언어 모델’
<KISTI의 과학향기> 제3063호 2024년 05월 27일미국 인공지능 전문기업 오픈AI가 지난 2022년 선보인 대화형 인공지능(AI) 챗봇 ‘챗GPT’에 대한 관심이 식을 줄 모르고 있다. 출시 후 5일 만에 사용자 100만명을 넘기며 생성형 AI 붐을 일으키자 국내외 빅테크 기업들도 서둘러 제미나이, 클로바X 등을 선보였다. 특히 구글은 AI 챗봇으로 인해 검색 엔진 이용률이 줄어들 것으로 전망되자 내부 위기 경보인 ‘적색경보(코드 레드)’를 발령하며 향후 테크 업계가 생성형 AI를 중심으로 재편될 것임을 시사했다.
생성형 AI는 요구 사항에 맞는 텍스트, 이미지, 오디오 등을 만들어내는 인공지능을 총칭한다. 챗GPT 같은 대화형 AI 챗봇은 텍스트에 특화된 생성형 AI로, 거대 언어 모델(Large Language Model, LLM)을 기반으로 만들어진다. 거대 언어 모델은 말 그대로 거대한 양의 텍스트 데이터를 학습해 답변, 요약, 번역 등을 수행하는, 인공신경망으로 구성된 언어 모델이다. 거대 언어 모델이 작동하기 위해 어떤 것들이 필요한지 자세히 알아보자.
그림 1. 생성형 인공지능은 거대 언어 모델을 기반으로 만들어 진다. ⓒshutterstock
시냅스 역할하는 ‘파라미터’ 수천억개 있어야
우선 언어 모델(Language Model)은 입력된 단어나 문장에 대해 통계적으로 가장 적절한 단어 혹은 문장을 출력하도록 훈련된 인공지능이다. 네이버나 구글 같은 검색 엔진의 연관 검색어 기능이 대표적인 예시다. 예컨대 검색창에 ‘아이’를 입력하면 ‘아이유’, ‘아이패드’, ‘아이폰’ 같은 연관 검색어가 표시되는데 이는 언어 모델이 입력값인 ‘아이’와 연관 있는 단어를 확률에 따라 보여주는 것이다. 확률은 학습한 검색 데이터를 기반으로 하는 만큼 많은 데이터를 학습할수록 정확한, 즉 사용자가 원하는 답변을 내놓는다.
거대 언어 모델은 수천억 개의 파라미터를 활용해 방대한 텍스트 데이터를 학습한 언어 모델이다. 파라미터는 언어 모델을 구성하는 신경망에 가중치를 부여한다. 언어 모델이 데이터를 학습하는 과정에서 파라미터는 요구 사항에 대해 정확한 답변을 산출하는 방향으로 값이 바뀐다.
예컨대 일차함수 f(x)=c*x로 짜인 언어 모델은 x에 어떤 값을 입력하면 파라미터 c에 x를 곱한 값을 내놓는다. 이 모델이 연관 검색어를 보여주는 언어 모델이라면 ‘아이’와 ‘아이패드’에 각각 숫자를 부여(예: 아이=3, 아이패드=9)한 후 데이터를 학습하면서 적합한 c를 찾아 나선다. 초기에는 c를 무작위로 부여(예: c=2)하는데 2*3이 9보다 작은 걸 인식해 c를 늘려가며 10을 내놓는 값(3)에 다가선다.
그림 2. 파라미터가 많을수록 AI의 성능이 좋아진다. ⓒshutterstock
로봇팔의 관절이 많아야 섬세한 동작을 할 수 있는 것처럼 파라미터가 많을수록 미세한 조정이 가능하다. 즉 파라미터가 많을수록 입력값의 세부적인 특성까지 파악할 수 있다는 뜻이다. 이런 이유로 파라미터는 시냅스(뉴런과 뉴런 사이에서 신경전달물질이 오가는 틈)에 비유되는 동시에 언어 모델의 성능을 판단하는 지표 중 하나로 여겨진다.
거대 언어 모델은 일반적으로 1,000억 개 이상의 파라미터를 가진다. 대표적으로 챗GPT 초기 버전에 쓰인 GPT-3의 파라미터는 1,750억 개로 알려졌고, 구글이 개발한 거대 언어 모델 PaLM은 5,400억 개의 파라미터를 갖고 있다. 파라미터가 1,000억 개 미만이면 ‘경량 거대 언어 모델(small Large Language Model, sLLM)’, ‘소형 언어 모델(Small Language Model, SLM)’ 등으로 따로 구분한다.
우리 삶과 밀접한 거대언어모델
생성형 AI가 산업계의 트렌드가 되면서, 구글, 네이버 등 다양한 국내외 기업에서 대규모 언어 모델 개발에 박차를 가하고 있다. 자체 보유한 데이터를 활용해 대규모 언어 모델을 개발하는 기업도 있지만, 메타 LLaMA2처럼 오픈 소스를 기반으로 제작한 대규모 언어 모델도 개발되고 있다. 다만 한글에 특화돼 있고, 과학 기술 정보 제공을 목적으로 한 대규모 언어 모델은 존재하지 않았다. 이에 한국과학기술정보연구원(KISTI)은 논문, 보고서 등 연구데이터를 대상으로 한 대규모 언어 모델 'KONI'를 개발해냈다. KONI는 올해 7월 중 오픈 소스로 공개될 예정이다.
이렇게 만들어진 거대 언어 모델은 이미 다양한 형태로 우리 삶에 침투하고 있다. 구글은 지난 5월 14일 제미나이와 음성 모델을 기반으로 만들어진, 사람처럼 보고 들을 수 있고 음성으로 대화하는 기능을 선보이면서 SF영화에서 나오는 AI 비서가 출시될 날이 머지않았음을 알렸다. 앞으로 AI 생태계가 우리의 삶을 어떻게 바꿔 놓을지 지켜보자.
글 : 김우현 과학칼럼니스트 / 일러스트 : 유진성 작가
![KISTI의 과학향기](/design/theme/scent/img/view_search_logo.png)
추천 콘텐츠
인기 스토리
-
- [과학향기 Story] 알약 한 알이면 오늘 운동 끝?
- ‘불로장생(不老長生)’: 늙지 않고 오랜 삶을 영위함을 뜻하는 말이다. 이는 인류의 역사와 함께 시작되었다 해도 과언이 아닐 정도로 시대와 배경을 불문하고 인류가 끊임없이 집착하고 있는 인류의 영원한 숙원과도 같은 일이다. 현재까지 알려진 장수 방법 중, 불로장생을 실현하기 위한 가장 효과적인 방법은 무엇일까? 사실, 우리는 이미 답을 알고 있다....
-
- [과학향기 Story] 우유로 만든 숙취해소제가 나왔다?
- 다들 한 번쯤 사람들과 살짝 찌그러진 주전자에 막걸리를 담아 하하 호호 술잔을 기울이며 즐기던 추억이 있을 것이다. 그러나 그 즐거운 순간의 이면에는 깨질 것 같은 두통을 동반한 어지러움과 속이 메스꺼운 ‘숙취’의 순간이 존재한다. 그렇다면 숙취는 왜 일어나는 것일까? 숙취의 원인과 함께 독특한 숙취해소제에 대해 알아보자. 사진 1. 적정량의 ...
-
- [과학향기 Story] 이상기후가 지진을 부추긴다?
- 홍수, 가뭄, 폭염… 지구온난화로 인해 곳곳에서 이상기후 현상이 발생하고 있다. 그로 인해 전염병이 퍼지고, 식량이 부족해지고, 집이 물에 잠겨 생활 터전을 잃는 등의 여러 피해가 연이어진다. 그런데 가운데, 미국 매사추세츠공대학교 지구대기행성과학부 윌리엄 프랭크 교수팀은 폭우나 폭설과 같은 이상기후가 지진을 유발할 수 있다고 밝혔다. <사진> ...
이 주제의 다른 글
- [과학향기 Story] 딥러닝, 똑똑한 인공지능을 만든 비밀
- [과학향기 for Kids] 과학기술 발전에 필수! ‘연구데이터’란?
- [과학향기 for Kids] “어떤 일이든 맡겨줘!” 마법 같은 생성형 AI의 비밀은?
- [과학향기 for Kids] 인공지능(AI)이 똑똑해진 비결은? ‘기계학습’
- [과학향기 Story] ‘꿈의 컴퓨터’ 양자컴퓨터, 어디까지 왔을까?
- [과학향기 Story] 과학기술 발전의 핵심, 연구데이터
- [과학향기 for Kids] 전 세계 연결망, 해저케이블을 위협하는 범인은?
- [과학향기 for Kids] 놀라운 힘을 가진 미래 컴퓨터, 양자컴퓨터
- [과학향기 for Kids] 한국의 슈퍼컴퓨터, 어디까지 왔니?
- [과학향기 Story] 스포츠에 불어든 AI 바람
ScienceON 관련논문