고객센터에 전화를 걸면 상담사가 아닌 인공지능(AI)이 전화를 받고, 문제를 해결하는 시대가 온다.
SK텔레콤(대표 유영상)은 30일 기자간담회를 열고 ‘통신사향 거대 언어모델’을 연내 선보인다고 밝혔다. 오는 6월 개발을 완료한 후 올해 안으로 국내 고객센터에 적용한다는 계획이다.
통신사향 거대 언어모델(이하 텔코 LLM)이란 말 그대로 통신업에 특화된 LLM이다. 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 정형·비정형 데이터를 선별해 LLM에 학습시켜 B2C 영역인 고객센터에서 활용한다.
SK텔레콤은 오픈AI, 앤트로픽 등과 협력을 통해 이같은 데이터들을 멀티 LLM 전략의 일환으로 연구 중인 에이닷엑스, ‘GPT’, '클로드' 등 LLM에 학습시켰다. 통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 활용할 수 있다.
◆SK텔레콤 텔코 LLM, 어떻게 동작할까?
SK텔레콤이 텔코 LLM을 개발하는 이유는 간단하다. 범용 LLM 은 일관되지 않은 답변을 생성하고 답의 품질에서도 차이가 크게 난다. 또 정확성과 과제수행능력에서 문제가 발생하고 최신 모델의 경우 추론 비용이 높아 속도, 품질, 비용을 고려한 최적화된 LLM이 필요하다는 판단에서다.
SK텔레콤의 ‘텔코 LLM'은 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업이 우선 진행된다. 이를 기반으로 범용 LLM을 통신사 전용으로 미세 조정한다. 이후 휴먼 피드백 기반의 강화 학습을 진행한 후 최종 벤치마킹(모델 평가) 과정을 거친다.
텔코 LLM의 장점은 고객 응대 과정에서 가장 잘 드러난다. 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵지만 텔코LLM의 파인튜닝으로 이러한 문제를 해결할 수 있다.
이어 진행되는 강화학습은 품질, 만족도 등을 평가하는 과정이다. 고객 문의에 유용한 답변을 했는지, 문맥을 제대로 이해했는지 등을 사람이 직접 채점하고 피드백이 진행된다.
일련의 과정을 모두 마치면 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가(벤치마킹)를 한다. 낮은 점수를 받으면 관련 데이터를 더 구축하는 파인튜닝 과정을 반복하며 고도화 하는 방식이다.
결과적으로 텔코 LLM은 통신사들에 공급하는 것을 목표로 하는 B2B 사업이지만 최종 단계에선 소비자들과의 접점에서 활용된다. 우선 연내 한국의 SK텔레콤 고객센터에 우선 적용하고 이후로 글로벌 협력을 통해 외국 통신사들의 데이터를 학습할 예정이다.
◆통신 사업 전반에 활용 가능한 SKT의 ‘텔코 LLM'
상담사를 보조하는 LLM도 등장할 예정이다. 현재 고객 센터에서는 상담에 약 3분, 상담 후 업무 처리에 30초 이상이 소요된다. 텔코 LLM은 상담사가 통화를 녹음하고 요약한다. 또 통화하는 동안 해결책까지 직접 제시해 소요 시간을 크게 단축 시킬 예정이다.
특히 멀티 LLM 중 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있다. 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언과 같은 문맥과 뉘앙스를 정확하게 파악할 수 있다.
LLM은 네트워크 인프라 운용에도 활용될 예정이다. 네트워크 모니터링 중 문제가 발생하면, 실시간으로 텔코LLM을 통해 해결 방안을 찾을 수 있다. 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공해 직접 찾는 시간을 크게 줄인다.
아울러 SK텔레콤은 통신사들이 생성형 AI 앱을 효율적으로 구축 및 개발할 수 있는 기업용 AI 개발 운용 패키지 ‘인텔리전스 플랫폼’도 개발 중이다. 멀티 LLM, 멀티모달, 오케스트레이션, 검색증강생성 등을 모두 아우른다.
또 사내 업무 보조 및 운영 지원, 사업/기술 문서 작성 및 교정, 고객센터 지능화 등 기업 내에서 필요한 다양한 솔루션을 빠르게 구현할 수 있다.
SK텔레콤 관계자는 “인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코LLM을 확대 적용할 계획”이라며 “텔코 LLM 유즈 케이스를 지속적으로 늘려가겠다”고 밝혔다.
[소비자가만드는신문=최형주 기자]
