Slack에 ChatGPT를 연결하여 업무에 활용해 보기

Apr.06.2023 조성범

AWS Deep Learning Infra NLP

2022년 11월 ChatGPT가 세상에 등장하고 벌써 몇 달이 지났습니다. 새로운 AI 모델의 등장에 환영하는 사람도 있었고, 신기술의 잘못된 사용을 우려하는 목소리도 있었습니다. 하지만 지금은 ChatGPT를 한 번도 사용해 보지 않은 사람은 있어도 한 번만 써본 사람은 없을 정도로 다양한 분야에서 대화형 인공지능을 활용하고자 하는 시도가 계속 늘고 있습니다.


진짜 쓸만한 거 맞아?

우리들 대부분은 "챗봇"이라는 단어에 부정적인 경우가 많습니다. 금융, 쇼핑, 게임 등 다양한 서비스를 이용하며 문의하고 싶은 것이 있을 때 해당 서비스에서 제공하는 챗봇을 이용하기보단 고객센터 전화번호를 먼저 찾습니다. 그동안의 챗봇은 우리의 요청을 이해한 후 논리적인 추리와 함께 가이드를 제시하기보다는, 미리 정의된 정보를 단순히 나열하여 제공해 주는 사전과도 비슷한 역할을 해왔습니다. 그렇다 보니 여러 번 질문을 함에도 원하는 정보가 오지 않을 경우 사용자의 피로도는 수직 상승할 수밖에 없었습니다.

저 역시도 그동안의 챗봇서비스에 지친, 상담 센터 번호를 먼저 찾는 사용자 중 한 명이었고 처음 ChatGPT가 등장했을 때 그저 그런 챗봇이 또 하나 출시되었다고 생각했었습니다.
(물론 기술적으로 따지면 챗봇과 ChatGPT는 기반부터 다른 전혀 별개의 앱이라고 봐야 합니다)

딱히 만족스럽지 않았던 그동안의 챗봇 서비스


진짜 쓸만한 거 맞아!

개발을 할 때 로직은 어렵지 않지만 자주 다루는 라이브러리나 언어가 아닌 경우 구글링을 해야 하는 경우가 종종 있습니다. 그런데 조금 마이너한 라이브러리라거나 일반적인 사용이 아니라면 구글링을 해도 명확한 답이 나오지 않을 때가 많습니다. 저 역시 크게 어려운 문제는 아닌 것 같은데 계속 원하는 결과가 나오지 않는 코드와 씨름을 한 날이 있었고, 이때 처음으로 ‘ChatGPT한테 물어나 볼까?’ 하는 생각을 하게 되었습니다. 그리고 이날 받은 답변은 ChatGPT를 다시 보게 할 만큼 충분히 만족스러웠습니다.

실제 Slack 팀 채널에 올린 메시지 일부


소름이 돋을 정도로 명확하게 원하는 바를 파악하고 엄청난 시간을 절약하게 해 준 ChatGPT에게 그동안 뉴진스 멤버나 물어보며 ‘이것도 대답 못해?’라고 생각했던 제가 한심해지는 순간이었습니다.
(뉴진스 데뷔: 22년 7월, ChatGPT의 데이터: 21년 9월까지)


그럼 이제 이걸 어디에 쓰나…

성능이 좋은 것은 확인되었으니 이제 이것을 어디에 쓰는지가 중요했습니다. ChatGPT 웹사이트에 접속하여 중간중간 도움을 받는 것도 좋지만 하나로 통합된 무언가가 필요했습니다. 그러다 나온 결론이 사내 통합 메신저인 Slack에 결합해 보자였습니다. Slack을 타깃으로 한 이유는 아래와 같습니다.

  • 직군에 상관없이 모두가 사용 중
  • 사내 업무 시스템 중 사용량이 가장 많음
  • 모바일, PC 등 접근성이 좋음

ChatGPT를 연결할 시스템은 정해졌으니 다음은 무엇을 할지 정해야 했습니다. ChatGPT 자체가 학습 가능한 대화형 인공지능이다 보니 활용방안이 무궁무진했지만 우선 우리가 가장 자주 하는 반복 업무에 적용하는 것으로 의견이 모아졌습니다.

Slack을 운영하는 회사는 대부분 별도의 Support/Help 채널을 운영할 것입니다. 우아한 형제들에서의 Support 채널은 인사, 자금, IT 등등 구성원이 업무를 진행하다 막히는 부분이 있으면 해당 업무 전문가가 바로 도와줄 수 있는 창구를 의미합니다. 우리 팀은 이 중에서도 Support-IT 채널을 운영하며 구성원들에게 도움을 주고 있습니다.

Support 채널 중 IT를 담당하며 운영하다 보니 한 가지 드는 생각이 있었습니다. 새로운 질문이 오는 경우도 물론 있었지만 사용자의 문의 대부분(체감상 70-80%)이 거의 동일하다는 것이었습니다. 게다가 Support 채널에 등록된 요청의 목적이 무엇인지, 어떤 담당자를 호출해야 하는지, 일단 적절한 채널에 요청이 온 것인지에 대해서 우선 파악하는 운영 리소스도 갈수록 늘어나고 있었습니다.

따라서 우리는 그 70-80% 질문의 패턴(키워드)을 찾아내어 자동으로 답변 및 담당자를 찾아주는 Slack Bot을 기획하였고 최근 Support-IT 채널에 적용하여 활용하고 있습니다.


사례 1: Support 채널 적용

Support-IT 채널에는 충전기 케이블 대여 문의부터 사내 시스템 오류에 대한 리포트까지 정말 다양한 요청이 올라옵니다. 우리는 이렇게 오는 요청을 우선 분류하여 각각의 키워드를 정리하였습니다. 여기까지는 그동안의 경험을 바탕으로 인공지능이 아닌 인"간"지능으로 진행하였고, 요청의 키워드를 분석하여 실제로 이것이 어떤 요청인지를 파악하는 것은 인공지능 ChatGPT의 힘을 빌려 진행하였습니다. 간단한 시스템 개요도는 아래와 같습니다.

시스템 개요도


운영비용을 최소화하고 검증된 안정적인 서버 사용을 위해 모든 인프라는 SaaS로 구성하였습니다. 보다 자세한 내용은 아래와 같습니다.

1. Support 채널 요청

Slack의 메시지를 받아서 처리하는 봇을 생성하였습니다. 발생하는 메시지를 AWS Lambda로 전달할 수 있도록 적절한 권한을 부여하였고 Lambda 함수를 호출할 수 있는 URL로 연결하였습니다.

Lambda와의 연결 부분


2. ChatGPT로 키워드 추출 요청

메시지를 ChatGPT로 전달하는 것은 사실 큰 기술이 필요하지 않습니다. 문서 어딘가에 숨겨진 잘 안 쓰는 새로운 API가 필요한 것도 아닙니다. 아래 예시 코드처럼 "user"의 요청에 "requestText" 한 줄만 더 추가해서 전달하면 됩니다. 자연어를 인식하는 AI인 만큼 이를 잘 활용하면 "위 요청의 키워드 3개 이내로 한 줄로 쉼표로 구분해서 써줘." 대신 "사용자의 요청을 더 짧게 요약해서 알려줘."라던가 "이 요청의 요청자가 사용하는 시스템을 알려줘." 등 다양한 변수를 추가할 수 있습니다.

def keywordsByChatGPT(text):
    requestText = "위 요청의 키워드 3개 이내로 한줄로 쉼표로 구분해서 써줘."
    messages = [{"role": "user", "content": text},
                {"role": "user", "content": requestText}]
    data = {"model": "gpt-3.5-turbo", "messages": messages, "temperature": 1, "max_tokens": 500}
    response = requests.post(url_for_chatGPT, data=json.dumps(data), headers=headers_for_chatGPT)
    return response.json()["choices"][0]["message"]["content"]

위 코드의 data가 ChatGPT에게 전달되는 값입니다. 각 파라미터에 대한 설명은 아래와 같습니다.
model: API 호출 시 사용하는 ChatGPT의 모델. gpt-3.5-turbo는 현재(23년 3월 29일) OpenAI에서 가장 추천하는 모델
messages: ChatGPT에게 전달할 내용이 담긴 메시지
temperature: 0-2 사이에서 설정 가능하며 숫자가 커질수록 랜덤한 답변이 옴. 값이 낮을수록 정형화된 답변만 옴
max_tokens: 답변에 대한 길이 설정

3~6. 추출된 키워드를 스프레드시트에서 받아오고 다시 Slack으로 답변 전달

이 단계에서 가장 중요한 부분은 왜 Database 같은 시스템을 사용하지 않고 구글 스프레드시트를 사용했느냐인데.. 사실 큰 이유는 없습니다. 이유는 단지 사용자 친화성입니다. 시중에 다양한 SaaS 기반 Database가 있지만 기능적으로는 뛰어날 수 있을지 몰라도 비 IT 부서 구성원은 사용이 어려울 수 있습니다. 우리의 목표는 모든 구성원이 Database를 함께 참조하여 필요한 데이터를 직접 추가, 삭제하는 것이었고, 그것을 위해서는 Google 스프레드시트가 가장 적합하다고 판단하였습니다.


적용한 이후

실제 작동 사례


위 요청은 실제로 ChatGPT를 통한 응답봇이 작동한 사례입니다. 사용자 요청을 읽은 후 ChatGPT가 키워드를 추출하고 해당 키워드에 맞는 담당자를 호출합니다. ChatGPT 외에도 형태소 분석 라이브러리, AWS Comprehend 등 여러 가지 방법을 시도해 보았으나 ChatGPT 만큼 명확하게 키워드를 분석해 주는 케이스는 없었습니다. 심지어 ChatGPT는 "느린 사이트"같은 문장에서 단순히 "느린"을 추출하는 것이 아닌 "느림"이라는 단어로 변경하는 등, 다른 방법보다 더 "사람같이" 분석한 결과를 주었습니다(위의 예시에서도 "회의제한"이라는 단어가 본문에는 없지만 ChatGPT의 키워드에는 포함되어 있습니다). 그리고 기존에는 일단 요청이 어떤 것인지 파악해야 하는 시간이 들었지만, 적용 이후 요청에 대한 운영 리소스가 줄어드는 효과도 가질 수 있었습니다.

물론 아직은 확실한 답변이 있는 명확한 요청에만 답을 하도록 세팅해 두었습니다. 키워드 분석은 ChatGPT가 하지만 실제 답변은 답변풀에서 전달이되고 있어 기존의 (사용자를 피곤하게 하는)챗봇 느낌이 최대한 안 나도록 고민하며 답변풀을 추가하고 있습니다. 그리고 아직은 여러 가지 제약 사항으로 진행하고 있지 않지만, ChatGPT에게 예상 답변을 미리 학습시켜 내용분석부터 솔루션 제공까지 스스로 하는 방법도 검토하고 있습니다.


사례 2: ChatGPT in Slack

다음 사례는 ChatGPT를 Slack에 추가하는 것이었습니다. 사실 이미 Zapier 같은 시스템을 통해 ChatGPT를 Slack에 넣는 시도는 있었습니다.

Zapier를 통한 Slack과 ChatGPT 연동
(지금은 Zapier도 gpt-3.5-turbo를 지원하며 대화의 맥락을 유지할 수 있다)


하지만 위 대화에서 볼 수 있듯이 대화의 맥락 유지가 되지 않으면 실용성이 없다고 판단하였고 우리는 채널 안에 상주하며 필요할 때 호출하여 질문할 수 있는 ChatGPT가 필요했습니다. ChatGPT를 Slack 안에서 효율적으로 활용하려면 적어도 이 정도는 되어야 하지 않을까 하고 필수 기능을 정리해 보았습니다.

  • 단순히 하나의 질문에 답변하는 것이 아닌 대화의 맥락 유지 필요 <- 여기까지는 Zapier로도 가능
  • 채널의 모든 메시지를 가져갈 필요는 없음
  • 필요한 경우에만 간편하게 호출
  • ChatGPT의 답변과 사용자의 메시지 등이 혼재되어 혼란스럽지 않도록 기능 구현

필수 기능이 정해지니 ChatGPT를 어떻게 채널 안에서 자연스럽게 작동시킬지 정리가 되었습니다. 아래는 우아한 형제들에서 정의한 ChatGPT in Slack의 기본 흐름입니다.

Zapier를 통한 Slack과 ChatGPT 연동


메시지에 특정 이모티콘이 부착되었을 때 "안녕하세요. WoowahanGPT입니다. 무엇이든 물어보세요."라는 메시지를 쓰레드로 남기며 사용자에게 ChatGPT와의 대화가 시작되었음을 알립니다. 여기까지는 크게 어렵지 않았습니다. 특정 이모티콘이 부착되었는지 판단하고 메시지를 남겨주기만 하면 됩니다.

하지만 바로 다음 시작되는 사용자의 응답과 ChatGPT의 응답을, "맥락"을 유지한 채 이어주는 것은 전혀 다른 영역이었습니다. 애초에 이 프로젝트를 시작하기 전 제가 알고 있던 지식으로는 ChatGPT의 API 스펙이 프롬프트 형식(질문 하나에 답변하나)만을 지원하고 있었기 때문입니다.

{
  "model": "text-davinci-003",
  "prompt": "Say this is a test",
  "max_tokens": 7,
  "temperature": 0,
  "top_p": 1,
  "n": 1,
  "stream": false,
  "logprobs": null,
  "stop": "\n"
}

기존 API 스펙에서 보이는 것처럼 API Call에 필요한 파라미터 어디에도 메시지를 유지하는 항목은 보이지 않았습니다.
그러던 중 23년 3월에 새롭게 출시된 API 엔진인 gpt-3.5-turbo에 대한 소식을 듣게 되었고 여기에 맞춰서 새롭게 출시된 API 스펙도 알게 되었습니다.

{
  "model": "gpt-3.5-turbo",
  "messages": [{"role": "user", "content": "Hello!"},
                {"role": "assistant", "content": "Hello there, how may I assist you today?"}]
}

바로 위 내용이 새롭게 출시된 API의 주요 파라미터이며 이전과 다르게 prompt가 아닌 messages라는 리스트 형태의 값을 받는 것을 확인할 수 있습니다. messages 리스트 안의 각각의 인자는 role과 content라는 키를 갖는 딕셔너리 형태인 것을 확인할 수 있고 이 값을 계속 추가하여 기존의 맥락을 유지한 채 API를 호출할 수 있었습니다. 다음은 Python(파이썬)으로 제작된 messages 리스트를 생성하는 함수입니다.

def getMsgList():
    messages = []
    for slackMsg in slackMsgs:
        message = {}
        if isGPTBot():
            message["role"] = "assistant"
            message["content"] = slackMsg["text"]
        else:
            message["role"] = "user"
            message["content"] = slackMsg["text"]
        messages.append(message)
    return messages

GPT Bot이 남긴 메시지라면 role을 assistant로 설정하고 메시지를 content에 추가한 후 messages 리스트에 추가합니다. 반대로 사용자가 남긴 메시지라면 role을 user로 설정하고 마찬가지로 메시지 내용을 content에 추가합니다. 이렇게 구성한 messages 리스트를 파라미터로 추가하고 Create chat completion API를 호출하면 맥락에 맞는 답변을 제공합니다.

맥락을 유지한 채 쓰레드 안에서 이루어지는 대화


문제점과 한계

새로운 기술이라는 것이 항상 그렇듯 겉으로 보기에는 화려하고, 기존에 안되던 모든 장애물을 극복할 수 있을 것처럼 느껴집니다. 하지만 실제로 사용하다 보면 크고 작은 문제점(이라고 쓰지만 개선점에 가까운)들이 보이기 시작합니다. ChatGPT를 시스템 운영에 적용하고 보니 마찬가지로 아직은 몇 가지 문제점들이 보이기 시작했습니다.

첫째로 가장 많이 알려진, 아직은 영문 정보가 훨씬 많다는 것입니다. 물론 영문으로 내용 작성하는 것이 크게 불편하지 않다면 이를 큰 단점으로 보기에는 어렵지만, 역시 한국어 지원이 비교적 미흡한 것은 상당히 아쉬운 부분 중 하나입니다. GPT4 버전으로도 여전히 영문이 한글보다는 더 풍부하고 빠르게 답변을 주고 있어 개선이 되었으면 하는 바람입니다.
(23년 3월 29일 기준, GPT4도 여전히 21년 9월 이후의 데이터가 학습되어 있지 않습니다)

둘째로 보안적으로 얼마나 안전한지, 그리고 국내의 법/제도 아래 어느 정도까지 활용 가능할지 아직 미지수입니다. 공식 홈페이지 FAQ에서는 30일까지의 데이터를 저장하며, API를 통해 전송된 사용자의 데이터는 이제 모델 개선에 사용되지 않고 있다고 합니다. 그러나 이는 어디까지나 OpenAI의 현재 정책일 뿐 국내 제도와 비교하여 어떻게 변경이 되는지 지속 확인이 필요합니다.

23년 3월 29일 기준 OpenAI의 API Data 처리 정책


마지막으로 아쉬운 점은 API의 토큰 제한입니다. gpt-3.5-turbo의 경우 현재 4,096 토큰(약 3,000자) 제한을 두고 있습니다. 이 정도만 되어도 웬만한 대화는 가능하지만 대화가 계속 길어지고 고차원적인(소스코드 작성 같은) 질문을 하는 경우 중간에 답변이 종종 잘린 채 왔었습니다. 현재 전 세계적으로 사용량이 워낙 많으니 어느 정도의 제한은 이해가 갑니다. 그냥 단순히 서버를 더 증설해서 대용량의 더 빠른 응답을 바라는 것은 욕심이지만(그것도 아주 큰), ChatGPT Plus 구독자에게는 API 토큰을 늘려주는 별도의 정책을 준다면 어떨까 하는 생각이 들었습니다.


마치며

지금까지 적용한 ChatGPT 기술은 우리 회사의 업무 프로세스에 도움이 되었고, 앞으로 다양한 방면에서 활용 가능성이 열려 있습니다. 아직 완벽하지는 않지만 지속적인 개선을 통해 업무 환경에 더욱 맞춤화된 인공지능을 구축할 것입니다.

대화형 인공지능의 성능에 감탄했으며, 기술 발전 속에서 책임감 있는 사용과 관리가 중요해질 것이라 생각합니다. 이 기술 블로그를 통해 여러분들에게 제 경험을 공유하고, 함께 성장하고자 합니다.

마지막으로, ChatGPT4 API와 ChatGPT Plugin에 대한 기대감이 높습니다. 이 기술을 활용해 다양한 분야와 플랫폼에서 혁신을 이끌어 낼 것입니다. 인공지능 기술을 탐구하며, 이를 적용해 우리의 삶과 업무에 긍정적인 영향을 미칠 수 있도록 노력하겠습니다. 함께 발전하며 더 나은 미래를 만들어갈 수 있기를 바랍니다.

본 글의 “마치며”는 ChatGPT4에게 앞부분에 제가 쓴 내용을 학습시킨 후
최대한 제 문체와 비슷하게 써달라고 요청한 것입니다.