배민선물하기 AI 메시지 제작기: 생성 AI가 센스 있는 선물 메시지를 대신 쓰기까지

May.02.2024 김희선

AI PM

여러분은 생성 AI를 적용한 서비스를 만들어본 적이 있으신가요? 배민선물하기팀에서는 만우절을 맞이하여 배민선물하기 서비스 내 생성 AI를 활용한 ‘AI 메시지’ 기능을 오픈했습니다. AI 메시지는 배달의민족 앱 내 선물하기 서비스에서 선물할 때, 선택한 카드에 어울리는 메시지를 AI가 대신 작성해주는 기능입니다. AI 메시지는 만우절을 맞이하여 유머러스한 메시지를 추천해주었으며, 3월 28일부터 4월 1일까지 서비스되었습니다.


배민선물하기에서 AI 메시지를 만들게 된 이유

배민선물하기는 배달의민족 앱에서 "밥은 먹었니?"와 같이 안부를 전하며 마음을 담은 선물을 할 수 있는 서비스입니다. 다른 선물하기 서비스와는 다르게 선물 의도에 맞게 특별한 카드를 고르고 직접 메시지를 작성해서 좀 더 마음이 담긴 선물을 할 수 있는 특징이 있습니다. 특히 배민선물하기는 선물한 사람의 따뜻한 마음을 받는 사람에게 전달할 수 있는 선물 경험을 만들기 위해 노력하며, 메시지를 작성하는 행위를 마음을 전달하는 중요한 수단으로 생각하고 있습니다. 그래서 생성 AI를 배민선물하기에 접목하는 서비스 아이디어를 고려할 때 우리는 메시지 작성에 어려움을 겪는 고객을 돕는 것에 가치를 두고 문제를 해결하고자 했습니다.


문제

초창기 배민선물하기 서비스에서는 고객이 선물을 선택하면 기본적으로 제공하던 메시지가 있었는데, 서비스를 업데이트하면서 기본메시지를 더 이상 제공하지 않아 아쉽다는 고객의 의견이 종종 있었습니다. 선물과 카드를 고르고 나서 메시지를 작성하려고 할 때 어떤 메시지를 보낼 지 고민된다는 고객도 있었습니다.

Baemin-Gift detail page

배민선물하기 선물상세 화면에서는 마음을 담아 최대 200자까지 메시지를 작성할 수 있습니다.


가설

선물 메시지 작성에 어려움을 겪는 고객을 위해 AI가 대신 메시지를 써준다면 어떨까요? 메시지 작성을 고민하는 시간이 줄어들면 좀 더 편리한 선물 경험이 되지 않을까요? 이 질문과 기대로 AI 메시지 프로젝트가 시작되었습니다.
배민선물하기에는 다양한 카드가 있다는 점이 강점이지만 현실적으로 카드에 어울리는 메시지를 사람이 모두 작성하고 입력하기에는 어려움이 있습니다. 그래서 생성 AI가 사람 대신 각 카드에 어울리는 다양한 메시지를 메시지를 생성하게 하고, 고객은 카드를 고른 후 "AI 메시지로 대신 써주세요" 버튼을 눌러 AI가 추천해주는 여러 메시지 중에 마음에 드는 메시지를 선택하도록 하였습니다.


금쪽이 GPT를 훈련시키는 솔루션 3단계

Step1. 우리 (에이)아이의 성격 정의하기

Chat GPT(OpenAI에서 개발한 GPT-3.5와 GPT-4를 기반으로 하는 대화형 인공지능 서비스)를 이용하여 선물 메시지를 생성하기로 결정한 다음에 가장 먼저 한 일은 AI의 성격(아이덴티티)을 정의하는 것이었습니다. 대화형 AI에게서 원하는 답을 얻기 위해 가장 중요한 것이 바로 ‘역할 부여’이기 때문입니다. 만우절을 맞이하여 AI가 장난스러운 농담 메시지를 대신 생성해주는 것을 기대하며, ‘재기 발랄한 농담으로 사람들을 웃기는 코미디언’이란 직업뿐만 아니라, 기본적인 말투를 구체적으로 서술하여 우리의 만우절 AI에게 해당 성격을 기반으로 메시지를 생성할 수 있도록 하였습니다.

results after defining AI's identity


Step2. 알맞은 학습교재 제공하기

성격을 정의하고 나면 AI가 한 번에 원하는 수준의 농담 메시지를 생성해주면 참 좋을텐데, 아쉽게도 Chat GPT는 유머가 부족한 데다가 한국어가 모국어가 아닌 아이였습니다. 이런 아이에게는 나머지 학습이 필요하기 마련인데요. 짧은 예시문장들을 제공하여 AI가 예시 문장을 참고하여 새로운 메시지를 만들 수 있도록 하는 작업을 ‘퓨샷러닝'(Few-shot Learning)이라고 합니다.
또한, 학습에서 중요한 것은 바로 수준에 맞는 학습 교재를 선정하는 일입니다. 배달의민족에서 선물메시지를 대신 써주는 AI라면 아무래도 음식을 기반으로 풍부한 표현과 말장난을 할 수 있어야한다고 생각하였습니다. 그래서 퓨샷 러닝의 예시 문장들을 역대 ‘배민신춘문예’ 수상작의 문장으로 학습을 시킨 결과, 만우절 AI가 음식 이름을 기반으로 삼행시를 짓거나 유사한 농담을 하게 되었습니다.

results after few-shot learning

‘만우절 핫도그’ 카드에 어울리는 메시지를 추천해달라고 할 때
퓨샷러닝 전에는 ‘만우절’, ‘핫도그’ 단어를 활용한 문장을 만들어주는 반면,
퓨샷러닝 후에는 AI가 음식 이름을 활용하여 ‘치즈처럼 쭉~ 늘어나길’, ‘겉바속촉’ 등과 같은 다양한 표현과 음식 이름으로 삼행시 문장을 생성하게 되었습니다.


Step3. 올바르게 훈육하기

그럼에도 불구하고 생성 AI는 종종 자가 학습 특성으로 인해 알 수 없는 말을 하거나 선을 넘는 농담을 하는 등의 고유한 위험이 존재하며, 잘못된 메시지가 그대로 고객에게 노출된다면 문제가 심각해질 수 있습니다. 이러한 문제를 해결하려면 가드레일(안전난간)과 같은 특정 지침을 AI에게 알려주어야 합니다.
먼저, AI 메시지를 생성하는 사람이나 AI 메시지를 선물받는 사람이 불쾌하지 않도록 인신공격형 표현을 하지 않도록 제어하였습니다. 또한 배달의민족 앱에 적용하고 있는 사용불가한 콘텐츠 표현을 제외할 수 있도록 가드레일을 마련하였습니다. 처음에는 ‘배달의민족’ 대신 경쟁사 이름을 넣어 메시지를 작성하기도 했던 AI가 가드레일 적용 후 ‘배달의 민족’ 이름을 활용한 센스 있는 삼행시도 작성하게 되었어요.

results after guardrail

그리고 추가로 좀 더 장난스러움이 느껴지도록 메시지 내용에 맞게 이모티콘도 적절하게 활용하도록 하여 만우절 AI가 허용된 표현 안에서 만우절 장난 메시지를 생성할 수 있도록 하였습니다.

results after guardrail2

가드레일을 적용하기 전에는 ‘나도 식빵이 아니야!’와 같이 알아듣지 못할 말을 하거나, ‘다이어트’에 관한 민감한 이야기를 하며, 믿지 말라고 하고 다시 ‘진짜에요’라는 사실을 강조하는 표현을 사용하는데, 가드레일 적용 후에는 ‘칼로리 제로’로 순화된 표현이나 ‘믿지 마세요’ 또는 ‘믿어도 될까요?’라고 장난임을 알 수 있도록 가드레일 안에서 문장을 생성하게 되었어요


결과

배민선물하기에서는 2024년 3월 28일에서 4월 1일간 만우절 카드를 선택하여 선물을 하는 고객에게 AI 메시지 버튼을 노출하였고, 버튼을 클릭할 때마다 카드에 어울리는 재미있는 메시지를 추천해주었습니다.

그 결과, 5일간 평균적으로 AI 메시지 버튼을 본 전체 고객의 13%가 AI 메시지 버튼을 눌러 추천메시지 기능을 이용하였습니다. 만우절 당일에는 더 많은 고객 AI 메시지 기능을 활용하는 것을 확인할 수 있었습니다.
또한 기존에 메시지를 쓰지 않던 고객도 AI 추천메시지 기능 활용하여 메시지를 작성하는 시도가 증가하였습니다. 기간 내 AI 메시지 생성 버튼이 노출된 고객의 경우 메시지를 작성하거나 추천메시지 기능을 활용하는 비율이 기존 대비 2배 가까이 증가하였습니다.

재미있는 점은 AI 메시지를 사용한 선물 구매 건 중 대부분(80%)이 추천메시지를 수정하지 않고 그대로 선물한 것으로 보아 생성 AI가 대신 써 준 메시지 내용에 대체적으로 만족한 것으로 생각하였습니다. 오랜 시간 동안 금쪽이 GPT를 가르치는 3단계 솔루션이 효과가 있었던 것이 아닌가 내심 기뻤습니다.

배민선물하기는 이번 만우절 AI 메시지를 시작으로 앞으로 더 많은 카드로 선물할 때 카드에 어울리는 메시지를 대신 써줄 수 있도록 확장할 계획입니다. 생성 AI가 센스 있는 선물 메시지를 대신 작성해줄 뿐만 아니라 즐거운 선물 경험을 만들어 줄지 앞으로도 기대해주세요!