테이블 데이터를 위한 트랜스포머? — 변신 로봇 아닙니다

파운데이션 모델이 바꾸고있는 데이터 분석과 예측의 방식

안녕하세요, D/I 개발담당 Data인텔리전스팀에서 데이터 분석과 머신러닝으로 수요예측 운영 효율을 개선하는 진대현, 김동희입니다.

이 글에서는 Tabular data(엑셀에서 많이 보시는 표 형태의 정형 데이터!)를 위한 딥러닝 모델이 데이터 과학의 한 분야를 조용하지만 조금씩 바꿔나가고 있는 모습을 다룹니다.

데이터 과학 분야가 생소하신 분들도 쉽게 이해하실 수 있도록, 최대한 열과 성을 다했으니 꼭 끝까지 읽어주시면 감사하겠습니다!

🤖 트랜스포머라고 하면… 로봇인가요?

트랜스포머 구조에서 모든 데이터는 서로를 참고합니다!

이제는 조금 옛날 영화이지만, “트랜스포머"라는 단어를 들으면 어떤 분들은 거대한 로봇이 변신하는 장면을 먼저 떠올릴지도 모릅니다.

하지만 데이터 과학 분야에서의 트랜스포머는, 데이터를 이해하는 방식 자체를 바꾼 신경망 구조를 의미합니다.

알고 계셨나요?

업무에서도 쉽게 접하고 있는 GPT! 사용하고 계신 분들 많으시죠? 우리가 생활 속에서 자주 사용하는 GPT 계열의 Agent, 번역 서비스, 음성 인식 시스템 등 많은 서비스가 트랜스포머 구조를 기반으로 만들어졌다는 사실!

트랜스포머 구조의 핵심은 단 하나입니다.

“모든 데이터가 서로를 참고하면서 의미를 만든다.”

조금 추상적이죠? 예를 들어 보겠습니다.

“오늘은 날씨가 맑다. 그래서 기분이 좋다.” 라는 문장이 있다면, “기분이 좋다”는 표현은 앞 문장의 “날씨가 맑다"와 연결되어 해석됩니다.

트랜스포머 구조는 이런 데이터의 Context(문맥)를 전체적으로 고려합니다. 구글 브레인에서 “Attention is All you need(2017)”라는 논문을 통해 트랜스포머 구조를 세상에 발표했고, 이를 참고한 구조와 모델들이 점차 발전해 지금 우리가 생활 속에서 접하는 자연어, 이미지, 음성 데이터 및 서비스에 접목되며 점차 발전해온 것이죠.

그리고 이제는 Tabular data, 우리가 실무에서 가장 많이 접하는 표 형태의 데이터(!) 형식에까지 그 영향력을 조용히 확장하고 있습니다.

📊 테이블 데이터에도 트랜스포머가 필요할까요?

무조건 새 모델이 좋을까요?

우리가 다루는 대부분의 업무 데이터는 다음과 같은 형태입니다. :

• 상품별 판매량
• 점포별 매출
• 고객별 구매 이력
• 할인율과 매출
• 일자별 품절률

다루고자 하는 속성만 다룰 뿐, 모두 행과 열로 구성된 표 형태 데이터입니다.

이러한 데이터 형태는 인간에겐 익숙할지라도, 머신러닝이나 딥러닝 모델이 이해하기엔 어려운 지점이 많습니다.

왜냐하면 :

• 컬럼의 의미가 매번 다르고
• 숫자형/범주형 데이터가 섞여 있기도 하고
• 데이터의 수가 많지 않은 경우도 많고
• 이런 데이터를 갖고 매번 모델을 새로 학습하고 튜닝해야 하니까!

“예측”, 미래에 일어날 일을 미리 알고싶다는 욕망은 역사가 매우 깊은, 인간의 오래된 꿈입니다.

하지만 안타깝게도 이전에 이번주에 낚싯대는 몇 개가 팔릴까? 에서 ‘데이터 부족 현상’에 대해 다뤘던 내용과 마찬가지로, “예측” 이라는 분야에는 제약사항이 참 많습니다.

그렇기 때문에 그간 여러 연구에서 많은 도전을 해왔음에도 비교적 구형의 모델인 XGBoost(2016), LightGBM(2017) 등이 등장한 이후로 눈에 띄는 성능 개선을 이루지 못했습니다.

이 모델들이 오래됐기 때문에 나쁘다 라고 말하는 것이 아니라, 여전히 속도에서나 정확도에서 충분한 성능을 내고있기 때문에 새로운 도전자가 등장하기 어려운 환경이라는 이야기 입니다.

저희와 같은 ML엔지니어 입장에서도, 여러 분야에서 충분히 검증된 모델들을 쓰는 게 안전하다 생각하기도 합니다.

때문에 실무에서 가장 많이 접하는 데이터 임에도, 표 형태의 데이터를 분석하거나 예측해야 하는 영역은 오랫동안 크게 달라지지 않은 분야이기도 했습니다.

트랜스포머 구조를 사용하기엔 학습과 예측에서 속도가 오래 걸린다는 제약사항이 있으므로 사용을 꺼리는 문제도 있었죠.

그런데 최근, 이 영역에서도 조용한 변화가 시작되고 있습니다.

🏗 파운데이션 모델이 테이블 데이터를 품다

글쎄요. 조금 더 확인 해봐야겠지만..

트랜스포머 이야기 한참 하다가, 이번엔 웬 파운데이션 모델?

이 개념은 비교적 간단합니다. 앞서 GPT 등의 서비스에도 트랜스포머 구조가 적용되어있다고 말씀드렸습니다. 이렇듯 자연어 처리 분야에서는 :

• 대규모 데이터로 먼저 학습해 둔 모델이 있고
• 우리는 그 모델을 불러와 활용합니다

즉, 다루려는 모든 문제를 처음부터 학습시키는 것이 아니라, 이미 학습이 끝난 모델을 사용하죠. 이것이 바로 파운데이션 모델(Foundation model)의 개념입니다.

그렇다면 질문이 하나 생깁니다.

“테이블 데이터에도 그렇게… 못하나?”

컬럼이 의미하는 바가 매번 다르고, 데이터의 분포도 다르고, 행의 개수도 제각각인데 어떻게 하나의 모델이 모든 표를 이해할 수 있을까요?

이 질문에 도전한 모델이 오늘 소개할 TabPFN(Prior-data Fitted Network)입니다.

🧠 TabPFN은 무엇이 다른가?

물론 이 정도로 만능이라는 건 아닙니다

TabPFN, 이름이 조금 어렵죠? 하지만 개념은 생각보다 직관적입니다.

핵심 아이디어는 이것입니다.

“수많은 가상의 테이블 데이터를 미리 학습해두고, 새로운 테이블이 들어오면 그 패턴을 기억해서 추론한다.”

여기에 중요한 단어가 하나 있습니다. 바로 “사전학습(Pre-training)” 입니다.

TabPFN은 TabPFN: A Transformer That Solves Small Tabular Classification Problems in a Second(2023)을 통해 처음 세상에 등장했습니다.

이 논문에 따르면 흥미롭게도 TabPFN은 수백만 개의 합성 테이블 데이터로 사전에 학습됩니다.

예를 들어:

• 선형 관계가 있는 데이터
• 비선형 관계가 있는 데이터
• 노이즈가 많은 데이터
• 카테고리 변수가 많은 데이터
• 규모가 작은 샘플 셋
• 값이 불균형한 데이터

이러한 다양한 구조를 가진 “합성 데이터”를 생성해서 미리 학습된 모델인 것입니다.

이 과정은 마치 가상의 수험생이 수능에서 좋은 성적을 거두기 위하여… 수천 권의 문제집을 미리 풀며 나올 수 있는 문제 유형을 모두 외운 것에 비유할 수 있습니다.

이러한 학습 구조를 가진 모델이 실무에서 접하는 테이블을 접하면 어떻게 반응할까요?

이론적으로는 “이 구조는 예전에 봤던 문제 유형이네 ^<^! (으쓱으쓱)” 라고 말하듯 추론을 진행할 것입니다. (물론, 실무에 적용하기 위해서는 충분한 검증이 필수겠지만요.)

🔄 흐려지는 학습과 예측의 경계

@_@ 이ㄱㅓ는,, ㄴㅐ가 알던,, 구조가 아닌ㄷㅣ,,

전형적인 머신러닝 모델의 학습 — 예측 구조는 단계가 분명했습니다.

• 학습한다
• 검증한다
• 배포한다
• 예측한다

하지만, TabPFN은 조금 다르게 작동합니다.

• 학습 데이터와 예측할 데이터를 하나의 context(문맥)로 함께 넣습니다.
• 이 문맥 내에서 모든 행과 열이 서로를 참고하면서 관계를 이해합니다.

이 구조가 점포, 상품 별 매출에 대한 표 데이터에 적용된다면 :

“이 점포의 매출은 이 패턴과 닮았고, 이 상품은 이 유형의 상품 카테고리와 유사하고, … 하니까 내일은 이만큼 팔리겠네요! ”

라는 식의 구조적 유사성을 전체적으로 고려하며 예측을 하게 됩니다.

그래서 모델을 별도로 몇 시간씩 학습시키지 않아도, 상대적으로 아주 짧은 시간 내에 예측이 가능합니다.

(위 내용은, 본 글의 목적에 맞게 모델의 구조를 단순화한 것이므로 상세한 설명이 필요하시다면 다음 글을 참고해주세요. TabPFN: Bayesian 추론을 흉내내는 In-Context Inference)

📊 그래서, 우리 실무에 어떤 의미가 있을까요?

기회를 찾아 잘 써먹어야 합니다.

이 모델의 성능은 앞서 언급한 XGBoost, LightGBM과 같은 모델을 적당히 학습시켰을 때의 성능보다 경우에 따라 조금 좋거나, 조금 나쁘거나 합니다.

참 모호하죠? 하지만, 저희는 이 모델의 실무적 효용에 좀 더 집중했습니다. 이 모델의 사용자 입장에서 경험하는, 예측까지 소요되는 시간은 굉장히 짧습니다. 언급된 두 모델조차도 제법 빠른 속도를 갖췄지만, 그보다도 굉장히 짧지요.

이는 모델을 새로 학습시키는 시간이 필요 없기 때문입니다. 실무에서 주로 사용되는 작은 규모의 데이터에서는 매우 빠르게 Baseline을 만들 수 있습니다(다만, 데이터 규모가 커질 경우 당연히 계산 비용은 증가할 수 있습니다).

하지만 단지 이 모델이 그만큼 멋지고, 만능이란 이야길 하고자 이 글을 작성하는 것이 아닙니다. 물론 만능도 아니구요.

기술이란, 어디에 도움이 될 수 있는지가 가장 중요할 뿐이죠.

이 모델은 다음과 같은 상황에서 제법 효과적입니다. :

데이터가 적은 상황

• 신규 점포, 신규 카테고리, 특정 이벤트 등 데이터가 많지 않다면, 기존의 모델들은 불안정해집니다.
• TabPFN은 다양한 구조와 규모의 테이블을 이미 학습했기 때문에, 상대적으로 안정적인 Baseline을 제공할 가능성이 있습니다.

빠른 의사결정이 필요한 상황

• 모델을 튜닝하고 검증하는 데 며칠이 걸린다면, 실무에서는 부담이 됩니다.
• 사전학습된 모델을 호출해서 빠르게, 그리고 어느정도 안정된 성능 내에서 예측을 수행한다면 의사결정 속도를 높일 수 있습니다.

이게 잘 되고 있는건가? 를 확인하는 비교용 모델

• 운영 중인 모델의 성능이 정말 구조적으로 개선된 것인지, 아니면 데이터의 특성 때문에 일시적으로 효과를 보이는 것인지 판단하기 어렵습니다.
• 이 때 TabPFN은 이동평균이나 과거 실적과 같이 하나의 참조 모델로 활용할 수 있습니다.

⚖ 그렇다면 기존 모델들은 모두 쓸모없나요?

노장(16년생, 17년생)은 죽지 않는다.

단언컨대, 아닙니다.

XGBoost, LightGBM은 여전히 매우 강력한 모델입니다.

특히 :

• 데이터가 크고
• 학습에 필요한 특성이 잘 설계되어 있고
• 모델 튜닝에 필요한 리소스가 충분한 경우

기존 모델이 더 좋은 성능을 낼 수도 있습니다. TabPFN은 합성된 데이터 구조까지 동원하여 사전학습된 모델일 뿐, 그렇다고 해서 우리 회사, 프로젝트, 업무 특성이 반영된 모든 데이터에 능통하다고 볼 수는 없습니다.

다만, 이러한 변화가 전달하는 메세지는 분명합니다.

“문제마다 모델을 학습시키는 시대”에서 “사전학습된 모델을 활용하는 시대”로 우리의 실무 데이터 영역 또한 조금씩 이동하고 있다.

✨ 마무리하며

항상 최선을 다해야 합니다.

예측은 인간의 오래된 꿈, 그리고 우리는 매일 그 꿈을 숫자로 구현하려 노력합니다.

우리가 실무에서 다루는 많은 화면은 여전히 엑셀 화면을 벗어나지 못한 듯 보일 수 있습니다. 하지만, 그 뒤에서 작동하는 엔진은 조금씩 달라지고 있습니다.

트랜스포머는 이제 문장뿐 아니라 표를 이해하기 시작했고, 파운데이션 모델은 자연어 뿐 아니라 표 데이터도 학습하기 시작했습니다.

TabPFN과 같은 테이블 데이터를 위한 파운데이션 모델이 당장 모든 것을 바꾸지는 않겠지만,

• 빠른 프로토타이핑
• 작은 데이터에서의 안정성
• 모델링 비용 감소

위와 같은 실질적인 변화를 가져올 가능성이 있으며, 우리는 이 변화에 주목해 볼 필요가 있습니다.

Data인텔리전스팀 또한 수요예측 영역에서 이러한 가능성을 탐색하고 확인해나가고 있습니다. 새로운 업무 영역을 확장할 때, 이 모델은 Baseline으로 활용하기에 안성 맞춤이기도 하며 활용하기에 따라 안정적인 예측 성능을 보여주기 때문에 그 활용 방법을 다방면에서 모색중입니다.

물론, 단지 성능을 위한 것이 아니라 좀 더 우리의 업무 영역에 실효성이 있는 모델이 되길 바라면서요.

독자분들에 따라 생소한 분야의 이야기일 수 있겠습니다만, 끝까지 함께해주셔서 감사합니다.

즐거운 설 명절 되세요!

SSG.COM이 다루는 데이터예측에 대해 궁금하신 분들은, 기존의 글들도 함께 읽어봐주세요! :

• 이번주에 낚싯대는 몇 개가 팔릴까? — 간헐적 수요 패턴을 갖는 상품의 수요예측 문제
• 이번주에 낚싯대는 얼마일까? — SSG.COM의 Dynamic Pricing
• 오늘은 누구의 손을 들어줘야할까?: Dynamic Pricing 모델 선택의 문제
• 있었는데요, 없었습니다. — 자동발주 예측 품질 개선기