🚀 대박! 오라클 클라우드로 컨테이너 활용해 ML 배치 학습 쉽게 하는 방법! (완전 꿀팁) 🚀

안녕하세요~! 데이터 사이언스와 클라우드 기술에 관한 모든 것을 알려드리는 테크블로거입니다! 😊

여러분, 요즘 ML(머신러닝) 모델 학습시키는 데 시간이 너무 오래 걸려서 힘드시죠? 저도 처음에는 로컬 컴퓨터로 모델 돌렸다가 12시간 넘게 기다린 적 있어요. 헐! 완전 비효율적이었죠! 🤦‍♀️

근데 오늘! 정말 혁신적인 방법을 소개해드릴게요! 바로 오라클 클라우드의 'OCI Data Science' 서비스를 활용한 컨테이너 기반 ML 배치 학습인데요, 이거 진짜 대박이에요! 여러분의 ML 워크플로우를 완전히 바꿔놓을 거예요! 👍

자, 지금부터 어떻게 오라클 클라우드에서 컨테이너를 활용해 ML 배치 학습을 효율적으로 할 수 있는지 낱낱이 파헤쳐 볼게요! 초보자도 따라할 수 있게 쉽게 설명해드릴게요~

✨ OCI Data Science 서비스가 뭐길래 이렇게 핫한 거죠?

먼저 OCI Data Science 서비스가 뭔지 알아볼까요? 이건 오라클 클라우드 인프라(OCI)에서 제공하는 IaaS(Infrastructure as a Service) 형태의 서비스예요.

쉽게 말하자면, 데이터 사이언티스트들이 데이터를 더 효율적으로 다룰 수 있도록 도와주는 도구 모음집이라고 생각하시면 돼요! 이 블로그에서는 특히 'Jobs' 구성 요소와 'BYOC(Bring Your Own Container)' 기능에 집중해볼 건데요, 이를 통해 ML 작업을 커스텀 컨테이너 이미지로 정의할 수 있어요.

제가 처음 OCI Data Science 서비스를 접했을 때 정말 놀랐어요! 🤩 기존에 사용하던 다른 클라우드 서비스보다 훨씬 직관적이고 사용하기 편했거든요. 특히 BYOC 옵션은 오픈소스 프레임워크와의 통합을 정말 간단하게 만들어주고, 클라우드에서 데이터 사이언스 워크로드를 패키징할 때 엄청난 유연성을 제공해요.

여러분도 알다시피, 요즘 데이터 사이언스 프로젝트는 점점 더 복잡해지고 있잖아요? 이런 상황에서 OCI Data Science는 정말 구세주 같은 존재예요!

🔍 OCI Data Science의 주요 기능은 무엇일까요?

OCI Data Science 서비스는 완전 관리형, 서버리스 플랫폼으로 설계되어 데이터 사이언티스트 팀이 전체 머신러닝(ML) 라이프사이클을 관리하는 데 도움을 주는 서비스예요.

여기서 꿀팁! 이 서비스의 가장 큰 장점은 익숙한 Jupyter Lab 인터페이스 내에서 Python과 오픈소스 도구를 사용하여 ML 모델을 구축, 학습, 배포 및 관리할 수 있는 종합적인 환경을 제공한다는 거예요! 😍

이 플랫폼의 주요 기능들을 살펴볼까요?

1. 협업 프로젝트 작업 공간

2. 다양한 컴퓨팅 형태(GPU 포함)에 액세스할 수 있는 관리형 노트북 세션

3. 자동화된 머신러닝(AutoML) 기능

4. 학습된 모델을 저장하고 공유하기 위한 모델 카탈로그

5. 관리형 모델 배포 엔드포인트

6. 엔드-투-엔드 워크플로우 자동화를 위한 ML 파이프라인

7. 성능 보장 및 드리프트 감지를 위한 모델 모니터링

와~! 이런 기능들이 모두 하나의 서비스에 통합되어 있다니 정말 대단하지 않나요? 🤯

게다가 OCI Data Science는 Autonomous Database, Object Storage, OCI Functions와 같은 다른 OCI 서비스와의 긴밀한 통합을 제공해요. 이로 인해 데이터 수집, 특성 엔지니어링, 모델 배포가 더욱 간소화되죠!

💻 OCI Data Science Jobs - 배치 작업의 새로운 패러다임!

자, 이제 OCI Data Science 서비스의 핵심 기능인 'Jobs'에 대해 자세히 알아볼게요!

Jobs 기능은 정말 혁신적이에요! 지속적인 컴퓨팅 리소스 없이도 배치 지향 데이터 사이언스 워크로드를 실행할 수 있는 강력하고 확장 가능한 환경을 제공하거든요. 데이터 사이언티스트가 대규모 데이터셋에 대한 모델 학습, 복잡한 특성 엔지니어링 파이프라인, ETL(Extract, Transform, Load) 프로세스와 같은 반복 가능한 작업을 서버리스 방식으로 정의하고 실행할 수 있어요.

여러분도 이런 경험 있으시죠? ML 모델 학습시키려고 노트북 계속 켜두거나, 대용량 배치 작업을 위해 전용 컴퓨팅 인스턴스를 프로비저닝하는 번거로움... 😫 Jobs 기능을 사용하면 이런 오버헤드가 모두 사라져요! 필요한 인프라를 프로비저닝하고, 작업을 실행한 다음, 완료 시 자동으로 리소스를 종료하니까요.

또한 Jobs를 Pipeline으로 조정하여 Job 실행에 종속성을 허용하고, OCI Logging Service와 통합하여 장기 실행 작업의 상태를 쉽게 모니터링할 수 있어요.

제 경험상, 긴 시간이 걸리는 모델 학습이나 데이터 전처리 작업은 Jobs 기능을 활용하면 효율성이 200% 이상 올라가요! 노트북 세션을 계속 열어두지 않아도 되니 다른 작업에 집중할 수 있거든요. 💪

🔧 BYOC 옵션 - 내 맘대로 커스터마이징하는 컨테이너의 세계!

자, 이제 오늘의 진짜 핵심인 BYOC(Bring Your Own Container) 옵션에 대해 알아볼까요?

이건 정말 게임 체인저예요! 🚀 OCI Data Science Jobs 내의 BYOC 옵션은 컨테이너 기술과 오픈소스 도구에 이미 익숙한 데이터 사이언티스트와 개발자들에게 완벽한 선택이에요. BYOC를 사용하면 커스텀 Docker 이미지를 제공하여 작업의 전체 런타임 환경을 정의할 수 있어요.

이게 무슨 말이냐면, 기본 이미지, 종속성 및 데이터 사이언스 워크로드의 일부로 참조해야 할 수 있는 기타 파일에 대한 완전한 제어권을 갖는다는 거예요! 컨테이너 빌드 및 관리에 익숙한 분들에게는 학습 곡선이 거의 없이 OCI Data Science에서 배치 프로세스를 실행할 수 있는 쉬운 전환을 제공해요.

여러분! 이건 진짜 대박 기능이에요! 😍 제가 처음 BYOC 옵션을 써봤을 때, 기존에 로컬에서 개발한 ML 파이프라인을 거의 그대로 클라우드로 옮길 수 있었어요. 복잡한 환경 설정이나 종속성 문제로 고생할 필요가 없었죠!

🐟 실제 예제로 배워보자! - MCMC를 사용한 어류 자원 모델링

자, 이제 실제 예제를 통해 어떻게 BYOC를 활용하는지 살펴볼게요! 이 워크플로우 예제에서는 객체 스토리지에서 데이터를 로드하고, 전처리한 다음, 확률적 머신러닝 모델을 학습하는 컨테이너를 만들 거예요. 그리고 출력된 사후 확률은 다시 객체 스토리지에 저장될 거예요.

잠깐만요! 이 예제를 따라하기 전에 필요한 정책을 설정했는지 확인하세요. 어떤 정책을 추가해야 하는지에 대한 자세한 내용은 공식 문서에서 확인할 수 있어요.

📊 데이터셋

이 예제에서 사용하는 데이터셋은 영국 환경청에서 가져온 것으로, 영국 남서부 데본 지역의 강과 하천에서 담수 어류 샘플을 수집한 자료예요. 샘플링 방법, 어종, 위치, 어류 수 등의 정보가 포함되어 있어요.

데이터셋 자체는 꽤 작은 편이고, 데이터를 전처리하면 각 어종마다 최소 170개의 샘플 관측치가 있는 것을 볼 수 있어요.

🔄 컨테이너가 수행할 작업

모델링 자체는 이 글의 초점이 아니지만, 작업 실행 중에 코드가 무엇을 할 것인지 이해하는 것이 유용해요.

컨테이너가 수행할 작업을 간략히 요약하면:

1. 객체 스토리지에서 여러 CSV 파일을 데이터프레임으로 로드

2. 다음을 포함한 데이터 정제 및 집계:

• 원-핫 인코딩

• 특성 엔지니어링

• 변수 스케일링

1. 준비된 데이터는 Bambi 라이브러리로 모델링될 예정 (베이지안 회귀 모델 생성)

2. 사후 샘플을 다시 객체 스토리지에 출력

여기서 꿀팁! 베이지안 모델링은 불확실성을 정량화하는 데 정말 좋은 방법이에요. 특히 어류 자원과 같은 생태학적 데이터를 다룰 때 단순히 예측값만 제공하는 것이 아니라, 그 예측의 불확실성까지 함께 제공할 수 있어요! 🤓

🛠️ 컨테이너 이미지 만들기 - 직접 따라해보세요!

이제 실제로 컨테이너 이미지를 만드는 방법을 알아볼게요! 단계별로 쉽게 설명해드릴게요~

1️⃣ requirements.txt 파일 만들기

먼저 이미지를 빌드하는 데 필요한 Python 종속성을 문서화하기 위해 requirements.txt 파일을 만들어야 해요. 가상 환경을 만들고, 종속성을 설치한 다음, 설치된 패키지를 텍스트 파일에 작성하면 돼요.

python3 -m venv jobs source jobs/bin/activate pip install bambi pip install "oracle-ads[data]" pip freeze > requirements.txt

2️⃣ Python 스크립트 준비하기

그 다음, 작업 실행 중에 실행될 Python 스크립트를 준비해요. 이 스크립트는 위에서 설명한 데이터 로딩, 전처리, 모델링, 결과 저장 등의 작업을 수행해요.

3️⃣ Podman으로 컨테이너 이미지 빌드하기

저는 Podman을 사용해서 컨테이너 이미지를 빌드했어요. 참고로, 제 노트북은 ARM 아키텍처를 사용하기 때문에 OCI 컴퓨팅 모양에 맞게 AMD에서 실행할 수 있도록 빌드 문에 플랫폼 태그를 추가했어요.

podman build --platform linux/amd64 --build-arg type=remote -t byoc .

여기서 잠깐! Docker 대신 Podman을 사용한 이유가 궁금하시죠? Podman은 루트 권한 없이도 컨테이너를 실행할 수 있고, 데몬이 필요 없어서 보안적으로 더 안전한 측면이 있어요. 하지만 Docker를 사용해도 똑같이 작동해요! 본인이 편한 도구를 사용하시면 됩니다~ 😉

📤 OCIR에 이미지 등록하기 - 이것만 알면 끝!

이미지를 로컬에서 빌드한 후에는 Oracle Cloud Infrastructure Registry(OCIR)에 태그를 지정하고 푸시할 수 있어요. OCIR은 개발자가 컨테이너 이미지를 저장, 공유 및 관리할 수 있게 해주는 Oracle 관리형 레지스트리예요.

Podman을 사용하여 OCIR에 로그인하고, 이미지에 태그를 지정한 다음 레지스트리에 이미지를 푸시했어요:

podman login <region>.ocir.io podman tag localhost/byoc <region>.ocir.io/<namespace>/byoc podman push <region>.ocir.io/<namespace>/byoc

이 부분이 처음에는 좀 헷갈렸어요. 특히 region과 namespace 부분을 어떻게 채워야 할지 몰라서 한참 헤맸던 기억이 나네요. region은 사용 중인 오라클 클라우드 리전(예: us-ashburn-1)을 의미하고, namespace는 일반적으로 테넌시 네임스페이스를 의미해요. 이 정보는 OCI 콘솔에서 확인할 수 있어요! 🔍

🚀 Job 만들기 - 드디어 실행할 시간!

이제 작업 중이던 OCI Data Science Service 프로젝트로 가서 새 Job 정의를 만들어요. '선택적 구성' 섹션에서 'BYOC'를 선택할 수 있어요. 여기에서 컴파트먼트와 OCIR에 저장된 컨테이너 이미지를 선택할 수 있어요.

대박! 이제 거의 다 왔어요! 🎉 처음에는 이 과정이 복잡해 보일 수 있지만, 한 번 설정해두면 다음부터는 정말 쉬워져요. 그리고 이렇게 만든 Job은 재사용할 수 있으니 정말 편리해요!

📝 로그 만들기 - 모든 과정 꼼꼼히 기록!

Oracle Cloud Infrastructure Logging 서비스는 테넌시의 모든 로그에 대한 고도로 확장 가능하고 완전히 관리되는 단일 창구예요. Logging은 Oracle Cloud Infrastructure 리소스의 로그에 액세스할 수 있게 해줘요.

로그에는 다음과 같은 세 가지 종류가 있어요:

1. 감사 로그

2. 서비스 로그

3. 사용자 정의 로그

이 예제에서는 사용자 정의 로그를 사용하여 Job의 출력을 기록해요. OCI 콘솔의 Observability & Management 섹션에서 새 로그 그룹과 로그를 만들 수 있어요.

여기서 꿀팁! 로그를 항상 설정해두면 나중에 문제가 생겼을 때 디버깅하기가 훨씬 쉬워져요. 제가 처음에는 로그 설정을 건너뛰었다가 작업이 실패했을 때 원인을 찾느라 고생했어요. 그러니 꼭 로그 설정은 잊지 마세요! 😅

🔄 Job 실행 및 모니터링 - 이제 결과를 확인해볼까요?

Job이 정의되면 임시 또는 예약된 일정에 따라 다시 실행할 수 있어요. OCI 콘솔을 사용하여 임시 작업 실행을 트리거할 수 있어요. 여기에서 필요한 경우 할당된 컴퓨팅과 같은 설정을 변경할 수도 있어요.

작업 실행이 수락되면 작업을 실행하는 데 필요한 리소스를 프로비저닝해요. 그런 다음 사용자 정의 로그에서 작업이 실행될 때 출력을 볼 수 있어요.

여기서 중요한 것은 인내심이에요! 😊 특히 대규모 ML 모델을 학습시킬 때는 시간이 좀 걸릴 수 있어요. 하지만 로그를 통해 진행 상황을 실시간으로 확인할 수 있으니 안심하세요.

작업이 완료되면 OCI Storage Bucket에서 사후 확률이 결과 하위 폴더에 저장된 것을 볼 수 있어요.

와~! 정말 신기하지 않나요? 🤩 이제 여러분은 클라우드에서 ML 모델을 자동으로 학습시키고 결과를 저장하는 파이프라인을 만들었어요!

🔄 Job을 활용하는 다른 방법들 - CLI, SDK, VSCode까지!

작업 실행이 매번 콘솔에서 임시로 실행되는 경우는 드물어요. 작업을 프로덕션화하기 위한 여러 방법이 있어요.

먼저, OCI Data Science Service 프로젝트 내에 작업 및 파이프라인을 다시 실행할 수 있는 스케줄러 옵션이 있어요. 이것은 작업을 정기적으로 다시 실행하는 가장 간단한 방법이에요.

작업을 실행하는 다른 방법으로는 다음과 같은 것들이 있어요:

• OCI CLI 사용

• OCI SDK 사용

• VSCode 확장 프로그램 사용

VSCode 확장 프로그램이 특히 편리해요! 😍 IDE 내에서 작업을 보고, 수정하고, 정의하기 쉽게 만들며 VSCode IDE를 떠나지 않고도 임시로 실행할 수 있어 코드를 로컬에서 단위 테스트하고 작업으로 배포하는 것이 빠르고 쉬워져요.

마지막으로, OCI CLI를 사용하면 명령줄 인터페이스에서도 작업 정의를 쉽게 만들고, 실행하고, 편집하거나 삭제할 수 있어요.

여러분의 워크플로우에 맞는 방법을 선택하세요! 저는 개인적으로 VSCode 확장 프로그램을 가장 많이 사용해요. 코딩하다가 바로 작업을 실행할 수 있어서 정말 편리하거든요! 💻

💎 결론 - 이제 여러분도 ML 배치 학습 마스터!

지금까지 우리는 OCI Data Science Service를 사용하여 코드, 종속성 및 기타 정보를 컨테이너 이미지로 번들링하고 배치 작업으로 규모에 맞게 실행하는 방법과 OCI Logging을 사용하여 작업 진행 상황을 모니터링하는 방법을 살펴봤어요.

이 방법의 가장 큰 장점은 확장성과 자동화예요! 🚀 한 번 설정해두면 반복적으로 실행할 수 있고, 필요에 따라 컴퓨팅 리소스를 조정할 수 있어요. 특히 대규모 데이터셋이나 복잡한 모델을 다룰 때 정말 유용해요.

제가 이 방법을 처음 도입했을 때, ML 모델 학습에 소요되는 시간과 리소스가 눈에 띄게 줄었어요. 게다가 모든 과정이 자동화되어 다른 중요한 업무에 집중할 수 있게 되었죠!

여러분도 꼭 한번 시도해보세요! 처음에는 조금 복잡해 보일 수 있지만, 익숙해지면 정말 강력한 도구가 될 거예요. 🔥

혹시 질문이나 경험 공유하고 싶으신 게 있으면 댓글로 남겨주세요! 다른 분들의 경험도 듣고 싶네요~

다음 포스팅에서는 MLOps 파이프라인 구축에 대해 더 자세히 알아볼 예정이니 팔로우 잊지 마세요! 👋

오늘도 유익한 정보 드려서 기쁩니다. 도움이 되셨다면 공감 버튼 꾹~ 눌러주시고, 주변에도 공유해주세요! 💕

TAG

#오라클클라우드 #머신러닝 #컨테이너 #BYOC #데이터사이언스 #MLOps #클라우드컴퓨팅 #AI학습 #테크팁 #2025IT트렌드

​