쿠버네티스 Job을 이용한 NAS 데이터 병렬 처리

개요

시스템 구성도

1. 맥북에 있는 비디오 파일을 NAS에 업로드 합니다.

2. 다중 쿠버네티스 Job에서 NAS의 비디오 파일을 병렬로 읽어 옵니다.

3. 다중 쿠버네티스 Job에서 처리된 미디어 파일을 NAS에 병렬로 저장합니다.

데이터 준비

sudo mkdir /private/nfs

sudo mount -t nfs -o resvport,rw,noowners 192.168.1.11:/share /private/nfs

$ mkdir /private/nfs/video
$ cp <비디오 파일 경로>/*.mp4 /private/nfs/video/

쿠버네티스 NFS 설정

NFS CSI 드라이버 설치

• NFS CSI 드라이버 설치

curl -skSL https://raw.githubusercontent.com/kubernetes-csi/csi-driver-nfs/v4.6.0/deploy/install-driver.sh | bash -s v4.6.0 –

• NFS CSI 드라이버 설치 확인

kubectl -n kube-system get pod -o wide -l app=csi-nfs-controller

kubectl -n kube-system get pod -o wide -l app=csi-nfs-node

StorageClass 생성

• nfs-sc.yaml

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-csi
provisioner: nfs.csi.k8s.io
parameters:
  server: 192.168.1.11
  share: share
reclaimPolicy: Delete
volumeBindingMode: Immediate
mountOptions:
  - nfsvers=3

kubectl create -f nfs-sc.yaml

PersistentVolume 생성

• nfs-pv.yaml

apiVersion: v1
kind: PersistentVolume
metadata:
  annotations:
    pv.kubernetes.io/provisioned-by: nfs.csi.k8s.io
  name: pv-nfs
spec:
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  storageClassName: nfs-csi
  csi:
    driver: nfs.csi.k8s.io
    volumeHandle: 192.168.1.11/share##
    volumeAttributes:
      server: 192.168.1.11
      share: share

kubectl create -f nfs-pv.yaml

PersistentVolumeClaim 생성

• nfs-pvc.yaml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: pvc-nfs-static
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi
  volumeName: pv-nfs
  storageClassName: nfs-csi

kubectl create -f nfs-pvc.yaml

데이터 프로세싱 환경

• Dockerfile

FROM ubuntu:24.04
RUN apt-get update && apt-get install -y ffmpeg

Docker buildx에 대한 내용은 아래 링크를 참고하시기 바랍니다.

Docker buildx로 멀티 플랫폼 이미지 빌드하기

김태훈 기술 블로그

https://blog.taehun.dev/docker-buildx-

docker buildx build --platform linux/arm64,linux/amd64 -t taehun/video-processor --push .

docker buildx create --name multi-arch-builder --driver docker-container --bootstrap --use

쿠버네티스 Job 설정 및 실행

• video-job-template.yaml

apiVersion: batch/v1
kind: Job
metadata:
  name: extract-frames-$FILE_NAME
  labels:
    jobgroup: extract-frames
spec:
  template:
    metadata:
      name: extract-frames
      labels:
        jobgroup: extract-frames
    spec:
      containers:
      - name: extract-frames
        image: taehun/video-processor:latest
        command: ["/bin/bash",  "-c", "--"]
        args: ["mkdir -p /mnt/nfs/frames/$FILE_NAME; ffmpeg -i $VIDEO_PATH -vf fps=1 /mnt/nfs/frames/$FILE_NAME/frame_%04d.png"]
        volumeMounts:
        - name: persistent-storage
          mountPath: "/mnt/nfs"
      restartPolicy: Never
      volumes:
      - name: persistent-storage
        persistentVolumeClaim:
          claimName: pvc-nfs-static
  backoffLimit: 2
  ttlSecondsAfterFinished: 100

• extract-frames-k8s.sh

#!/bin/bash
if [ "$#" -ne 1 ]; then
   echo "Usage: $0 <Video files directory>"; exit 1
fi

VIDEO_DIR=$1
mkdir -p jobs

for VIDEO_FILE in "$VIDEO_DIR"/*.mp4; do
   BASE_NAME=$(basename "$VIDEO_FILE")
   export FILE_NAME="${BASE_NAME%.*}"
   export VIDEO_PATH="/mnt/nfs/video/$BASE_NAME"
   cat video-job-template.yaml | envsubst > ./jobs/job-$FILE_NAME.yaml
done

kubectl create -f ./jobs

sh extract-frames-k8s.sh /private/nfs/video

kubectl get jobs -l jobgroup=extract-frames

결론

참고> Kueue를 사용한 일괄 시스템 배포

참고자료

• csi-driver-nfs

  kubernetes-csi • Updated Apr 11, 2024

• 확장을 사용한 병렬 처리