딥러닝 모델 서빙을 위한 모델 변환

개요

배포 타겟별 서빙용 모델 유형

• YOLOv5s 모델 포맷별 성능과 추론 속도 (참고링크1, 참고링크2)

클라우드 서빙용 모델 변환

Google Colaboratory

https://colab.research.google.com/drive/1nv_wCJYb_5Vjfw4bm8xv2wU7YyGQAbDt?usp=sharing

• ONNX: 근래 가장 인기있는 딥러닝 모델 서빙 포맷입니다. 평균적으로 대부분의 배포 환경에서 추론 속도가 준수하며, 다른 포맷으로 변환이 용이합니다.

• Saved Model: Tensorflow로 학습된 모델을 클라우드에 배포할때 사용 합니다.

• TensorRT: 모델 추론의 H/W 가속기로 NVIDIA GPU를 사용할때 가장 빠릅니다.

ONNX

• PyTorch 모델 (yolov5s.pt) -> ONNX 모델 (yolov5s.onnx) 예제

import onnx
import torch
import onnxsim

output_model = 'yolov5s.onnx'
sample_input = torch.zeros(1,3,320,640)  # batch, channel, height, width

torch.onnx.export(
        model.cpu(),
        sample_input.to("cpu"),
        output_model,
        verbose=False,
        opset_version=12,
        do_constant_folding=True,
        input_names=['images'],
        output_names=["output0"],
        dynamic_axes=None)

model_onnx = onnx.load(output_model)  # load onnx model
onnx.checker.check_model(model_onnx)  # check onnx model

# Metadata
d = {'stride': model.stride, 'names': model.names}
for k, v in d.items():
    meta = model_onnx.metadata_props.add()
    meta.key, meta.value = k, str(v)

# Simplify
model_onnx, check = onnxsim.simplify(model_onnx)

onnx.save(model_onnx, output_model)  # Save the ONNX model

Saved Model

• Tensorflow Saved Model 저장과 로드

import tensorflow as tf

(...)

model = SomeModel()
tf.saved_model.save(model, "/tmp/some_model/1/")  # 모델 저장

(...)

model = tf.saved_model.load("/tmp/some_model/1/")  # 모델 로드

더 읽을거리: PyTorch vs TensorFlow in 2022

TensorRT

• ONNX 모델을 TensorRT로 변환하기 (yolov5s 모델)

import tensorrt as trt

input_model = "yolov5s.onnx"
output_model = "yolov5s.trt"

logger = trt.Logger(trt.Logger.INFO)
builder = trt.Builder(logger)

config = builder.create_builder_config()
workspace = 4  # workspace size (GB)
config.max_workspace_size = workspace * 1 << 30
flag = (1 << int(trt.NetworkDefinitionCreationFlag.EXPLICIT_BATCH))

network = builder.create_network(flag)
parser = trt.OnnxParser(network, logger)
if not parser.parse_from_file(input_model):
    raise RuntimeError(f'failed to load ONNX file: {input_model}')

inputs = [network.get_input(i) for i in range(network.num_inputs)]
outputs = [network.get_output(i) for i in range(network.num_outputs)]

if builder.platform_has_fast_fp16:
    config.set_flag(trt.BuilderFlag.FP16)

with builder.build_engine(network, config) as engine, open(output_model, 'wb') as t:
    t.write(engine.serialize())

Edge 서빙용 모델 변환

1. 짧은 응답속도: 모델 추론시, 클라우드 서버에 접근이 없이 장치에서 수행하므로 응답속도가 빠름.

2. 개인 정보 보호: 클라우드 서버에 개인 정보를 전달하지 않아서 개인 정보 노출 위험이 없음.

3. 네트워크 불필요: 클라우드 서버에 접근이 불필요하기 때문에 네트워크 망에 연결될 필요 없음.

4. 저전력: 네트워크 통신을 위한 전력 소모가 없으며, 작은 사이즈의 모델 구동으로 컴퓨팅 전력 소모가 적음

• CoreML: 애플에서 만든 장치들

• TFLite: 구글 안드로이드 장치들

• TensorRT: NVIDIA Jetson 장치들

• ONNX: ONNX Runtime이 동작하고, 적합한 프로바이더가 있는 장치들

TFLite

• Tensorflow Saved Model -> .tflite 변환

import tensorflow as tf

saved_model = "./saved_model"
output_model = "yolov5s.tflite"

converter = tf.lite.TFLiteConverter.from_saved_model(saved_model)
converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS]
converter.target_spec.supported_types = [tf.float16]
converter.optimizations = [tf.lite.Optimize.DEFAULT]

tflite_model = converter.convert()
open(output_model, "wb").write(tflite_model)

TMI: 구글에서 사용하는 직렬화된 파일 포맷은 Proto buffer가 많습니다만, .tflite 파일은 Flat buffer로 직렬화 되어 있습니다.

CoreML

• Torch Script -> CoreML 모델 변환

import coremltools as ct
import torch

output_model = "yolov5s.mlmodel"

sample_input = torch.zeros(1,3,320,640)  # batch, channel, height, width
ct_model = ct.convert(torch_script_model, inputs=[ct.ImageType('image', shape=sample_input.shape, scale=1 / 255, bias=[0, 0, 0])])
bits, mode = (16, 'linear')  # Quantization option
ct_model = ct.models.neural_network.quantization_utils.quantize_weights(ct_model, bits, mode)
ct_model.save(output_model)

결론