Otimize e implante modelos de aprendizado profundo em hardware Intel
Converta modelos treinados em um formato intermediário e execute inferência de alto desempenho com o Model Optimizer e o Inference Engine, lidando com CPUs, GPUs e NPUs. A Intel Corporation fornece este kit de ferramentas de código aberto para desenvolvimento em desktop e edge, com APIs em Python e C++ e integração com o Visual Studio. Ele suporta TensorFlow, PyTorch, ONNX, Keras e PaddlePaddle, e inclui ferramentas de quantização e implantação GenAI. O kit de ferramentas é adequado para desenvolvedores e engenheiros de IA que visam hardware baseado em Intel para inferência de baixa latência e alto throughput.
O que o OpenVINO faz para modelos implantados?
OpenVINO converte e prepara modelos usando o Model Optimizer para traduzir artefatos do TensorFlow, PyTorch, ONNX, Keras e PaddlePaddle em uma Representação Intermediária. Além disso, o Neural Network Compression Framework aplica quantização e outras otimizações para reduzir o tamanho do modelo. O Inference Engine então executa esses arquivos IR em processadores e gráficos Intel suportados, permitindo que o mesmo modelo convertido funcione em diferentes dispositivos Intel.
Isso afeta o desempenho do sistema durante a inferência?
O toolkit direciona a execução para o melhor dispositivo Intel disponível, assim CPU, GPU integrada ou discreta, ou NPU podem realizar a inferência. O suporte para processadores Intel Core, Xeon, Atom e gráficos Arc, UHD ou Iris Xe é explícito, e o Inference Engine direciona primitivas apropriadas para o dispositivo para reduzir a latência e aumentar a taxa de transferência durante o tempo de execução. Os desenvolvedores podem escolher backends específicos do dispositivo para equilibrar a carga da CPU e o uso do acelerador.
É seguro e gerenciável para ambientes de produção?
OpenVINO opera sob uma licença de código aberto e se integra aos fluxos de trabalho dos desenvolvedores por meio de APIs Python e C++ e ganchos do Visual Studio. O toolkit fornece etapas de conversão e otimização de modelos antes da execução, reduzindo a necessidade de alterar binários de produção em tempo de execução. O Open Model Zoo fornece modelos pré-treinados, e o OpenVINO GenAI adiciona pipelines para modelos generativos, que juntos permitem que as equipes reutilizem ativos verificados em vez de implantar binários de modelo não testados diretamente.
Adequado para equipes de IA focadas em Intel; exige conhecimento sobre modelos e implantação
O kit de ferramentas é adequado para desenvolvedores e cientistas de dados que precisam obter inferência de alto desempenho em hardware Intel e que podem trabalhar com etapas de conversão de modelos e seleção de dispositivos. Uma única ressalva: equipes não familiarizadas com fluxos de trabalho de otimização de modelos enfrentam uma curva de aprendizado porque o processo requer a conversão de modelos para o formato IR e a aplicação de etapas de compressão antes da implantação.
