NPU

NPU significa Neural Processing Unit, ou unidade de processamento neural, um acelerador de hardware especializado nos cálculos usados por redes neurais e outros modelos de inteligência artificial.

Nos smartphones, ela normalmente integra o sistema em chip, ou SoC, trabalhando ao lado da CPU, GPU, processador de imagem e outros componentes.

Sua função principal é acelerar a inferência, etapa em que um modelo previamente treinado analisa dados novos para produzir classificações, imagens, transcrições ou outras respostas.

Como uma NPU funciona

Redes neurais executam repetidamente operações sobre matrizes e tensores, incluindo multiplicações, somas acumuladas e convoluções. A NPU possui circuitos otimizados para processar esses cálculos em paralelo.

Essa especialização permite executar cargas compatíveis com maior eficiência energética do que processadores de uso geral. Isso é importante em celulares, limitados pela bateria e pela dissipação de calor.

O aplicativo carrega o modelo por meio de um framework. O sistema identifica as operações suportadas e as encaminha à NPU, mantendo outras tarefas na CPU, GPU ou em aceleradores diferentes.

Diferenças entre NPU, CPU e GPU

A NPU não substitui os demais processadores. Smartphones utilizam computação heterogênea, distribuindo cada parte do trabalho ao componente mais adequado.

• CPU: controla o sistema, os aplicativos e operações gerais que exigem flexibilidade.
• GPU: processa gráficos e diversos cálculos paralelos.
• NPU: acelera padrões matemáticos recorrentes em modelos de aprendizado de máquina.

A distribuição depende dos operadores utilizados pelo modelo, formatos numéricos, memória disponível, drivers e otimização do software. Nem toda tarefa identificada como IA utiliza exclusivamente a NPU.

Aplicações e processamento local

Uma NPU pode participar de diferentes recursos móveis:

• reconhecimento e segmentação de imagens;
• redução de ruído e aprimoramento de fotos e vídeos;
• transcrição, tradução e reconhecimento de voz;
• classificação de conteúdo e modelos generativos executados no aparelho.

O processamento local pode reduzir a latência, permitir determinadas funções sem conexão e evitar o envio dos dados daquela operação à nuvem. Esses benefícios dependem de o modelo realmente funcionar no dispositivo.

O que significa TOPS em uma NPU

TOPS representa trilhões de operações por segundo e indica uma capacidade matemática teórica sob condições específicas. O valor isolado não determina o desempenho real.

Também importam a precisão numérica, largura de banda da memória, tamanho do modelo, compatibilidade, consumo energético, temperatura e qualidade do software. Uma NPU mais potente não acelera aplicativos despreparados para utilizá-la.

Alguns fabricantes adotam nomes como Neural Engine, TPU ou APU para aceleradores relacionados. Eles cumprem funções semelhantes, mas não representam necessariamente a mesma arquitetura ou implementação técnica.