Amazon ha anunciado que van a migrar sus sistemas de inteligencia artificial para Alexa a sus propios chips AWS personalizados. Esto significa que Amazon va a dejar de utilizar GPUs NVIDIA «multi propósito» para pasar a usar chips especializados, con lo que prevén que su asistente virtual Alexa entre otros muchos servicios ahora serán más rápidos y eficaces, a la vez que ahorrarán bastante dinero al dejar de depender de NVIDIA como proveedor.
Hasta ahora, los servidores de Amazon encargados de procesar -entre otras cosas- el asistente virtual Alexa tenían hardware basado en GPUs de NVIDIA. En la actualidad, Amazon ya ha actualizado en torno al 80% de su infraestructura de Inteligencia Artificial con Elastic Compute Cloud (EC2) Inf1, que utiliza los nuevos chips AWS Inferentia. Comparado con los anteriores servidores G4 que utilizaban GPUs tradicionales de NVIDIA, los Inf1 son capaces de ofrecer hasta un 30% más de rendimiento reduciendo el coste en un 45%, y según Amazon con este cambio pasan a tener la mejor infraestructura de IA para inferencia del lenguaje y procesamiento de voz del mercado.
NVIDIA y Amazon cortan relaciones: así funciona Alexa
Amazon Alexa funciona de la siguiente manera: el «altavoz» inteligente de la marca no tiene ninguna función de procesamiento, simplemente tiene un micrófono y un altavoz que captan las órdenes de los usuarios y las envían tal cual a los servidores AWS de Amazon, donde se procesa la voz y se ejecuta la orden. Cuando reproducen música funcionan igual, pese a que escuchemos el audio a través del altavoz en realidad éste está conectado a la nube de Amazon y está recibiendo el audio de ahí directamente, no almacena nada. Cuando el altavoz responde a tus órdenes y te «habla», en realidad está recibiendo un script modular que se convierte en un fichero de audio que éste simplemente reproduce (esto es un ejemplo de «inferencia»).
Esto significa que, en realidad, los dispositivos Echo de Amazon son «dummies» o, como se dice en la jerga informática, «dispositivos tontos», ya que su única función es la de hacer de intermediarios entre el usuario y los servidores en la nube de Amazon. Esto tiene una enorme desventaja, y es que cuando el dispositivo se desconecta de Internet se vuelve completamente inútil.
Los chips AWS Inferentia están compuestos por cuatro núcleos NeuronCores, cada uno de ellos con lo que Amazon llama «High Performance Systolic Array Matrix Multiply Engine», que más o menos significa que cada uno de estos NeuronCore está compuesto por una enorme cantidad de unidades de procesamiento de datos (DPU) que procesan éstos de manera lineal. Además, cada chip Inferentia cuenta con una inmensa memoria caché que mejora las latencias para proporcionar unas respuestas más rápidas al usuario.
Un contrato que generará pérdidas a NVIDIA
Esta decisión de Amazon no parece haber tenido nada que ver conque estén en descontento con NVIDIA ni en el ámbito del desempeño ni en el del stock. Simplemente parece que han decidido utilizar chips de fabricación propia (o delegada a un tercero, claro) que están diseñados específicamente para la tarea que realizan en lugar de utilizar GPUs, que si bien como sabemos NVIDIA ha enfocado mucho el desempeño en tareas para IA no dejan de ser una GPU pura y dura.
El ahorro para Amazon, según sus estimaciones, es del 45%. Esto incluye el ahorro de costes de pago por uso a NVIDIA así como el consumo de éstos sistemas, ya que ahora están usando sistemas mucho más eficientes energéticamente hablando. En definitiva, ganan rendimiento y reducen costes así que, ¿quién le diría que no a eso?
En todo caso, esta «ruptura» de relaciones supondrá un buen varapalo para NVIDIA, quienes se embolsaban una buena suma de dinero todos los trimestres gracias a ello. Habrá que esperar probablemente al reporte financiero de los de verde de dentro de seis meses para poder saber el impacto que esto ha tenido en las finanzas de la compañía, pero es previsible que «va a doler».