La recompensa por el cambio a las GPU de NVIDIA fue instantánea: la latencia de inferencia se redujo inmediatamente en 10 veces. Pero los ingenieros de Bing no estaban dispuestos a detenerse ahí.
Incorporaron en su código la biblioteca de deep learning acelerada por GPU NVIDIA cuDNN y actualizaron su modo de controlador desde el modelo de controlador de pantalla de Windows al Tesla Compute Cluster, reduciendo la latencia a 40 milisegundos para una mejora total del rendimiento de 60 veces. Para detectar más categorías de objetos en una imagen, pasaron de un proceso rápido de dos etapas R-CNN a un proceso de “detección de disparo único” de una etapa. Esto aceleró la función 10 veces y permite la detección de más de 80 categorías de imágenes.
El equipo de Bing también aprovecha un modelo de activación de filtro y el almacén de valores clave ObjectStore de Microsoft para limitar la cantidad de datos que necesitan para procesar y almacenar en caché los resultados para uso futuro. Esto les ayuda a ahorrar más del 90 por ciento de sus costos, lo que hace que sea económicamente más viable atender el volumen de solicitudes que reciben diariamente.
La experiencia de usuario que ofrece la Búsqueda Visual de Bing refleja estos esfuerzos adicionales. Desde la página de búsqueda de Bing, un usuario puede seleccionar "búsqueda de imágenes", escribir texto o cargar una imagen y luego seleccionar puntos de acceso detectados automáticamente en la imagen o dibujar un cuadro en las partes de interés para activar resultados de búsqueda casi instantáneos. Colocar la caja sobre, digamos, un bolso genera numerosas oportunidades de compra de bolsos, junto con su precio.
En cuanto al desarrollo y la implementación, el cambio a las GPU NVIDIA ha permitido al equipo de Bing ser más ágil y aumentar su tasa de aprendizaje e innovación. Con las CPU, se necesitarían meses para ejecutar modelos actualizados en todo el conjunto de datos de miles de millones de imágenes después de cada cambio significativo. Con las GPU, este proceso ahora es instantáneo, lo que hace que sea práctico actualizar los modelos con frecuencia y ofrecer más funciones a los usuarios de Bing.