NVIDIA рассказала, как помогла повысить эффективность облачного ИИ-переводчика Microsoft

Облачная служба многоязычного машинного перевода Microsoft Translator использует в работе одну из крупнейших в мире моделей искусственного интеллекта, помогая большому количеству людей общаться друг с другом на разных языках. Разработчики продолжают развивать сервис и в этом им помогают серверы инференса (вывод данных из модели) NVIDIA Triton, являющиеся частью платформы NVIDIA AI Enterprise 2.0.

Источник изображения: NVIDIA

Конечная цель разработчиков облачного переводчика Microsoft заключается в том, чтобы устранить языковые барьеры посредством использования того же API-интерфейса, который уже активно применяется для создания разных продуктов. Учитывая, что по всему миру используется около 7 тыс. языков, цель разработчиков можно назвать очень амбициозной.

Для решения поставленной задачи разработчики использовали мощный и сложный инструмент — смешение экспертов (mixture of experts, MoE), который представляет собой метод машинного обучения, при котором несколько экспертных сетей применяются для разделения проблемного участка на однородные области. Модель MoE обеспечивает значительный прогресс при обработке естественного языка, но она также отличается высокой требовательностью к вычислительным ресурсам.

Разработчики задействовали системы NVIDIA Triton, за счёт чего удалось построить одну модель для выполнения разных задач понимания текста, таких как обобщение, генерация текста и перевод. Обычно используются разные ИИ-модели для выполнения отдельных задач. Алгоритм Microsoft разбивает большие задачи на множество более мелких, а функция динамической пакетной обработки Triton позволяет объединять эти многочисленные запросы для максимально эффективного использования возможностей процессора.

Несмотря на сложность тестирования, разработчики из NVIDIA и Microsoft смогли получить законченный прототип ИИ-модели менее чем за месяц. После завершения этапа тестирования алгоритм будет постепенно интегрироваться в облачную службу, где на начальном этапе его планируют использовать для перевода документов на несколько наиболее распространённых языков.