Трансформер – архитектура глубоких нейронных сетей, которая появилась в 2017 году. Ее отличия от более привычных RNN-сетей (применяются для моделирования последовательных данных) в том, что они могут воспринимать объект – текст, видео, изображение – целиком, а не по порядку, соответственно, лучше понимать контент и передавать основной смысл.
Появление данной технологии значительно повысило стандарты качества обработки текстов в сегменте NLP благодаря тому, что трансформеры уже близки к такому уровню понимания тестов, в том числе и их эмоционального окраса, который пока был доступен только для человека.
Основной компонент новой ИИ-архитектуры – механизм внимания. С его помощью трансформер фокусируется на отдельных словах и быстрее понимает общую суть текста. Кроме того, подобный подход к обработке позволяет минимизировать рекуррентность (возврат к одному и тому же фрагменту текста), последовательность вычислений. То есть трансформер не ждет, пока завершится первый шаг обработки, чтобы перейти к следующему, – он анализирует весь объект параллельно, что значительно увеличивает скорость предоставления результата.
Появление трансформеров обеспечило прорыв и сегмента NLP, использование которого было не так масштабно, как сфера компьютерного зрения. Сейчас же, когда инновационная ИИ-архитектура может писать стихи и программные коды, новостные статьи и финансовые отчеты, сферы его применения не ограничатся только IT-отраслью.
Использовать трансформеры можно будет при изучении иностранных языков, в банковском сегменте, при обеспечении безопасности и телекоммуникаций, а также в любом бизнесе с высоким трафиком клиентских обращений – трансформер сможет обрабатывать поступающие заявки для подготовки ответов.
Автор: Роман Милованов, руководитель направления разработки чат-ботов и голосовых роботов компании САТЕЛ