Jones отметил, что команда пришла к радикальному отказу от лучших практик того времени (в особенности LSTM) ради одного подхода: attention. Тут Джонс, как настоящий британец, вспомнил песню “битлов”: “All You Need Is Love”. Почему бы не назвать нашу статью “Attention Is All You Need”?

Так 8 сотрудников Google написали статью про “трансформеры” и изменили мир.

Где авторы этой статьи сегодня?

Ashish Vaswani - основатель Essential AI, а ранее - Adept

Noam Shazeer - основатель Character AI

Niki Parmar - со-основатель Essential AI, а ранее - Adept

Jakob Uszkoreit - основатель Inceptive

Llion Jones - основатель Sakana AI

Aidan N. Gomez - основатель Cohere

Lukasz Kaiser - сотрудник OpenAI и один из создателей Q*

Illia Polosukhin - основатель NEAR

Все (кроме NEAR) продолжают работу над трансформерами.

Photo credit: Contrary Research

Подробности, как появилась эта революционная статья - в новой статье Стивена Леви: ссылка в комментах