В середине лета OpenAI сделала релиз закрытого API для GPT-3, языковой модели, которая использует глубокое обучение для различных задач в области обработки естественного языка. Модель была натренирована на 570 Гб интернет-текста (более полутриллиона слов). Это самая сильная модель для генерации текста со 175 млрд. параметрами.

До GPT-3 все специалисты в NLP строили кастомные модели для решения частных задач: перевод текста, вопрос/ответ по одной тематике, анализ тональности текста, создание короткого саммари длинной статьи, определение темы статьи и т.д. GPT-3 - универсальная модель, которую не готовили специально для какого-то особенного подмножества задач. Несмотря на свою универсальность, модель удивительным образом не только составляет конкуренцию для более узких моделей, но даже превосходит их.

Самые интересные примеры экспериментов с этой новой “игрушкой” человечества.

1) Чатбот, который отвечает на вопросы кодом на Питоне. Вопрос: How do I find elements that are even of list m? (Как найти четные элементы в списке m?) Ответ: [x for x in m if x % 2 == 0]

2) Figma-плагин, который превращает текстовое описание в настоящий дизайн. Вопрос: an app that has a navigation bar with a camera icon, “Photos” title, and a message icon. a feed of photos with each photo having a user icon. Ответ: рабочий дизайн на Figma. https://twitter.com/jsngr/status/1284511080715362304

3) Уравнения на LaTeX. Вопрос: integral from a to b of f(t) with respect to t = F of b minus F of a. Ответ: готовое уравнение на LaTeX.

4) SQL. Вопрос: Show the last record from a table (Покажи последнюю запись в таблице). Ответ: SELECT * FROM Worker ORDER BY LAST_NAME DESC LIMIT 1;

5) Художественная проза, поэзия, диалоги, каламбуры, пародии и короткие истории. Пример: https://www.gwern.net/GPT-3

6) Веб-приложения. Просто опишите свое приложение на английском языке, а GPT-3 напишет за Вас готовое React-приложение. https://debuild.co

7) CSS. Вопрос: css to center a div. Ответ: .center {display: block; margin-left: auto; margin-right: auto}

8) Чатбот, который объясняет права арендатора по закону Калифорнии. Вопрос: мой арендодатель дает мне деньги, чтобы я съехал. Я обязан принять деньги? Ответ: Нет. Если Вы не ходите съезжать, Вы не обязаны принимать деньги. https://augrented.com

9) Сценарий детективного фильма о Гарри Поттере, пресс-релиз Президента Кани Уэста, где он декларирует Диснейлэнд новой столицей США; рэп о Гарри Поттере в исполнении Lil Wayne, интервью Kanye для Anderson Cooper, эссе Пола Грэма “Как превратить Марс в хаб стартапов”, инструкция по применению для машины времени. https://arr.am/.../gpt-3-an-ai-thats-eerily-good-at.../

10) Советы по бизнес-стратегии. 3-шаговый процесс, как рекрутить членов Совета Директоров: https://twitter.com/zebulgar/status/1283927560435326976

11) Обхитрить GPT-3 в Тесте Тьюринга можно, задавая бессмысленные вопросы, которые не задают друг другу разумные люди. Вопрос: сколько глаз у моей ноги? Ответ: у твоей ноги 2 глаза. Другие примеры: https://lacker.io/.../07/06/giving-gpt-3-a-turing-test.html

12) Генерация готового HTML-кода главной страницы Гугла на основе описания на “человеческом” языке: https://twitter.com/sharifshameem/status/1283322990625607681

13) 10 принципов новой религии: https://twitter.com/flantz/status/1284322274313752576

14) Генерация текста для Ваших рекламных кампаний: https://www.copy.ai

15) Генерация готовых layout’ов. Вопрос: кнопка, похожая на арбуз. Ответ: готовый JSX-код. https://twitter.com/sharifshameem/status/1282676454690451457

16) Домашний психолог: https://twitter.com/nickcammarata/status/1283300424418619393

17) Генерация изображений. На входе: частичное изображение. На выходе: разные способы его завершить. https://openai.com/blog/image-gpt/

18) На входе - описание симптомов. На выходе: болезнь и рекомендуемые препараты. https://twitter.com/QasimMunye/status/1278750809094750211

19) Попытка GPT-3 пройти техническое интервью: https://twitter.com/lacker/status/1279136788326432771

20) Генерация бухгалтерской отчетности: https://twitter.com/itsyashdani/status/1285695850300219392

Примеры впечатляют даже скептиков. AI очень хорош! В свете GPT-3, по мнению Виталика Бутерина, наша будущая работа будет выглядеть примерно так. 1) Человек описывает задачу. 2) AI строит решение. 3) Человек добавляет завершающие штрихи.