Витая в облаках: как netflix запустил искусственный интеллект на aws

Исследуя происходящее в облачных пространствах, то и дело натыкаешься на смежные области, казалось бы, с тучами никак не связанные. К примеру, на данные о новых и свойствах формах машинного обучения либо об неестественном интеллекте. Не смотря на то, что ваш покорный слуга тут мало слукавил: отыскать в сегодняшней действительности ИТ-стартап, функционирующий онлайн и не связанный с тучами, подчас оказывается очень сложной задачей. Исходя из этого предлагаю сейчас на примере одной очень увлекательной в технологическом замысле истории обсудить возможности перекрёстного опыления прогрессивных разработок. В частности — туч, машинного обучения и искусственного интеллекта.

История, послужившая предлогом к сегодняшней колонке, в самом деле очень занимательная, хоть и чисто потребительская, не корпоративная. Но любой из нас иногда приходит с работы к себе и преобразовывается, условно говоря, из создателя контента в его потребителя. Так вот, сообщите, как вы находите новые фильмы? Значительно чаще их вам советуют приятели, поскольку только бог ведает ваш вкус так же прекрасно и не владеет достаточной статистикой, под которой я подразумеваю совместные походы в просмотр и кинотеатр фильмов на диване на выходных. С музыкой несложнее: рекомендательные сервисы обучились пользоваться тегами так прекрасно, что достаточно вписать имя любимого исполнителя в поисковую строчок — и возьмёшь с дюжина вправду весьма похожих на него групп. Но вспоминал ли кто-нибудь, как значительной есть неприятность рекомендаций для всевозможных онлайн-кинотеатров? Каковые, кстати говоря, являются очень занимательным рынком, а также в Российской Федерации (но об этом где-нибудь в соседней колонке).

Так вот, сравнительно не так давно один из известнейших онлайн-кинотеатров в мире — Netflix — стал застрельщиком нового тренда, подойдя к вопросу советы фильмов весьма обстоятельно и ответственно. Компания запустила проект рекомендательной совокупности на базе концепции называющиеся «глубокое обучение». Это целый комплект способов, изучений и практик в области ИИ, основной задачей которого всё так же есть до тех пор пока ещё неисполнимое желание людей вынудить компьютер мыслить, как человеческий мозг.

В этом смысле Netflx не изобрёл велосипед, а только отправился по стопам веб-гигантов наподобие Гугл и Facebook, каковые деятельно применяют разработку. Гугл, кстати, отличилась тем, что наняла одного из лучших в мире экспертов по неестественному интеллекту Джеффри Хинтона (Geoffrey Hinton). Вышеозначенные компании уже деятельно применяют глубокое обучение для самых различных целей, от сортировки изображений до распознавания голоса. Но подход Netflix принципиально отличается от остальных, и исходя из этого он нам столь занимателен.

Дело в том, что, в отличие от Гугл и Facebook, экспериментирующих с ИИ на собственных мощностях, Netflix собирается запускать собственные методы на серверах Amazon. И это в очередной раз говорит о том, что тучи разрешают крупному бизнесу и среднему соперничать с корпорациями на равных. О чем мы, кстати, уже писали в материале «Как ИТ разрешают малому бизнесу соперничать с корпорациями».

Стоит подметить, что большая часть способов глубокого обучения так или иначе завязано на нейронных сетях — правильнее, компьютерной симуляции огромных нейронных сетей мозга, пропускающих множество сигналов в том направлении и обратно. Загвоздка в том, что наука до сих пор не разобралась совсем с тем, как как раз трудится мозг, исходя из этого смоделировать работу нейронной сети мы можем, но это только частично продвигает нас к цели. Но сейчас в мире происходят большие подвижки в данной области, потому, что машинное обучение, ИИ и другие подобные разработки прекратили быть чисто лабораторной концепцией. С того времени как компьютеры стали достаточно замечательными и дешёвыми, началась практическая работа. И не смотря на то, что, согласно данным Engineering and Technology Magazine, наибольшие компьютерно-нейронные сети способны повторять только 1% деятельности головного мозга, они уже смогут распознавать лица на фотографиях, изучать привычки и ваши вкусы, и до определённого уровня осознавать, что вы рассказываете.

Технологические подробности также достаточно неожиданны. Не обращая внимания на то что Qualcomm разрабатывают особые чипы, моделирующие человеческий мозг, большая часть коммерческих нейронных сетей трудятся на базе… GPU. Да, тех самых графических процессоров, созданных для скоростной обработки изображений и видео, применяемых геймерами, инженерами и дизайнерами. Отличительной особенность GPU, благодаря которой они так прекрасно подходят для моделирования мозга, есть их мультизадачность либо параллельный процессинг. Фактически говоря, большие фермы GPU-чипов на данный момент употребляются во всевозможных проектах, где требуются громадные количества вычислений. А Amazon именно в конце прошлого года запустила первые облачные GPU-инстансы:

«Новость содержится в том, что сейчас компании, предоставляющие своим клиентам SaaS-решения, смогут снять в аренду автомобили, оснащённые графическими процессорами NVIDIA GRID, и предоставлять доступ к требовательным к графике приложениям на удалённых устройствах. Другими словами сейчас облачные вычисления становятся дешёвыми не только для хранения, обработки данных и применения простых приложений, но и для работы с приложениями, требующими графического ускорения.

По сути, это указывает, что сейчас все программы, требующие высокой графической производительности, смогут поставляться через облако. А это открывает целый новый рынок: игры, графические и видеоредакторы, моделирования и средства проектирования — всё через облако! Строго говоря, опыты с играми через облако уже были (Onlive), равно как и с графическими редакторами (Adobe). Но они потребовали наличия монструозных вычислительных и графических мощностей на стороне провайдера».

Тогда мы и предположить не могли, что это приведёт не только к переходу всевозможных «тяжёлых» графических приложений в облако, но и к тому, что моделирование нейронных станет коммерческим, выйдя из лабораторий как для корпораций, так и для компаний мельче. К слову, Геофри Хинтон, которого Гугл наняла, дабы сделать ИИ действительностью, совместно с одним из собственных студентов создал Open Source проект, что и забрали за базу инженеры Netflix.

Эксперты, трудящиеся в онлайн-кинотеатре, опубликовали для интересующихся очень насыщенный технологическими подробностями пост в блоге Netflix, где желающие смогут ознакомиться с архитектурой и алгоритмами. В это же время самое основное, что возможно извлечь из данной истории, — это то, что глубокое обучение готово не только к коммерциализации, но и к тому, дабы вращаться в облачной инфраструктуре. И Netflix, трудящийся с опенсорсным продуктом в GPU-тучах от Amazon, это замечательно иллюстрирует.

AWS re:Invent 2018: Scaling Push Messaging for Millions of Netflix Devices (ARC334)


Похожие статьи: