Всем привет. Я хочу рассказать об «Искусстве программирования» — круглом столе, прошедшем в рамках завершившегося Blizzcon 2017. На протяжении двух часов разработчики Blizzard отвечали на вопросы, касающиеся внутренних процессов, которые обычно скрыты от пользователей.
При прочтении имейте в виду, что на вопросы отвечали десять человек, занимающие самые разные должности в разных командах — от World of Warcraft до мобильного приложения и Battle.net. Думаю, что тем, кто интересуется этой области, будет интересно. Теперь к делу.
Можете рассказать, как работают эпохальные+ подземелья с ключами?Все начинается с ключа, который падает в конце подземелья. Прежде чем отдать ключ игроку, мы задаем некоторые его свойства — здесь работает как генератор случайных чисел, так и ограничения, наложенные дизайнерами игры. Когда игрок кладет ключ в чашу силы, каждый объект в подземелье получает доступ к свойствам этого ключа. Все существа, все заклинания, все ловушки знают что включено, а что нет, и это дает возможность команде дизайнеров задать поведение этих объектов в зависимости от включенных модификаторов.
Когда игроки проходят подземелье до конца, мы активируем сундук, который тоже знает о свойствах примененного ключа и содержит награду, соответствующую уровню и времени прохождения. В двух словах это описание жизненного цикла эпохальных подземелий.
Как выглядит день патча в Overwatch?Полное безумие. Шутка.
Overwatch — это новая игра, что позволяет нам использовать в ней такую вещь как красно-синее развертывание [
сине-зеленый деплой - NC]. Фактически день патча начинается задолго до того, как контент становится доступным для всех игроков. Пока вы играете на "красных" серверах, мы на "синих" можем подготавливать Мойру или новую карту по вселенной Blizzard. Мы видим как все будет действовать в условиях продакшена, что позволяет выловить некоторые баги, которые невозможно было бы увидеть в условиях QA окружения. Мы проверяем все это, и когда наступает момент Х, по нажатию кнопки игроки перенаправляются уже на новые сервера.
Если все после этого идет хорошо, то мы наблюдаем за тем, как это выглядит изнутри, заходим в игру сами и смотрим как дела у стримеров на Twitch. А если нет... это совсем другая история.
А есть ли такая система в World of Warcraft?Мы сразу делали Overwatch таким образом, чтобы развертывание патчей не приводило к простоям. В World of Warcraft красно-синего развертывания пока нет, но мы многому научились у команды Overwatch и сейчас используем похожую схему. При установке последних обновлений нам удалось сократить время простоя с восьми часов до одного.
Какой совет вы можете дать тем, кто хочет устроиться к вам работать?Самое важное для Blizzard — я заметил это и в нашей команде, и во всей компании — вписаться в корпоративную культуру. Хотим ли мы работать с тобой? Весело ли с тобой работать? Это очень важные вопросы. Вашу страсть легко уловить по телефону, изучая ваш профиль на github, или еще каким-то похожим способом.
Очень многое о вас говорят проекты, которыми вы занимаетесь в свободное время. Когда я был студентом, и кто-то хотел создать игру, я говорил: "
Без проблем. Я программирую, с тебя дизайн, будет здорово". Вы размещаете то, что сделали в открытом доступе, потом потенциальные работодатели смотрят на это — собственно, так я и нашел здесь работу. Они посмотрели на код и попросили рассказать, как я все это делал, какие ошибки совершал и чему на них научился. Думаю, этот мой рассказ и убедил их в том, что я достойный кандидат на эту должность.
Важно задуматься и над масштабом ваших личных проектов. Все мы хотим сделать что-то большое и невероятное, но для всего этого у нас в запасе может просто не остаться времени. Работодателю важно увидеть законченную работу. Даже если это будет нечто не столь большое, сделайте все от начала до конца и приходите.
Ну и в конце я бы хотел сказать: напишите сопроводительное письмо. Мы получаем немало резюме без сопроводительного письма, но оно действительно играет большую роль.
Игры Blizzard очень мало лагают. Как вы этого достигли?Отвечу на примере Overwatch. Я упоминал новые технологии, которые мы использовали при создании игры, но это касается не только игрового движка. Была улучшена большая часть инфраструктуры Blizzard. Когда-то давно основная инфраструктура опиралась лишь на один дата-центр, лишь с одним каналом связи с интернетом. А теперь у нас глобальная распределенная сеть и дата-центры по всему миру.
В случае с Overwatch мы прежде всего определяем, откуда наши игроки, и строим необходимую сетевую топологию, заключаем пиринговые соглашения с нужными интернет-провайдерами. Пиринг — очень важный момент, и наша сетевая команда заранее налаживает такие контакты.
По сути, мы должны понять, где разместить свои серверы, где живут наши игроки и какая сетевая топология поможет добиться минимальной задержки. Это сложная задача, все-таки наша сетевая модель отличается от World of Warcraft или StarCraft. Игра очень чувствительна к потере пакетов, пингу и стабильности подключения. Для этого, как сама команда Overwatch, так и специалисты по сетевой инфраструктуре серьезно попотели, чтобы все проанализировать и сделать лучше. Я рад, что у вас отличный пинг, но если кому-то не так повезло, знайте, мы над этим работаем.
Кто-нибудь из вас уже программировал на Rust?К сожалению, нет. Мы постоянно обсуждаем такие вещи - мол, Rust это круто, — и возвращаемся назад к клавиатуре писать на C++. Сам я в прошлом много писал на языке Erlang — не знаю даже, сколько народу с ним вообще знакомо. Я бы с удовольствием всех таких взял на работу.
C++ — это практически стандарт. Мы используем много других языков, но главным образом это C#, Python и C++. Полностью положиться на что-то типа Rust было бы крайне сложно и рискованно. Если что-то на нем и делать, то что-то небольшое, для внутреннего пользования.
Чему вы научились в работе с такой грандиозной legacy системой как World of Warcraft?Да, это очень непросто. К нам часто приходят дизайнеры со своими идеями, добавлениями, всеми этими новыми вещами, которые им не терпится привнести в игру. Мы их добавляем и ставим поверх уже существующей системы. Но все, что мы делали до этого, должно продолжать работать, и цикл повторяется из года в год, и системы появляются поверх других систем.
Очень важно выделять время на отслеживание того, какие системы работают и какие из них работают плохо. Как только новая идея попадает в игру, она как бы задвигает существующие системы туда, где они не должны были находиться. Мы смотрим на всю картину в целом и думаем, нужно ли переписывать все старое или можно ограничиться парой костылей? Потому что если постоянно отключать и переделывать целые игровые системы, у нас просто не будет возможности разрабатывать новый контент. Мы делаем этот выбор, опираясь на свой опыт и понимание желаемого результата.
Все время важно помнить, что мы работаем с «живой» кодовой базой, что у нас просто нет возможности выкинуть весь код и переписать его заново. Нам приходится двигаться мелкими шажками, менять вещи по чуть-чуть. К счастью, и дизайнеры, и производственная группа осознают, что иногда нужно возвращаться назад и делать рефакторинг. В таких старых кодовых базах, как в WoW, бывает, что если, допустим, добавить Функцию 25, неизбежно сломаешь функцию 13, и кому-то приходится рвать на себе волосы оттого что он ничего не может с этим сделать.
Мы в Blizzard — одна команда, мы стараемся помогать друг другу, чтобы сделать игру как можно лучше. Поэтому всегда идем на компромиссы с другими группами: обсуждаем, когда обновления необходимы, когда не очень. Если не очень, то просто ставим костыли, что-то модернизируем, лишь бы работало. Главное — чтобы люди могли играть в WoW.
Что интересно, в некоторых других наших системах — сервисных продуктах и корпоративных приложениях — ситуация иная. Допустим, есть некий монолитный код, как в системах Battle.net, который идеально работал на момент создания, но спустя несколько лет спустя число пользователей увеличилось, и программа перестала справляться. И мы делим эти большие приложения на более мелкие, отделяем кусочки, делаем их автономными и оптимизируем по-отдельности. Нам удалось проделать нечто подобное с фрагментами инфраструктуры WoW, в частности, с Battle.net и службами технической поддержки. Мне даже начинает казаться, что речь идет о естественной эволюции и решение такого плана можно найти практически для любой архитектуры, будь то игра, система учетных записей или что другое.
— Мне тоже есть что рассказать. Давным-давно, когда меня только взяли, я работал с Battle.net. Тогда мы каждую неделю по очереди назначали людей, которые бы занимались проблемами старых систем. А к тому моменту у нас остался, наверное, только один человек, знавший, как они работают. Поэтому важно было, чтобы этим занимались все по очереди, — так мы распространяли знания по всей команде.
Мне тогда достался тикет по Diablo II. Поэтому мне пришлось залезть в код сервера Diablo II, с которым я вообще не был знаком. Было очень познавательно читать этот код. Проблема была в том, что, когда некоторые пытались залогиниться, сервер говорил, что они забанены — хотя их никто не банил. Мы подумали: в чем же дело? А проблема оказалась вот в чем: к этому моменту мы выпустили больше дисков и ключей регистрации, чем было изначально предусмотрено в коде игры. Поэтому сервер пытался уместить большую разрядность... уместить 64 бита в 32 бита. Когда ты входил в систему, учитывались только последние 32 бита из 64, и многие не могли войти из-за того, что эти цифры совпадали с номерами людей, забаненных раньше. Было очень интересно покопаться в старом коде и решить эти проблемы.
Пользуются ли в Blizzard облачными службами и как?Первый раз мы пользовались чем-то вроде гибридного облака при запуске Overwatch. У нас есть собственное приватное облако Blizzard, но мы сотрудничаем и с поставщиками публичных сервисов. Это дает массу преимуществ: так мы можем работать в регионах, куда иначе, возможно, не попали бы. Особенно это актуально с Overwatch: как я уже говорил, высокие задержки для нас недопустимы, поэтому облако стало спасением там, где мы не смогли разместить полноценный ЦОД.
У нас есть набор технологий и систем, что управляют нашим облаком и облачными хранилищами партнеров, и это упрощает работу, помогает команде меньше отвлекаться на издержки инфраструктуры и просто запустить где угодно службы Overwatch. Вот текущая сфера применения.
Мы постоянно рассматриваем новые функции или коммитим сами, если речь идет об открытых исходниках. Мы учитываем нужды наших команд и смотрим, в каких регионах можно работать. Как оказалось, дата-центры есть не везде. Все-таки игроков очень много, и где-то есть смысл использовать AWS.
Мы все любим баги. Расскажите о каких-нибудь интересных?Да, этот вопрос задают постоянно. Было два довольно странных бага, просочившихся на PTR. Однажды в Heroes of the Storm я сделал систему брони, и так вышло, что на какое-то время герой мог стать полностью неуязвимым. А другой - когда Заря могла убить кого угодно с одного удара. Это было реально странно, потому что дизайнеры игры используют скриптовой движок, написанный нами, и в этом движке мы вроде бы старались ограничить их в возможности вводить невалидные значения для разных вещей. Но мы пропустили граничное условие, когда лучевая пушка била на ноль — казалось бы, что может пойти не так? Луч просто не должен был работать, однако он работал и убивал всех, на кого попадал.
Еще был случай, не знаю баг это или нет. Один наш дизайнер — большой выдумщик, и однажды он решил сделать в World of Warcraft ускорение. Сейчас, когда вы нажимаете клавишу «вперед», персонаж сразу начинает движение с нужной скоростью. Этот дизайнер сделал некую особую ауру, которая периодически изменяла скорость персонажа в зависимости от времени, проведенного в движении. То есть, чем дольше он двигался, тем сильнее эта аура увеличивала его текущую скорость, тем самым моделируя ускорение в нашей игре, где система движения изначально этого не предусматривала. Это было интересно, необычно и оригинально. И конечно, мы никак не могли оставить это в игре.
Что-нибудь еще? Вот я делал в Overwatch гранаты. Чистая физика. Ну почему я? Какое-то время гранаты у меня отскакивали от стен назад, а должны были рикошетить. Четко видно было по отражениям — отскакивает обратно в меня. И я такой: «
Угу, угу, нормально...». Или я выстреливаю гранату, а она взрывается где-то в небесах, и я никак не пойму, почему. Математика вся правильная, почему она летит вверх? А оказывается, я вбил в код константу 100 и забыл про это. О таких вещах можно говорить бесконечно.
А я однажды пропатчил "живые" сервера Diablo III. Всего две строчки кода, небольшой фикс для того чтобы в момент выхода некроманта у нас не вылезало предупреждение о неизвестном классе. Что могло пойти не так? В результате у всего Китая перестал работать внутриигровой магазин. Как меня не уволили, до сих пор удивляюсь.
Какие типы искусственного интеллекта вы используете в ваших играх и системах?В Heroes of the Storm первоначально искусственный интеллект был просто гигантским конечным автоматом с заданными сценариями, без всякой иерархии. Например, там было 200 состояний, и мы такие — сейчас состояние 49, окей. С тех пор все поменялось, один из ребят в моей команде упорно работал целый год, чтобы создать автомат, который работал бы на достижение цели, назначал бы задания юнитам и учитывал стратегию.
Также мы используем машинное обучение, чтобы улучшить систему подбора игроков. Что касается технологий в службе поддержки, сейчас, когда создаете запрос, мы анализируем текст, который вы присылаете, и сравниваем его со текстом статей во внутренней базе знаний, чтобы понять о чем вы спрашиваете. Эти результаты мы используем чтобы передать вопросы сотрудникам, которые знают, как решить проблему в кратчайшие сроки.
При разработке нового дополнения команда World of Warcraft получила много полезной информации на эту тему и из Overwatch, и из HotS. Мы будем использовать техники обучения ИИ, которые сейчас используются, скажем, в матчах ботов Overwatch, чтобы сделать PvE в World of Warcraft более интересным и не таким скриптованным.
Если вы допустите ошибку, то она повлияет на миллионы людей. Как вы справляетесь с этой мыслью?Односолодовый виски. Я много пью. Ужасно, конечно...
Если серьезно. Какое-то время я очень переживал. У меня был синдром самозванца: я был уверен, что всех обманул и что мне здесь не место. А мне код сдавать скоро. Но меня утешали: давай, пиши ИИ, тебе его сдавать только через месяц, все нормально. И я такой: «
Да, отлично». Бегу и лезу в книгу: что за ИИ еще такой?
Так что мне кажется, в итоге ты понимаешь, что не стоит на этом зацикливаться. А надо просто писать код и стараться изо всех сил, потому что ты сам хочешь, чтобы все было в лучшем виде. Не надо думать о том, что будет, если ты накосячишь. Если такое случается, ты берешь и исправляешь, на этом все.
Всегда трудно работать в оперативном отделе, особенно тяжело было на запуске Overwatch. Я тогда недосыпал, помню что без конца смотрел на график количества пользователей в сети. Когда он достигает максимального дневного значения, линия замирает на какой-то отметке. И если вдруг эта отметка является круглой цифрой, ты сразу паникуешь, потому что очевидно что-то сломалось. Помню, я тогда залетаю к нашей команде по серверам и кричу: «
Вы что-то сломали! У нас точно проблема. График на месте уже минут пять!» А они такие: «
Билл, расслабься. Все идет нормально».
Это тяжело, но мы в конце концов игрушки делаем! У нас потрясающая поддержка со стороны сообщества, то есть всех тех, кто здесь собрался, и мы это очень ценим. Вы терпеливы к нам, мы всегда стараемся отвечать на вопросы и держать вас в курсе происходящего, где-то ошибаемся, а где-то радуемся тому, что все получилось.
И мы никогда не ищем виноватых, это не наш метод. Что-то пошло не так — изучи проблему, реши ее, верни игроков в игру и работай дальше. Когда случается что-то подобное, вы удивитесь, но мы собираем людей, отвечающих за сетевой код, за инфраструктуру, еще даже не зная, в чем проблема, но все собираются в одном месте, чтобы открыто все обсудить. Кто-то уже спрашивал о коммуникации — участвуют представители всех отделов: одни видят проблему так, другие по-другому. И тогда проблема идентифицируется и находится ее решение. Зная, что эти люди всегда готовы прийти на помощь, если что-то случится, наверное, можно не бояться ошибок.
С другой стороны, по результатам анализа ошибок пишутся отчеты, которые доступны всем сотрудникам, и это позволяет каждому из нас учиться на ошибках коллег.
Вы работаете над платформой для киберспорта. Какие цели перед вами ставятся, какие проблемы вы решали?Мы хотим дать всем нашим фанатам возможность следить за киберспортивными соревнованиями в веб- и мобильном приложении. Для моей команды это означало необходимость создать общую платформу инструментов и служб для логики, сопряжения кэширования и других функций API, чтобы обеспечить возможность интеграции различных программ для киберспорта (Heroes Global Championship и Overwatch) с веб-сайтами и передачи своих уникальных данных.
С самого начала моя команда решила все тщательно документировать. Иметь точную и актуальную документацию и образцы для всего, а это намного проще сказать, чем сделать. По опыту мы знали, что очень легко забыть описать какой-то аспект или вообще весь компонент целиком. Кроме того, очень легко забыть обновить примеры кода, добавленного месяцы назад. Чтобы не допустить такого, мы включили в процесс тестирования специальный этап, который записывает запросы и ответы, а потом включает их в документ как примеры. Теперь примеры в нашей документации всегда актуальны.
Более того, тест нельзя пройти, если остались незаполненные поля для документов. Это вынуждает разработчиков все документировать. Поэтому документация всех функций нашей платформы безупречна. Это очень помогает развертывать новые расширения для виртуального спорта.
Какие решения для баз данных вы используете? SQL/NoSQL?Я работаю над Heroes 2.0 и обычно мы используем SQL, стараемся нормализировать данные, избежать их избыточности и так далее. Однако иногда ты попадаешь в ситуацию, когда в целях увеличения производительности тебе приходится денормализировать свою базу. Нашей команды NoSQL решения обычно не очень подходят, но в Blizzard есть команды, использующие Couchbase и другие такие вещи.
Решение должно подходить для конкретного плана. Для продаж, где мы управляем учетными записями и лицензиями, такая структура данных хорошо подходит.
— Мне кажется, в Blizzard круче всего то, что каждая команда может внедрять любые решения, подходящие конкретно для них. С чем разработчикам игр точно повезло, так это с платформой, поддерживающей все это. У нас есть эксперты, помогающие нам принимать решения с выбором технологий. У нас есть все, что нужно.
Как выглядит обычная рабочая неделя для того, кто работает в Blizzard?— Давайте, я начну. Мне как тимлиду приходится проводить на встречах гораздо больше времени, чем хотелось бы. Но на этом уровне многие такие встречи очень важны, потому что ты принимаешь решения, которые влияют на будущее игры и на наше взаимодействие с другими командами. Это занимает примерно 50% моей недели. Также много времени я трачу на то, чтобы люди из команды обслуживания, моей команды, были вовлечены в интересную работу, которая им нравится. И наверное, несколько часов в неделю я провожу за программированием. Вот так это выглядит.
— Я могу немного добавить. Как бы с другой стороны процесса. Я обычный сотрудник команды, у меня есть тимлид, который пытается сделать мою работу интересной. Много времени уходит на решение проблем, которые выявляются и поручаются мне. У нас есть определенная автономия: мы сами ищем то, что нужно доработать и делаем это самостоятельно.
— Я также думаю, что очень важно то, что мы с коллегами еще и играем вместе. Ведь ради игры все и делается.
И последний вопрос про Hearthstone. Есть ли у вас специалисты, которые обеспечивают вас данными для предсказания того, как новые карты или персонажи повлияют на игру — чтобы не нарушился баланс? Например, когда в Hearthstone появились воины «на пиратах», в рейтинговых играх они буквально кишели — баланс явно сбился.— Во-первых, этот вопрос лучше задать дизайнерам. Именно они используют данные аналитики. Если говорить конкретно о воинах «на пиратах», то да, этот вариант выбирали очень многие. Это не совсем вопрос инжиниринга. Существует спрос на относительно дешевые колоды, которые дают хорошие результаты. Такой колодой и стал воин «на пиратах».
Спасибо всем за внимание и до новых встреч!
Тема: Blizzcon 2017: Панель «Искусство программирования в играх Blizzard» (Прочитано 8326 раз)
