[Dimitro]

На презентации "За кулисами Blizzard" BlizzCon 2018 члены команды Live Operations (Обслуживания сервисов в реальном времени) рассказали о своей работе. Их главная задача – выявлять и решать проблемы, которые могут помешать пользователям играть в продукты компании. Эта команда, в том числе, является мостом, связывающим процесс разработки и процесс выпуска продукта – они ответственны за "доставку" игры пользователям; они поддерживают и обновляют структуру сервисов для максимальной эффективности в условиях пиковых нагрузок. Публикуем краткий пересказ.

За кулисами Blizzard

• На данный момент существует более 16 команд Live Operations, работающих в 9 часовых поясах.
• У команд есть трехступенчатый подход к решению любой проблемы:
  
  • Выяснение причины проблемы
  • Смягчение проблемы (временное решение до того, как команда разработчиков начнет принимать более долгосрочные шаги, игроки должны вернуться к игре в кратчайшие сроки)
  • Полное решение проблемы (порой это может потребовать серьезных изменений в инфраструктуре)
• Каждый продукт Blizzard проходит несколько кругов тестирования. В упрощенном виде они выглядят так: Разработчики -> Отдел контроля качества (QA) -> Друзья и семья Blizzard (Friends & Family Alpha) -> Alpha -> Beta -> Live

• Во время инцидента нужно понять возможные причины проблемы, чтобы определить, кто сможет ее решить. Можно посмотреть данные, телеметрии с серверов (как долго игроки были в очереди, сколько их и даже каков их пинг). Проблема может быть как с серверами Blizzard, так и серверами отдельных провайдеров. Для дополнительной информации можно просмотреть логи отдельных серверов и приложений.
• Нужно выяснить: проблема кроется в инфраструктуре или больше относится к игре. В первую очередь они всегда пытаются "залатать течь" (нужно как можно скорее сделать игру вновь доступной), чтобы после этого определить, как и какую "трубу нужно заменить".
• Порой проблемы могут быть довольно комичными. Во время отборочных киберспортивных матчей в Heroes of the Storm клавиатура одного из компьютеров, который отвечал за показ матча из режима наблюдателя, упала и заблокировала камеру. Пришлось быстро выяснять, где находится этот компьютер и перезапускать клиент. На следующем таком событии клавиатуру приклеивали скотчем. Позже баг с блокированием камеры исправили программно.
• Во время запуска дополнений происходит огромный скачок нагрузки на сервисы. Во время запуска дополнения "Рыцари Ледяного Трона" для Hearthstone произошла ситуация, когда многие игроки долгое время не могли прорваться сквозь очередь. Оказалось, что те, кто вышел из очереди, по каким-то причинам не пропускались сервером, а некоторое время как бы оставались в очереди. Серверу приходилось дожидаться уже несуществующих участников очереди прежде чем переходить к другим игрокам. Чтобы это исправить, требовались серьезные правки кода серверов входа. Но игроки должны играть уже сейчас! Тогда команда начала думать над решением, которое смягчило бы проблему. Временным решением стала смена алгоритма обработки игроков в очереди: ранее сервер обрабатывал одного игрока и переходил к следующему, но разработчики сделали так, чтобы сервер одновременно обрабатывал 10 игроков. Иногда 100% способа решения проблемы не бывает: либо куча игроков останется в очереди, либо можно попробовать пропустить в игру сразу многих, при этом рискуя положить сервер.

• Относительно недавно Blizzard немного изменили подход к стресс-тестированию сервисов и порой им приходится нагружать живые сервера для проверки на потенциальные проблемы. Иногда это может все сломать. Например, при тестировании серверов перед запуском Overwatch люди потеряли возможность заходить в Battle.net, тогда нагрузочное тестирование было мгновенно остановлено – начался поиск и исправление проблемы. Это позволило избежать подобной ситуации в момент запуска игры.
• Команда всегда ищет возможности сокращения времени профилактики серверов. Ранее перед запуском любого из серверов игры нужно было вручную проверять множество пунктов, отчего периоды недоступности могли длиться до 8 часов. Для Starcraft количество пунктов для проверки было таким большим, что умещалось на 11 листах A4. Позже многие процессы были автоматизированы и все инструкции сократились до одного листа.
• В Diablo III команда начала использовать метод, позволяющий не проводить профилактику при выпуске обновления. Они запускают более новую версию одновременно со старой и все, кто входят в игру после запуска новой версии, попадают именно на нее. При этом игроки на старой версии продолжают играть. Как только на старой версии не остается игроков, её отключают. При разработке новых игр команда старается, чтобы этот подход действовал и для них.

• Команды собирают историю всех инцидентов и проблем. Она открыта для всех сотрудников компании, чтобы каждый мог учиться на ошибках, не допуская их в будущем.
• Работа в команде обслуживания сервисов иногда бывает очень напряженной. Тебя могут разбудить в 3 ночи из-за какой-то проблемы. Зачастую нужно принимать непростые решения и ошибка может сделать ситуацию только хуже. Команда всегда пытается уменьшить стресс для своих членов. К примеру, однажды они купили костюмы динозавров и наделали фотографий, которые затем прикрепляли к письмам в ежечасной корпоративной рассылке, что положительно повлияло на атмосферу в коллективе.

[angmarec]

Блин это просто смешно, недавно они порезали лут с xt в ульдуаре, так как падало много шмоток, а баг с вещами с хардмодов, как год висел так и висит. Ну это понятно, если что то юзеры лутают больше положенного, то это совсем гепорядок, а если нет, то проблемы индейцев шерифа не касаются. Одно мне вот не понятно, как этим людям не стыдно давать интервью, мне было стыдно это пиздешь нести

[PolyakRUS]

Спешите фанаты Готики, в Steam на черную пятницу можно купить "Elex" за 559 рублей!

[Добрынях]

Распылились на кучу уг проектов таких как хотс, хс, овервотч и забросили нормальные вселенные. Кинули своих топовых спецов разрабатывать говно.

[Демогемий]

Распылились на кучу уг проектов таких как хотс, хс, овервотч и забросили нормальные вселенные. Кинули своих топовых спецов разрабатывать говно.

О боже  НААААРОД НА НАУБКЛАБЕ,ну вот скажите что 90% ребятишек под ютубом и любом тематическом форуме не строчат данные высеры.

Вот скажите что вы не категоричные в 90% случаев засранцы которые мажут говном все что не по ним.

Вот скажите что культуры хейта нет в интернете,и что игроки не токсики,что они не разводят токсичную среду

[Эфа]

Распылились на кучу уг проектов таких как хотс, хс, овервотч и забросили нормальные вселенные. Кинули своих топовых спецов разрабатывать говно.

Мнение "эксперта" из НК 

[Демогемий]

Распылились на кучу уг проектов таких как хотс, хс, овервотч и забросили нормальные вселенные. Кинули своих топовых спецов разрабатывать говно.

Мнение "эксперта" из НК 

ТЫ ЛИЖЕШЬ ЗАДНИЦУ БЛИЗЗАРДАМ,ЕСЛИ ТЫ НЕ ПРОТИВ НИХ ТО ТОЧНО ИХ ЧАСТЬ!1111

как то так ответитт тебе 80% нуб клабовцев.

[Детектив_Митчел]

Здорово что у них есть такие продуманные системы решения различных проблем. Впрочем, было бы удивительно, если бы у такой крупной компании их не было. Однако иногда кажется что у Близзов вообще нет отдела тестирования, даже одного.

Каждый продукт Blizzard проходит несколько кругов тестирования. В упрощенном виде они выглядят так: Разработчики -> Отдел контроля качества (QA) -> Друзья и сотрудники Blizzard (Friends & Family Alpha) -> Alpha -> Beta -> Live

Мне, кстати, всегда казалось, что этап с друзьями является скорее маркетинговым этапом для выявления предпочтений по типу фокус-групп, а не полноценное тестовое звено.
П. С.: Почему все нормально одеты, а девушка косплеит Мей? Она воплощение зла? Это она всё ломает по средам и во время запуска?

[Mmi257ia]

Блин это просто смешно, недавно они порезали лут с xt в ульдуаре, так как падало много шмоток, а баг с вещами с хардмодов, как год висел так и висит. Ну это понятно, если что то юзеры лутают больше положенного, то это совсем гепорядок, а если нет, то проблемы индейцев шерифа не касаются. Одно мне вот не понятно, как этим людям не стыдно давать интервью, мне было стыдно это пиздешь нести

Алоо, это люди, которые исправляют ошибки в работе серверов, а не со скриптами в вове, лол

[Hazzard_17]

Ммм, легендарные сервера Близзард. 

(показать/скрыть)

[Ungar]

Каждый продукт Blizzard проходит несколько кругов тестирования. В упрощенном виде они выглядят так: Разработчики -> Отдел контроля качества (QA) -> Друзья и сотрудники Blizzard (Friends & Family Alpha) -> Alpha -> Beta -> Live

Ок. А на каком из этапов ищутся и фиксятся баги а не "гля гля чо запилил, норм?"

Порой проблемы могут быть довольно комичными. Во время отборочных киберспортивных матчей в Heroes of the Storm клавиатура одного из компьютеров, который отвечал за показ матча из режима наблюдателя, упала и заблокировала камеру.

НУ по правде сказать, сам факт существования киберспортивных матчей ХОТС тот еще комичный случай.

Во время запуска дополнений происходит огромный скачок нагрузки на сервисы. Во время запуска дополнения "Рыцари Ледяного Трона" для Hearthstone произошла ситуация, когда многие игроки долгое время не могли прорваться сквозь очередь.

А этот тот "забавный" случай, когда временное решение кикало и активных пользователей с очереди? Помню, помню. Раза четыре по тысячным в очереди стоял.

В Diablo III команда начала использовать метод, позволяющий не проводить профилактику при выпуске обновления.

А вот это и правда норм тема. И фиксы ХП боссов непосредственно вовремя пула. 

А вообще, чтобы не было проблем в игре, надо перестаь экономить и вместо раздач ключей друзьям/семьям и продажным стримерам близоблюдам, нанимать профессионалов тестировщиков (да да, в мое время были такие люди) и обсеров на релизе будет меньше. А еще, были времена, когда игры продавалиьс на дисках. И баг в игре = брак = минус репутация = равно куча проблем. Это щас можно 3 месяца после релиза игру до 8.1 допиливать. Да? 

[Outrage]

А , так это те самые ребята , которые сделали реконект в хотсе через загрузку реплея на максимальной скорости? И отсутствии кнопки "выход в главное меню" ? Нормальные ребята чо

[Molfy]

Поверьте, после запуска Pathfinder Kingmaker все жалобы на баги Близзард вызывают только здоровый смех 

[Ungar]

Поверьте, после запуска Pathfinder Kingmaker все жалобы на баги Близзард вызывают только здоровый смех 

Ну ты давай наверно не ровняй инди студию с "инди" студией. Ладно?

[Malthael]

• В Diablo III команда начала использовать метод, позволяющий не проводить профилактику при выпуске обновления. Они запускают более новую версию одновременно со старой и все, кто входят в игру после запуска новой версии, попадают именно на нее. При этом игроки на старой версии продолжают играть.
  

Помню, на выходе Древних Богов в ХС играл старыми не убитыми пеньками друида с чарджем уже после выхода аддона. Противник тут же сдался после того, как увидел это.