[Wishko]

В течение нескольких недель рейдеры Гробницы Предвечных сталкиваются с различными графическими неполадками на Галондрии: то пропадают важные механики боя, то попросту исчезает пол. В свежем сообщении на официальном форуме разработчики рассказали, в чем причина этих проблем и почему потребовалось так много времени на ее решение, ведь неполадка была окончательно исправлена лишь сегодня, спустя почти 3 недели после первых жалоб.

Невидимые Нестабильные заряды и Лучи разрушителя планет на эпохальном Галондрии

Несколько недель эти проблемы имели важнейший приоритет для команд сражений и контроля качества, и мы наконец решили и исправили их.

Немного подробностей

Начиная с 10 июня, в определенной части сражения с Галондрием несколько способностей стали исчезать или не всегда отображаться. Хотя спустя несколько дней мы выпустили кое-какие частичные исправления, ряд проблем сохранялся в течение двух последующих недель, что, вполне ожидаемо, расстраивало игроков, пытающихся победить в сражении с Галондрием.

Редко какая неполадка требует так много времени на исправление. Первый шаг, который мы предпринимаем, когда появляется сообщение о любой неполадке, это ее изучение и воспроизведение командой контроля качества. Выяснить шаги для воспроизведения неполадки очень важно, как для понимания того, что к ней приводит, так и для того, чтобы мы могли корректно протестировать подготовленное исправление. В случае с Галондрием мы сразу же столкнулись со сложностями: никто из команды контроля качества или инженеров не мог воспроизвести неполадку, следуя тем же шагам, которые приводили к некорректной работе визуальных эффектов на живых серверах. Это чрезвычайно необычно, и мы потратили немало времени на сбор дополнительной информации и изучение различных теорий, тем временем выпустив некоторые частичные исправления на скорую руку.

На прошлой неделе, последовав любопытному случаю одного-единственного инженера, которому удалось надежно воспроизвести неполадку (когда никто другой не смог), мы определили корень проблемы, который крылся в совершенно уникальной и ранее незамеченной неполадке в самой нашей системе срочных исправлений. Из-за этой неполадки совершенно постороннее срочное исправление ошибочно заставляло клиенты игроков обращаться к ошибочному визуальному "окклюдеру" (невидимый массив, в основном использующийся для того, чтобы  для оптимизации производительности сообщать движку, что находящееся на другой его стороне не нужно отображать) в области сражения с Галондрием. Актуальные данные игры были корректными, и в том крылась причина, почему внутренние тесты не могли просто воспроизвести неполадку.

Нынешняя ситуация

Теперь мы подготовили решение, которое как подчистит данные того ошибочного срочного исправления, так и решит изначальную неполадку. Это исправление было установлено немного ранее сегодня.

Приносим искренние извинения за то, что исправление этой проблемы потребовало так много времени. Все это время она имела важнейший приоритет для команды, но оказалась очень необычной, поскольку обнаружить изначальную проблему оказалось гораздо дольше, чем мы ожидали.[Источник]

[Apetail]

Вот что бывает, если плохо относится к своему QA-отделу. Судя по тексту, этот отдел из этого одного-единственного  инженера и состоит.

[Dart Raiden]

никто из команды контроля качества или инженеров не мог воспроизвести неполадку, следуя тем же шагам, которые приводили к некорректной работе визуальных эффектов на живых серверах. Это чрезвычайно необычно

Ha-ha, classic.

Ну, в смысле, когда релизная версия софта глючит, а дебажная (где компилятор вставляет в код больше проверок) нет. Это, кстати, здорово затрудняет отладку.

А самая жопа, когда без отладчика твой софт глючит, а под отладчиком (где ты собираешься пристально посмотреть, что идёт не так) нет.

[Mikdemy]

Краткий рассказ о том, как написать , что ты криворукий (у тебя сейчас не компетентная команда за такой прайс), явно не написав, что ты криворукий.

[Annabet]

Вот что бывает, если плохо относится к своему QA-отделу. Судя по тексту, этот отдел из этого одного-единственного  инженера и состоит.

Это просто сын уборщицы клиент запустил, пока мама убиралась в серверной.

[AlanMix]

никто из команды контроля качества или инженеров не мог воспроизвести неполадку, следуя тем же шагам, которые приводили к некорректной работе визуальных эффектов на живых серверах. Это чрезвычайно необычно

Ha-ha, classic.

Ну, в смысле, когда релизная версия софта глючит, а дебажная (где компилятор вставляет в код больше проверок) нет. Это, кстати, здорово затрудняет отладку.

А самая жопа, когда без отладчика твой софт глючит, а под отладчиком (где ты собираешься пристально посмотреть, что идёт не так) нет.

Тут есть не просто нюанс, а аж 4:
1) Они могут править боссов параллельно игровому процессу игроков, заливая уже текущие фиксы потом на сервер и игрок почти никогда это не увидит. Грубо говоря это выражается в таймингах, хп и прочем. Чтоб лишний раз конечно не мешать, скидывают это обновление во время перегрузки серверов (обычно с утра).
2) У них параллельно обычных разраб-серверов есть не только живые, а дарк-сервер. Функционал его аналогичен обычному, но скрыт для обычных юзверей. В основном его теперь поднимают на старте контента, когда накатываются сборки на живые сервера, потом на аналогичный блейд-сервер дарк-реалма, копируют своих живых персов и там смотрят.
3) Нагрузка которая следует последовательна и требует реализации на живых серверах может быть отличная, от дев-серверов. Это как скорость обработки, так и цикл проверок каждой стадии.
4) Другой вещью может быть такая штука как - цикл каждой проверки в рамках живых серверов указавал на то, что текущий скрипт (действие, говнокод, триггер, называйте как угодно) ломался по скольку где то в середине фиксили тайминги уже для игровой логики, по этому совершались одновременно два действия, одно другое сбивало, появлялся тот самый баг, но по скольку босс подверженный игровой логики и был исправлен сотню раз, где то лежал костыль который баговал эту самую проверку, по скольку одно действие перегружало (в прямом смысле) другое.
5) И самое главное - скорее всего тот человек который делал босса, его логику как игровую, так и механическую, либо свалил, либо перекинут на какой нить овердроч. А он не оставил никакой документации, которой может и вообще не быть для боссов.  В итоге аниматоры сделали свою работу, кодеры сделали, тестеры сделали, а потом индус который на живую правит текущих боссов, фиксит текущие скрипты, нарушая последовательность, ломает не только игровую логику, но и серверную. Кстати, этим занимаются игроки которые ваншотают боссов в старом контенте, из-за чего для старого контента выпущен скрипт который проверяет килл босса повторно несколько раз в секунду в течение 10 секунд (или чет в этом духе, не помню точно) поверх основных проверок. Потому что игроки шотали боссов, они падали и либо бегали трупами за игроками, либо не срабатывал скрипт убийства (_npcdead условно), выдавая тот самый loot.

Так что, QA там давно уже нету, либо разбежались. А если и есть, то никто и 4 сезон не фиксит, вообще. Я наблюдаю за хотфиксами и пока целых 0 было накатано на живые сервера. Патч выпустили только чтоб выпустить и поднять онлайн двух мертвых фракций, но это не особо помогло.

[Злодей консультант]

Несколько недель эти проблемы имели важнейший приоритет для команд сражений и контроля качества, и мы наконец РЕШИЛИ и исправили их.
А все остальное время не решались исправлять.

[m104]

Очень странно, что так долго искали, то что они в продакшн выкатили. Обычно минут 10 - 15 занимает понять, "что уехало". Починка порой дольше это да.

И да - "монолит". И да жесткие зависимости на базу данных, причем, много логики на процедурах и "вьюхах" и хрен там чего аккуратно гранулярно исправишь, потому и обслуживание с даунтаймом по несколько часов. Накатить патч (запросы) на базу, протестить, откатить, пофиксать, накатить, протестить.  И да это Blue/Green со всеми плюсами и минусами (мог и не угадать, но очень  похоже). И да UAT отсутствует, судя по всему, при такой разнице в артефактах.

Мрак короче. Ни за какие деньги, ни в DevOps, ни в SRE в Blizzard. Здоровья не хватит.