Дневники разработчиков: о профработах

[Allods_Online]

В следущем анонсе я хотел бы услышать объяснения почему после каждого глобального патча ломается куча квестов, да пофиг на квесты... мы 55е. Ломается оптимизация, фризы, лаги, баги на главных и важных для игроков турнирах. Конечно и в других играх такое есть, но не на столько глобально и не по 2 месяца там это чинится...

Как было описано выше, невозможно ведь проверить всё. В любом случае у игроков больше шансов найти какие-либо ошибки. Тем не менее, мы постоянно проводим нагрузочные тестирования, плейтесты и иные мероприятия, чтобы минимизировать возможные ошибки и оптимизировать процессы.

мне вот не понравилось то, что рассказуюткакони хорошо работают как все у них отлично, а вот на деле пинг красно-черный изредказеленый, когда на локе никого нету. че они там обновляют за железо **. А то что они жмуться на новенькие серваки которых бы хватило на долго, это факт. Ибо лаги лаги лаги и фризыфризыфризы, а мой комп тут не причем пинг у меня нормальный на сервак если через строку cmd

Пинг зависит от вашего интернет-соединения или из-за снижения скорости на каком-то из узлов от вас до серверов. С нашей стороны скорость отдачи информации высока.

Я так понял базы они бэкапят по полной, и точно также ставят обновления.
Может стоит перейти на инкриментное обновление баз в случае небольших фиксов, а полностью перезаливать только в случае больших изменений? Удалять лишние данные из баз можно фоново в моменты спада активности игроков, думаю где-то в районе 3-6 AM.

Основная цель бэкапа перед обновлением - возможность быстрого восстановления базы при внештатной ситуации. В этом случае нет ничего быстрее чем скопировать полную готовую базу.

Во первых "На каждый сервер приходится 8 физических серверов". Может наоборот: на 1 физическом сервере 8 виртуальных?
Во вторых раз уж начали рассказывать, можно было бы немного подробностей, например, какая ОС на серверах и другие подробности? Многим игрокам интересно знать.

Пояснения ведь были даны:

Сразу стоит внести оговорку в терминологию: для игроков сервер – это отражение Сарнаута («Раскол», «Наследие Джунов», «Нить судьбы» и т. д.), а с точки зрения системного администратора, сервер – это один физический сервер, металлическая коробка определённой формы, нашпигованная «мощными» деталями.

[Darvinesc]

В этом выпуске дневников разработчиков речь пойдёт об одной из самых животрепещущих тем – о том, как нелегко нашим админам держать на своих могучих плечах серверы во время профилактических работ!

читать далее

«Уважаемые игроки! Сегодня с --:-- до --:-- по мск будут проводиться профилактические работы на всех серверах…».

Каждый раз, как на нашем сайте появляется подобная новость, Сарнаут замирает для всех вас. И каждый раз находится тот, кто обязательно спросит: «почему так долго?!».

Как вы можете подозревать, профилактические работы – несколько более сложный процесс, чем перезагрузка компьютера. Мы постараемся рассказать вам обо всех особенностях профилактики и внесём ясность в понимание загадок, которые всегда не давали покоя умам игроков.

Сразу стоит внести оговорку в терминологию: для игроков сервер – это отражение Сарнаута («Раскол», «Наследие Джунов», «Нить судьбы» и т. д.), а с точки зрения системного администратора, сервер – это один физический сервер, металлическая коробка определённой формы, нашпигованная «мощными» деталями.

Они различаются по размеру и содержанию в зависимости от целей, для которых предназначены.

На одно отражение Сарнаута приходятся десятки ядер и сотни гигабайт оперативной памяти. Каждый игровой сервер – это восемь современных и мощных физических серверов.

Почему их несколько?

Игровой сервер - сложноорганизованная система, где каждый элемент выполняет определённые задачи. Как в часовом механизме, в котором важна каждая шестерёнка, в этой системе важен каждый физический сервер. Какие-то из них отвечают за работу игровой механики, какие-то - за доступ в игровой мир, на других происходит сохранение информации и ещё множество важных процессов. Если хотя бы одна из частей этого сложного «механизма» выйдет из строя - в опасности окажутся остальные.

Все производственные мощности находятся в специализированном помещении для обработки, хранения и передачи информации — дата-центре. Подобные «серверные» всегда оборудованы по последнему слову техники, а внутри них поддерживается определённая температура, что способствует работоспособности оборудования.

Также, что немаловажно, серверная обеспечена широкополосным каналом интернет-соединения.

Как правило, выглядят все дата-центры однотипно: множество шкафов со стойками, в которых расположены слоты с электроникой на салазках.

(примерно так выглядит дата-центр)

Но давайте вернёмся непосредственно к нашей теме. Для игроков начало профилактики наступает в тот момент, когда заканчивает обратный отсчёт, запущенный после появления внутриигрового сообщения: «Уважаемые игроки! Сегодня с --:-- до --:-- по мск будут проводиться профилактические работы на всех серверах…».

Что же происходит в эти часы за кулисами студии Allods Team? Подготовка уже идёт полным ходом, все на своих местах, ждут команды.

Итак, 3…2…1… СТОП!

1. Выключение серверов

Первым делом наши боевые админы запускают процесс «опустошения» серверов. Это обязательная процедура, без неё завершение работы прошло бы некорректно. За этот период необходимо выгнать всех игроков из игрового мира и зафиксировать прогресс развития персонажей. Остановка серверов только начинается.

Сейчас происходит сохранение всего игрового прогресса. В обычных условиях автоматическое сохранение растянуто во времени и не имеет единого момента записи. Говоря проще, в игре постоянно что-то сохраняется.

В случае же выключения серверов в базе единовременно фиксируется прогресс всех игроков, которые только что покинули игровой мир. Это достаточно большой объём информации, и это занимает время.

Наконец, серверы отключаются.

Что интересно, судя по комментариям на форуме, у игроков складывается мнение, что профилактика должна продолжаться небольшой промежуток времени. Однако не всё так просто.

2. Сохранение информации

Как только в игровом мире не останется ни одного персонажа, запустится процесс сохранения базы данных – формируется «бэкап».

Перед установкой новой версии в обязательном порядке создаётся резервная копия всей игровой информации. Если людей поделить на тех, кто уже бэкапит и на тех, кто ещё не делает бэкапов, то мы - третий тип - те, кто бэкапит всегда.

Чтобы понять, сколько времени на это уходит, попробуйте скопировать несколько десятков гигабайт информации с одного жёсткого диска на другой. Теперь представьте, что игровая база хранится на более пятистах жёстких дисках, а общий объём памяти исчисляется сотнями терабайт.

Во время профилактики нам приходится копировать информацию в огромном количестве несколькими потоками одновременно. Этот процесс требует пристального внимания.

3. Установка обновления и запуск серверов

Следующий шаг – установка обновления. Стоит отметить, что в данном контексте имеется в виду не установка глобального обновления, которые происходят несколько раз в год, а вообще какое-либо обновление базы. Ведь даже хотфикс - это обновление, просто маленькое.

Со стороны процесс выглядит весьма занимательно: суровый админ вводит загадочные рунические символы в командную строку, а та в свою очередь что-то ему отвечает.

(админ за работой)

Именно это таинство, занимающее до половины времени профилактических работ, и является «обновой» – на серверы копируется новая версия исполняемых файлов и игровых ресурсов. Мы называем это «Деплой».

После завершения копирования происходит старт машин. Чтобы игроки смогли зайти в игру, необходимо запустить 80 физических серверов, а это не так просто. Все игровые серверы запускаются параллельно, согласованно выполняя множество подготовительной работы. К примеру, в процессе запуска происходит обновление структуры базы данных, об объёме которой вы уже имеете представление.

По сути, для облегчения понимания, базу можно отдалённо сравнить с экселем, только с огромным количеством таблиц, полей, столбцов и ячеек. Она не статична. Во время обновления неизбежно меняется её структура, происходит адаптация старой версии под новые игровые реалии – появляются новые разделы, какие-то удаляются, что-то дополняется.

Что подразумевается под новыми реалиями?

Это может быть замена игровых предметов в сумке/банке/почте, добавление поддержки новых структур данных вроде появления возможности инкрустировать самоцветы в предметы, и многое-многое другое.

Но игровая база, состоящая из таблиц, ресурсов и ещё множества исполняемых файлов, является лишь строительным материалом. За время запуска сервер собирает элементы данных воедино, инициализируя игровой мир: расставляет объекты и населяющих Сарнаут неигровых персонажей и монстров на свои места, подгружает карты, просчитывает пути. Одним словом – выстраивается трёхмерная модель мира, чтобы он смог ожить. Процесс подготовки к открытию идёт полным ходом.

Только после завершения сборки этого «конструктора» появляется возможность в нём существовать.

Помните, как Морфиус первый раз показывал Избранному модель матрицы? Пустое белое пространство. Спустя мгновение на этом месте выстраивались трёхмерные объекты, пустота заполнялась потоками информации. Вот и на наших серверах происходит нечто подобное. Разве что у инженера матрицы серверы помощнее были, хотя и не факт.

Однако мы всегда ищем более рациональные пути решения задач и оптимизируем все процессы для их ускорения. Мир создавался 7 дней, а мы создаём Сарнаут за несколько десятков минут.

Если обновление большое, профилактика может затягиваться из-за ряда особенностей:

• Обновление системного программного обеспечения. Это особенно долгий процесс, который занимает до 5-6 часов. Именно поэтому мы стараемся проводить подобные технические работы в момент наименьшей активности игроков. Сложилось так, что это время выпадает на ночные часы в Москве. Пока большинство игроков спит, наши системные администраторы проводят обновление программного обеспечения серверов.
• Обновление оборудования. Например, если требуется заменить какую-либо часть в каком-то из серверов или сервер полностью.
• Пожалуй, самая существенная особенность - обновление данных персонажей. Хоть этот процесс полностью автоматизирован, он затрагивает всех персонажей, зарегистрированных в игре. Продолжительность данного этапа занимает несколько часов. Если речь идёт об установке обычного хотфикса, а не крупного контентного обновления (например, ... 4.0.01, 4.0.02, 4.0.03 ... и так далее) оно сокращается до нескольких минут.

Чтобы заранее устранить все возможные риски и отладить все процессы, мы всегда проводим «репетицию» обновления на тестовом сервере, технические характеристики которого идентичны любому из игровых серверов.

Тем не менее, админ всегда находится в шаговой доступности от разработчиков и в любой момент может оперативно отреагировать на любую внештатную ситуацию. А все вместе мы всегда неподалёку от Сарнаута, мы всегда следим из окон своего офиса, что всё в порядке.

4. Проверка

Серверы запущены, но пока ещё не открыты для всех. В бой вступает специально обученная группа сотрудников, отвечающих за контроль качества. Они производят базовую проверку работоспособности основных элементов игры. Такие как: механика работы телепортов, аукциона, почты, корректность запуска внутриигровых событий, Лавка Редкостей, базовая механика работы астрала и многое другое.

Пускай квалификация наших специалистов закалена годами работы, проверить абсолютно все особенности игрового процесса небольшой группе людей просто невозможно.

Именно поэтому мы всегда просим оперативно сообщать в центр поддержки пользователей информацию о каких-либо игровых ошибках. Ведь игроков в разы больше, чем сотрудников студии, и шанс найти ошибку намного выше. После этого ошибка передаётся разработчикам, а они стараются оперативно внести соответствующие правки.

Обратите внимание, что просто так «зафиксить баг» без остановки сервера невозможно. Необходимо обязательно провести мини-обновление - хотфикс.

По результатам финального тестирования, если не выявлено каких либо ошибок, принимается решение, будет ли обновление открыто игрокам.

5. Открытие обновления для скачивания

Файлы обновления загружаются на патч-сервер и открываются для игроков.

С этого момента всем, кто запустит Игровой Центр, обновление игры станет доступно для скачивания.

Кстати говоря, если появилась возможность скачать обновление, это ещё не означает, что сервер открыт для входа. Если обновление большое, мы стараемся выдать его несколько раньше, чтобы к моменту запуска всех серверов игроки смогли частично или полностью скачать его.

И вот, серверы открыты, можно зайти в игровой мир. Всё возвращается на круги своя, Сарнаут оживает.

Далее за своё дело принимаются саппорт, комьюнити менеджеры, специалисты контроля качества и многие другие, в чьи задачи входит сбор информации от игроков после проведения профилактики. Мы ведь должны знать, что всё в порядке. Но, впрочем, это совсем другая история…

На основе всего сказанного уже можно представить всё многообразие и сложность процесса проведения профилактики.

Послесловие

В момент установки обновления на игровые серверы всегда формируется рабочая группа для оперативного реагирования на любые ситуации. В её числе состоят не только системные администраторы, но и разработчики, а также операторы технической и информационной поддержки.

Даже в ночные часы всегда есть тот, кто следит за серверами и делает всё возможное для обеспечения их стабильности. Если необходимо, дежурный может разбудить среди ночи всех ответственных сотрудников, и вот уже мы, борясь с чарами Морфея, хватаем на лету чашку кофе и сломя голову бежим в офис исправлять положение.

Вот так, благодаря силам и стараниям наших админов и всех остальных, живёт и процветает Сарнаут, Нихаз пытается строить свои коварные планы, Сарн – разрушить этот мир, а Тэп, казалось бы, создатель иллюзорного мира, и сам не подозревает, что живёт в виртуальной реальности.

Надеемся, что нам удалось доступным языком рассказать вам, что же на самом деле представляет собой профилактика, и приоткрыть занавес этого загадочного события. Теперь вы знаете, насколько непрост этот процесс.

Всегда ваши, Allods Team!

ЖЕСТЬ

[Allods_Online]

как-то меня проценты смутили
//allods.mail.ru/images/news/10062013_graf2.jpg
или что-то у вас не так

Обратите внимание на график слева. Там видно, что процессы наслаиваются друг на друга в некоторых случаях. Круговая диаграмма - тот же график, но с более наглядным отображением занимаемой процессом доли от всего времени профилактики. Сумма не будет равна 100%

[laptevak]

Интересный рассказ.
Улыбнули фотки с Дворцом Советов и башней Айденуса.

[JOY95]

Никогда не относился к тем, кто кричат: "обнова полдня, а изменений нифига", но все же был очень рад данной новости. И, как уже было написано на 1 странице, и отвечено на второй: Такая тема перед обновой: или тонкий намек, или все же забота об игроках, чтобы они не тратили свои нервы, пока пишут гневные сообщения о задержке проф.работ.

[ReaktorR]

В новостях разрабы тонко занимаются популяризацией империи? Я таки рад =З
ЗА ИМПЕРИЮ!

[impel1o]

После завершения копирования происходит старт машин. Чтобы игроки смогли зайти в игру, необходимо запустить 80 физических серверов, а это не так просто. Все игровые серверы запускаются параллельно, согласованно выполняя множество подготовительной работы.

80 физических серверов ? структуру не объясните ?

суть статьи можно было б описать гораздо проще:
1. выключили
2. бэкап
3. патч
4. включили

никаких подробностей , никаких характеристик серверов и ПО, стоящего на них.

p.s. а картинки можно и красивее запилить было

[kru03]

Хочу себе такую накидку!

[keshasp]

Благодарю.Было интересно почитать.
Только вот в комментариях все равно будете видеть вопросы "Почему так долго?!!1!1" это абсолютно нормально, люди часто это пишут не из за того что не понимают что ваша работа не сахар а потому что многие люди так скажем подсели на ваш проект "Аллоды Онлайн" проще говоря ломка у них

[tesei85]

Я уже давно привык что обновы всегда больше времени занимают чем написано,и завтра часов до 12 мне кажется все продлится

[warlocktd]

Спасибо большое за ночные обновы! Очень ценю этот шаг и искренне благодарен!

без шуток.

удачной обновы

[keshasp]

Я так понимаю "Fatality" не будет введено в обновлении 4.0.03 «Бесконечная битва» ?(

[MaGOnLiNe]

надеюсь больше не будет дурацких недоразумений, а если будут то просто кидайте таковым эту ссылку пусть почитают и займутся хоть чем нибудь интересным в то время как происходит 'обнова'

[odon3111]

Пинг зависит от вашего интернет-соединения или из-за снижения скорости на каком-то из узлов от вас до серверов. С нашей стороны скорость отдачи информации высока.

traceroute не согласен с данным утверждением.
тестил к разным серверам АО, залипание было в одном узле, скорее всего FW/IPS, но узел уже принадлежал Mail.Ru, о чем с гордостью сообщал DNS.
единственное топология сети отличалась на каком - то другом сервере, в том числе и маршрут. На другой площадке?

п.с. интересно почитать будет обзор на тему, "Как бы боремся с афкашерами на БГ"

[airon2013]

Интересно

[Nook-X]

Это конечно всё хорошо, и по поводу Ваших стараний, и т.д. Но.. Есть такой вопрос не скромный..
Ежели у Вас "Оборудование по последнему слову техники", от чего же лаги такие постоянные? - Вы бы уж тогда и Минимальные требования для игры изменили.. А то до сих пор:
Pentium IV 3 ГГц
2048 Мб ОЗУ
GeForce 8600 GT c 256 Мб, поддержка шейдеров 2.0
Доступ в Интернет по ADSL 56 Кбит/с

По моему с таким вот оборудованием вообще от игры одно негативное впечатление останется..

P.S. В целом, Спасибо Вам за старания!

[Rosstisslav]

[QUOTE=Allods_Online;4760547]Как было описано выше, невозможно ведь проверить всё. В любом случае у игроков больше шансов найти какие-либо ошибки. Тем не менее, мы постоянно проводим нагрузочные тестирования, плейтесты и иные мероприятия, чтобы минимизировать возможные ошибки и оптимизировать процессы.

Пинг зависит от вашего интернет-соединения или из-за снижения скорости на каком-то из узлов от вас до серверов. С нашей стороны скорость отдачи информации высока.


А мне так объясняли, что сейчас многие интеренет компании или как их там заключают договора по трафику во всех направлениях пользователей. То есть аллоды по идее, должны заключать какие-то там договора чтоб не было тормозов трафика до пользователя на каких то там узлах. Я конечно бред может быть несу но тогда поправте ибо точно не знаю

[oleg13579]

Спасибо Allods Team за старания !

[soldat83]

пАчему так долго?!

[Nostromo51]

интересная статья примерно так и представлял себе это за исключением нюансов)

[amir19997]

ураа даешь профе,ждал этого пол года!!!!!

[Kobik]

Спасибо что подтвердили, что одному игровому серверу соответсвуют несколько физических.
А то глядя на лаги, многие уверяли меня в обратном

И в связи с этим подниму уже избитую тему:
Перенесите БГ-гоблинобол на менее загруженный сервер. За исключением утренних часов лагает там - невозможно играть!!!

[zidss]

Почему это все, я понял лучше, чем описание патчей?

[svetlanka78]

Спасибки за инфу) ценю и уважаю за труд)!!

[loggspb]

И всё таки хотелось бы узнать ТТХ серверов, а не замысловатые фразы десятки ядер, сотни гигабайт оперативки и сотни терабайт жестких дисков. Так же интересен пропускной канал, загруженность серверов в зависимости от времени суток, а также % от максимально возможной производительности в это время. Т.е. есть ли запас по мощности, или бывает такое, когда один из физических серверов загружен на 100%?
Из-за чего организуется очередь на логин-сервере? (От количества игроков или загруженности физических серверов?)

[Ninilak]

А бэк-апы ежедневные не делаете? Какими СУБД пользуетесь? Как часто проходит обновление железа-ПО (кардинальное)? Поскольку админ не один, какая одежда на нем: лигийская накидка или растянутый шерстяной свитер и накладная борода? Сколько ежемесячно тратится на поддержание работоспособности серверов? сть ли резервные каналы связи? Какие эксцессы случались по независящим от вас причинам?
И самое главное - после успешной установки обновления что делает основная команда?

[DeLarko]

Главное, что я понял из статьи.

Москва - Новоград.
Воронеж - Незебград.
Морфиус - комиссар.

[zidss]

Вылезли люди которые знают многа-пафосных-терминов)

[wwwdimon1]

Вылезли люди которые знают многа-пафосных-терминов)

Почти 11 лет работаю сисадмином, как бы обязан знать и понимать многа-пафосных-терминов
Раз уж начали сами рассказывать, то как говорится, никто за язык не тянул, уже пускай рассказывают.

[k33403]

Я выражаю благодарность всему колективу Аллодов Онлайн,желаю им процветания в дальнейшей жизни.Я считаю Аллоды онлайн лучшая Онлайновая игра,а кто не согласиться со мной,заметьте вы прочитали это сообщение,а значит тоже играете и не бросаете игру.

[EmZap]

Тем не менее, админ всегда находится в шаговой доступности от разработчиков и в любой момент может оперативно отреагировать на любую внештатную ситуацию. А все вместе мы всегда неподалёку от Сарнаута, мы всегда следим из окон своего офиса, что всё в порядке.

Ситуации бывают нештатными, но никак не внештатными. Ими бывают корреспонденты, сотрудники разные, но не ситуации.

[tkachsem]

Очень познавательная информация. Но порой меня возмущает не то сколько времени на это затрачивается, а результат. Я очень надеюсь на что игра после этого станет не только стабильной, но и приятной.

[art1101]

Отмазались на отлично перед обновой. Щаранее, так сказать

[tankistalor]

Почитал, интересно ... возник один вопрос, тот дядя который сидит на стуле в шлеме это командор? )

[ilovedota]

Для любителей технических подробностей: http://techforum.mail.ru/report/70
Видео доклад одного из разработчиков сервера. После 44-й минуты отвечает на вопросы слушателей, в том числе и про техническое оснащение серверов, используемые СУБД и т.д.
Один раз уже выкладывал видео, но видимо оно затерялось.

[FladeUndead]

интересно было почитать, спасибо!

[Altrc]

Меня беспокоит не время работ, а качество...Я могу ждать и сутки двое но. хочу так зашла и не багов, не лагов, что бы приятно было играть, а не так как сейчас(

[constantin74]

Господа, просто обновите серверное железо, вот увидите жизнь станет проще

[mishanya666]

Спасибо! Познавательно!
Картинка классная!

[DeLarko]

Почитал, интересно ... возник один вопрос, тот дядя который сидит на стуле в шлеме это командор? )

Никита - комьюнити менеджер, а не сисадмин