Вячеслав Беленко — 1:56

— Примерно год назад была совершена атака на сеть. Может быть, это была непреднамеренная атака — там люди тестировали сеть. Сеть даже останавливалась, мы её в достаточно аварийном режиме ремонтировали. Собственно говоря, атака была возможна исходя из определённых особенностей архитектуры сети. Суть атаки заключалась в том, что был смарт-контракт, который на одно входящее сообщение посылал много исходящих самому себе. Была нагрузка в виде количества сообщений, и нагрузка постоянно росла. Операции по сборке блоков в такой ситуации никак не тарифицировались с точки зрения газа и так далее, поэтому получалось, что эта нагрузка была вектором атаки. Мы достаточно долго искали различные способы, как эту атаку разрешить. В основном были две проблемы. Одна проблема — это объём самой очереди сообщений: очередь большая, сложно с ней работать, возникают проблемы при большой нагрузке. У нас, вообще говоря, сеть должна была делиться на шарды, и это тоже добавляло определённую сложность при сборке блоков. До конца прошлого лета мы занимались техническими экспериментами. По этой причине большая часть задач, которые мы изначально планировали по роадмапу прошлого года, была отодвинута на будущее, так как возникли более срочные задачи. В принципе, Кирилл, наверное, может добавить что-то по технической части более подробно.

Кирилл Заворовский — 4:12

— Какие вещи мы там, собственно, делали? Вот Вячеслав упомянул сплит и сложности, связанные с ним. Тут надо сказать, что при сплите была проблема не только технического плана, но и в самом протоколе. Дело в том, что во время сплита нужно разделить очередь сообщений, которые находятся в шарде, которая разделяется. Проблема оказалась в том, что эта операция требует обхода всех сообщений, и соответственно, одни сообщения идут в одну группу, а другие — в другую. Как можно догадаться, если сообщений много, то эта операция долгая, и сам протокол не подразумевал какого-то разделения её на части или откладывания. Оставалось только как-то уместить эту долгую операцию разделения очереди в один блок. Когда контракт посылает сообщение самому себе, насколько бы оптимальным ни был алгоритм разделения, его не уместить в один блок. Поэтому сначала мы предприняли меры быстрого решения: был какой-то предварительный подсчёт и так далее. Это помогло. Теперь изменения в протоколе заключаются в том, что при сплите очереди не разделяются в одном блоке, а просто две шарды получают одну и ту же очередь. То есть получается, что в этой очереди часть сообщений своих, часть — общих. Когда шарда в процессе обработки этой очереди, операция разделения очереди теперь может быть разделена на несколько блоков. Таким образом, можно потратить на разделение очереди столько времени, сколько нужно, а остальную работу отложить на следующий блок. Вот такой вот подход был использован для решения этой проблемы, что касается атаки.

Александр Алексеев — 7:07

— Наверное, стоит пояснить, может, кто не знает: коллатерал — это как раз те ноды, которые эти блоки и создают. Это специфический термин, возможно, вы ещё услышите его. Да, такое решение позволило нам значительно упростить процесс. Мы разделили ту работу, которую должны были выполнять единомоментно в рамках одного блока, на несколько блоков.

Для того чтобы сделать детерминированный выпуск блоков, отказаться от лишних вещей и получить максимальную скорость, мы заменили шарды на потоки. Соответственно, количество потоков — это конфигурация, заданная на уровне всего протокола, что позволяет независимо от мощности вашего сервера одинаково выполнять входящую очередь. Причём выполнение происходит параллельно и одинаково эффективно. Мы также заменили сетевой протокол на QUIC. Фактически, это просто переписанная с нуля система, учитывающая весь предыдущий опыт и все наработки. 1:05:07

{
    "1": {"name": "Spy Radio", "id": "1", "propertiesId": ["1"], "probabilities": ["1000000"]},
    "2": {"name": "Old VHS Tape", "id": "2", "propertiesId": ["5", "10", "6"], "probabilities": ["800000", "100000", "100000"]},
    "3": {"name": "Left Footed Boot", "id": "3", "propertiesId": ["3", "4", "2"], "probabilities": ["100000", "800000", "100000"]},
    "4": {"name": "Very Old Bottle of Ozou", "id": "4", "propertiesId": ["5", "8", "9"], "probabilities": ["100000", "100000", "800000"]},
    "5": {"name": "Sage", "id": "5", "propertiesId": ["3", "5", "10"], "probabilities": ["50000", "150000", "800000"]},
    "6": {"name": "Box of Old Photos and Medals of a Warehouse Guard", "id": "6", "propertiesId": ["3", "6", "7"], "probabilities": ["900000", "30000", "70000"]},
    "7": {"name": "Wilted Four-Leaf Clover", "id": "7", "propertiesId": ["6", "9", "7"], "probabilities": ["270000", "500000", "230000"]},
    "8": {"name": "Rusty Key to an Unknown Door", "id": "8", "propertiesId": ["5", "8", "9"], "probabilities": ["600000", "100000", "300000"]},
    "9": {"name": "Encyclopedia Volume", "id": "9", "propertiesId": ["3", "10", "2"], "probabilities": ["350000", "600000", "50000"]},
    "10": {"name": "Cryptographic Smart Card", "id": "10", "propertiesId": ["4", "5", "9"], "probabilities": ["50000", "700000", "250000"]},
    "11": {"name": "Ostrich/Goose Feather Quill and Inkwell", "id": "11", "propertiesId": ["5", "2", "6"], "probabilities": ["200000", "700000", "100000"]},
    "12": {"name": "Broken Alarm Clock", "id": "12", "propertiesId": ["7", "6", "5"], "probabilities": ["800000", "100000", "100000"]},
    "13": {"name": "Vintage Film Camera", "id": "13", "propertiesId": ["8", "10", "5"], "probabilities": ["800000", "100000", "100000"]},
    "14": {"name": "Antique Blueprints", "id": "14", "propertiesId": ["4", "10", "2"], "probabilities": ["50000", "700000", "250000"]},
    "15": {"name": "Antique Hourglass", "id": "15", "propertiesId": ["4", "10", "8"], "probabilities": ["600000", "100000", "300000"]},
    "16": {"name": "Calculator with Faded Buttons", "id": "16", "propertiesId": ["4", "10", "9"], "probabilities": ["100000", "500000", "400000"]},
    "17": {"name": "Rare Stamps/Coin Collection", "id": "17", "propertiesId": ["5", "9", "8"], "probabilities": ["100000", "200000", "700000"]},
    "18": {"name": "Deflated Soccer Ball", "id": "18", "propertiesId": ["4", "7", "2"], "probabilities": ["800000", "150000", "50000"]},
    "19": {"name": "Worn-out Poker Chip", "id": "19", "propertiesId": ["9", "6", "7"], "probabilities": ["600000", "150000", "250000"]},
    "20": {"name": "Gamepad", "id": "20", "propertiesId": ["4", "10", "2"], "probabilities": ["450000", "100000", "450000"]},
    "21": {"name": "Memory Card", "id": "21", "propertiesId": ["3", "2", "8"], "probabilities": ["350000", "300000", "350000"]},
    "22": {"name": "Lighter", "id": "22", "propertiesId": ["10", "6", "2"], "probabilities": ["800000", "100000", "100000"]},
    "23": {"name": "Game Cartridge for DieLast", "id": "23", "propertiesId": ["9", "8", "6"], "probabilities": ["100000", "300000", "600000"]},
    "24": {"name": "Old Gas Cylinder", "id": "24", "propertiesId": ["2", "7", "9"], "probabilities": ["350000", "300000", "350000"]},
    "25": {"name": "Squashed Paint Bottle", "id": "25", "propertiesId": ["7", "2", "8"], "probabilities": ["600000", "100000", "300000"]},
    "26": {"name": "Cassette Tape", "id": "26", "propertiesId": ["4", "8"], "probabilities": ["100000", "900000"]},
    "27": {"name": "Geiger Counter", "id": "27", "propertiesId": ["5", "7", "9"], "probabilities": ["300000", "300000", "400000"]},
    "28": {"name": "Horse Saddle", "id": "28", "propertiesId": ["3", "6", "4"], "probabilities": ["100000", "100000", "800000"]}
  }