Разработка и развитие высоконагруженных (highload) ИТ-проектов

хит

Разработка и развитие высоконагруженных (highload) ИТ-проектов

Многие компании сталкиваются с такой ситуацией: в период распродаж или выпуска новой продукции происходит запуск масштабной рекламной кампании. Тратятся внушительные бюджеты, привлекаются дополнительные ресурсы на раскрутку продукции. Наступает час икс, и клиенты приходят в интернет-магазин за желанными товарами или услугами, но сайт «падает», страницы не грузятся, заказ осуществить невозможно. Можно ли избежать такого сценария?
Мы разрабатываем архитектуру highload-проектов и готовим сайты к массовому посещению, обеспечивая уверенность в надежности работы систем. Высоконагруженный сервер представляет собой целый комплекс программно-аппаратного обеспечения. Его составляющие специально подбираются и настраиваются для слаженного функционирования даже в периоды пиковых нагрузок.

Рассмотрим ситуацию: вы хотите запустить новый highload-проект или доработать уже существующий с возможностью обслуживания от 1 до 5 млн посещений в день. При высоких нагрузках происходят сбои в работе и «падение» ресурса, серверы не справляются, это приводит к негативу со стороны пользователей. Актуальный пример — резко возникшие сбои в работе сайтов Mos.ru и Госуслуги из-за наплыва посетителей, которым необходимо было получить электронные пропуска или подать заявку на получение материальной помощи в условиях пандемии. Другой частый пример — обвал интернет-магазинов в «черную» пятницу и дни акций и распродаж. Пользователи сталкиваются с проблемами еще на стадии «знакомства» с сайтом. В итоге, клиенты уходят, продажи падают.

Основные проблемы

1. Из-за резкого увеличения количества посетителей «зависает» переход по страницам сайта
2. Тормозится передача данных при формировании заказов и заполнении регистрационных форм
3. Сбрасываются обслуживаемые соединения
4. Клиенты не могут воспользоваться услугами сайта из-за его некорректной работы
5. Сервис разработан корректно, однако сама система не отлажена, есть сбои
6. Сбои в комплексных интеграциях и взаимодействиях с внешними системами e-commerce-сайтов

Какие обычно бывают причины?

• Сбои в системе хранения и обмена данными
• Сбои в работе приложения
• Сбои в системной части, не рассчитанной на нагрузку и неспособной масштабироваться
• Сбои в сетевой работе (недостаточная мощность канала)
• Проблемы с производительностью, связанные с PHP

Падение сайта — это потеря прибыли, негативный опыт для пользователей, урон для репутации, и как следствие работа с негативными отзывами. Создание highload-проектов предполагает разработку комплексной архитектуры с возможностью ее масштабирования в будущем. Так где найти опытных специалистов, которые смогут сделать стабильный highload-ресурс?

Как исправить ситуацию?

Эксперты AWG разрабатывают решения, позволяющие «с нуля» запустить проект, который гарантированно будет выдерживать высокие нагрузки. Наши специалисты используют подходы, которые помогают значительно сократить время на обработку пользовательских запросов и увеличить количество запросов, принимаемых системой, — в этом и заключается искусство highload-разбработки.

На старте наши эксперты проводят бизнес и системный анализ вашего проекта, формулируют основные задачи и создают дорожную карту реализации. Roadmap позволяет управлять ожиданиями сторон (заказчика и ИТ-специалистов), а также обмениваться планами и координировать ресурсы в команде. Дорожная карта отражает этапность разработки — вы будете точно знать, в какие сроки будет проработана каждая из стадий проекта, процесс будет полностью прозрачен для вас. После этого наши специалисты спроектируют архитектурное решение с учетом ваших бизнес-целей. Весь этап занимает в среднем 2 недели. По окончании исследований наши эксперты подготовят соответствующую документацию и отчет по результатам.

В зависимости от запросов заказчика и задач проекта, мы формируем и применяем один из вариантов реализации:

1. Проект создается сразу под определенную нагрузку, что включает в себя разработку соответствующей архитектуры, backend- и frontend-систем, программного кода.
2. Поэтапная реализация — в таком случае сначала мы закладываем целевую архитектуру, просчитываем постепенный рост нагрузки и адаптируем архитектуру в процессе изменений.

Выбор второго варианта в некоторых случаях позволяет эффективно распределять бюджет по мере роста нагрузки, так как обычно при запуске проекта наплыв клиентов все же не очень велик. Со временем, когда будет расти количество пользователей и увеличиваться число заказов, архитектуру можно будет оперативно откорректировать, чтобы системы выдерживали более высокую нагрузку.

Для наших клиентов мы разрабатываем highload-проекты в течение 3-6 месяцев, в зависимости от их сложности, плановой нагрузки и задач заказчика.

Для бесперебойного функционирования проекта важно правильно реализовать архитектурное решение, которое учтет и серверы, и микросервисы, и распределение потоков данных. Только комплексный подход в разработке, внедрении и поддержке всех систем позволит интернет-проекту выдерживать нагрузку.
При разработке highload-проекта наши специалисты всегда учитывают два основных параметра:

1. latency (сколько пользователь будет ждать загрузку)
2. throughput (сколько всего система может принять пользователей)

Баланс между этими двумя параметрами составляет основу успешного высоконагруженного проекта.

На втором этапе наши специалисты начинают непосредственную разработку архитектуры будущего highload-проекта. Ее выбор зависит от состояния backend- и frontend-систем. Для определения устойчивости backend’a наши специалисты применяют нагрузочное тестирование, а таже проводят мониторинг нагрузки по отдельным частям и элементам всей системы. Во время проведения тестов собираются статистические данные по использованию ПО, которое должно соответствовать профилю нагрузки — модели поведения пользователей. Профиль отражает процентное распределение совершаемых в системе операций между пользователями. Популярные инструменты, которые используют наши эксперты:

• Zabbix
• Prometheus
• ELK
• TTFB (время отдачи первого байта всей системы требования) в Яндекс.Метрике или Google Analytics

Иногда проблему устойчивости можно решить внедрением правильного кэширования, в других случаях — достаточно настроить уже заложенное в системе масштабирование по нескольким серверам. Универсального решения не существует.

Методология ИТ-решений для всей highload-системы: наши специалисты разделяют ее таким образом, чтобы задачи frontend’a выполнялись по большей части в браузере пользователя, видео и графические изображения — в быстрой CDN (Content Delivery Network). CDN — это географически распределённая сетевая инфраструктура, которая позволяет оптимизировать доставку и дистрибуцию содержимого. Таким образом удается значительно снизить нагрузку с backend’a.

Метод решения задач для backend’a — разнесение системы на несколько серверов. При этом есть два варианта:

• все файлы, код и данные хранятся на каждом отдельном сервере, и происходит обмен ими между серверами
• каждая функция системы находится на отдельном или даже нескольких серверах (микросервисная архитектура)

Таким образом можно балансировать нагрузку и выделять на каждую функцию то количество ресурсов, которое необходимо.

Наши эксперты применяют проверенный стек технологий в разработке highload-проектов:

• на frontend’e: HTML, CSS, JavaScript (фрэймворки — vue.js, react);
• на backend’e: PHP, Java.

В качестве СУБД наши разработчики применяют реляционные базы данных (MySQL, PostgreSQL, Oracle SQL) и нереляционные (NoSQL, Redis, MongoDB).

Проведение мониторинга систем и нагрузочного тестирования, разработка, внедрение и настройка IT-архитектуры, работа с базами данных, использование проверенного стека технологий, в том числе и релевантных языков программирования, — все это обеспечивает надежность highload-проекта.

На третьем этапе наши эксперты производят непосредственный релиз готового продукта. В случае необходимости наши специалисты готовы дополнительно оказывать системную поддержку проекта, проводить дополнительные тестирования и мониторинг, чтобы вы могли отслеживать развитие своего проекта. Данные исследований формируются в отчеты. По результату можно будет спрогнозировать рост нагрузки и вовремя масштабировать проект в будущем.

Мы даем гарантию на наши комплексные решения в течение 12 месяцев после их внедрения. При необходимости специалисты AWG также могут оказать техническую поддержку 24/7 по SLA.

Кто чаще всего заказывает данную услугу у нас?

• Компании, которые разрабатывают проект «с нуля», при этом планируется, что в дальнейшем он будет иметь высокую нагрузку (посещаемость от 1 млн в месяц)
• Компании с уже существующими проектами, нагрузка на которые возрастает — нужна помощь во внедрении изменений и оптимизации (примеру, актуально для интернет-магазинов перед Black Friday и Cyber Monday)

Среди наших клиентов:

• ИТ-компании
• Банки
• Ведущие Ритейлеры
• Страховые компании
• Туристические фирмы

Отзывы наших клиентов

Отзыв компании «Альфа-Банк»

Отзыв компании «Simple»

Какие результаты мы привносим:

• Уверенность в стабильной работе сайта при высоких нагрузках
• Обеспечение отказоустойчивости, в том числе в случае ddos-атак
• Катастрофоустойчивость серверов

В ходе работы мы:

• Проводим тестирование и мониторинг систем, чтобы выявить причины возникновения сбоев и проблем. Современный highload — это целая инженерная наука, в которой все начинается с измерений показателей текущей системы и сверки с ожиданиями бизнеса по этим показателям, например: RPS — кол-во запросов в секунду; TTFB.
• Разрабатываем, внедряем и настраиваем IT-архитектуру — по метрикам она или ее части подбираются или разрабатывается с «нуля». Выбираются соответствующие будущей нагрузке и необходимому уровню надежности элементы и техники взаимодействия.
• Проводим работу с базами данных.
• Реализуем функционал, способный обеспечить надежную работу ИТ-проекта, вместе с выбранными решениями и стеком технологий.

Также highload-разработка немыслима без ежедневной квалифицированной поддержки со стороны DevOps-инженеров с релевантным опытом разработки сложных многокомпонентных решений и администрирования серверов и сервисов системы.

Кто оказывает данную услугу в AWG?

Команда, состоящая из высококвалифицированных специалистов: backend-, frontend-разработчиков, экспертов по ручному и автоматизированному тестированию, ИТ-архитекторов, DevOps. Наши специалисты имеют большой опыт на самых горячих этапах разработки и внедрения highload-проектов. Мы поможем решить ваши проблемы с минимальными временными затратами и вывести бизнес на новый уровень.

В результате вы получите:

• Ваш интернет-проект выдерживает нагрузки при показателях в сотни и тысячи обращений в секунду
• Отсутствие «падений» интернет-проекта
• Отсутствие простоев, что влечет за собой сохранение бюджета от потерь из-за остановки работы проекта вплоть до 5% от оборота
• Поддержка 24/7, SLA до 99,9%

Разработанные специалистами AWG highload-проекты в среднем выдерживают всплески посещаемости, превышающие плановые показатели в 2-3 и более раз! Это гарантирует, что ваш сайт или приложение «не обвалится» и сбоев не будет даже во время пиковых нагрузок и резкого наплыва пользователей.

Начните переход на новый уровень!

Заполните форму заявки, наши специалисты свяжутся с вами для уточнения деталей по вашему проекту и уже после, в ближайшее время, предложат вам коммерческое предложение с четким отображением этапов и стоимости.