Северсталь создает крупнейшее среди промышленных компаний России Data Lake
Компания Северсталь в своем блоге анонсировала создание гибридного хранилища данных (Data Lake) для реализации своей цифровой стратегии и обеспечения роста конкурентных преимуществ в долгосрочной перспективе.
Инфраструктура призвана хранить собранный на предприятиях массив технологических данных, которые затем будут обрабатываться и использоваться для реализации проектов компании в области глубокой аналитики данных, машинного обучения и искусственного интеллекта.
Ожидается, что хранилище будет основываться на гибридной архитектуре, то есть использовать сочетание двух моделей хранения данных — в собственном центре обработки данных (ЦОД) и аренду мощностей в облачных сервисах. Реализация проекта предполагается на базе преимущественно open-sourсe программных продуктов.
Северсталь уже подписала контракт с Lenovo Group на поставку серверов с совокупным размером хранилища 2ПТБ в собственном ЦОДе. Также кластер будет располагать 30 ТБ оперативной памяти и 1200 ядрами процессорной мощности для вычислений. Это позволит компании создать один из крупнейших корпоративных центров обработки данных среди производственных компаний в России.
Кроме того, было подписано рамочное соглашение с компанией Microsoft об аренде вычислительных мощностей в облачном сервисе Microsoft Azure. Соглашение даст возможность воспользоваться преимуществами гибридной модели и получить доступ к практически неограниченным хорошо защищенным ресурсам публичного облака Microsoft.
Для транспорта данных планируется использовать решение на базе открытого программного обеспечения Apache Kafka и Spark, которое позволит не только передавать потоковые данные с низкой задержкой, но и анализировать их в режиме реального времени.
Игорь Бардинцев, директор по развитию цифровых технологий Северсталь:
Практически все аспекты диджитал-трансформации компании сводятся к обработке данных. Поэтому создание инфраструктуры, способной хранить и анализировать огромный массив информации, собираемой нами на предприятиях — заложит основу для реализации цифровой стратегии Северстали.
По его словам, гибридная архитектура создаваемого хранилища позволит максимально экономически эффективно обеспечить высокую производительность процессов передачи и обработки данных и информационную безопасность компании.
В Data Lake Северстали предполагается хранение, прежде всего, данных, собираемых с датчиков на промышленном оборудовании (Internet of Things), серверов автоматизированной системы управления технологическим процессом, а также MES-систем. На основе собираемых данных планируется реализовать проекты по предиктивной аналитике в таких сферах как ремонты оборудования, оптимизация качества производимой продукции и других, где возможно и экономически оправданно применение искусственного интеллекта.
Как отметил Игорь Бардинцев
Цель каждого диджитал-проекта — довести эффективность конкретного процесса до максимума. Мы уже реализовали на ЧерМК несколько интересных инициатив, например, проект по предсказанию дефектов в цехе холодного проката, пилотируем несколько моделей в области предиктивных ремонтов на стане-2000, и видим, что они приносят видимые результаты. Но чем больше у нас будет возможностей для сбора, хранения и обработки данных, тем больше подобных задач мы сможем решить. Поэтому развитие хранилища данных — это перманентный процесс.
Заметим, что последние годы растет интерес крупных российских компаний к новым технологическим решениям. Компании создают подразделения Data Analytics для практического применения методов анализа данных для производственных и бизнес-процессов, внедряют системы мониторинга оборудования, разрабатывают методики прогнозирования качества стали на начальном этапе производственного процесса.