Автоматизация постобработки данных вычислительных экспериментов

• научный сотрудник, Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук. Владивосток. Россия

• Харитонов Дмитрий Иванович

  канд. техн. наук, ст. науч. сотрудни, Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук. Владивосток. Россия

• Одякова Дарья Сергеевна

  старший инженер-программист, Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук. Владивосток. Россия

• Парахин Роман Валерьевич

  инженер-программист, Институт автоматики и процессов управления Дальневосточного отделения Российской академии наук Владивосток. Россия

В данной работе рассматриваются принципы работы системы событийного управления  обработкой  данных  вычислительных  экспериментов.  Рассматривается  построение  моделей  обработки  данных  вычислительных  экспериментов.  Для  построения моделей используются сети Петри. Модель вычислительного эксперимен-
та  состоит  из  моделей  вычислительного  и  управляющего  процессов.  Построение этих моделей происходит раздельно. Построение модели вычислительного процесса осуществляется в два этапа. Сначала  пользователь  формирует дерево событий вычислительного эксперимента, далее происходит автоматическое построение модели  вычислительного  процесса  из  дерева  событий.  Модель  управляющего  процесса строится на основе шаблонов реакции. Представлены три шаблона реакции: реакция на предыдущее событие, реакция на каждое N-е событие, реакция на следующее событие. Шаблон реакции настраивается на событие, на которое он должен реагировать. Подход позволяет строить модели обработки данных пользователям с минимальной подготовкой. Рассматривается архитектура подсистемы событийного  управления  вычислительным  экспериментом.  Приводится  описание  используемых инструментов (Slurm и Audit), которые являются основой для функционирования системы событийного управления. Отслеживание событий происходит с
помощью подсистемы Audit, которая собирает события и передает их на узел обработки. На узле обработки расположен процесс управления, отслеживающий события на модели и запускающий выполнение соответствующих реакций. Приводится описание процесса запуска вычислительного эксперимента с событийным управлением. Описывается алгоритм свертки последовательности событий, предназначенный для поиска несоответствий между моделью и реальным вычислительным экспериментом.  Важной  чертой  подхода  является  отсутствие  необходимости  в  перепрограммировании исходной вычислительной задачи.   
Ключевые слова и словосочетания: суперкомпьютерные вычисления, обработка больших  данных,  многопроцессорные  вычислительные  системы,  визуализация научных данных, сети Петри.