HOPLANG: развитие языка обработки потоков данных мониторинга
Адинец А.В., Брызгалов П.А., Воеводин Вад.В., Жуматий С.А., Никитенко Д.А., Стефанов К.С.

В настоящее время актуальной проблемой является анализ эффективности суперкомпьютерных приложений. Основная задача проекта HOPSA - исследование эффективности с помощью анализа данных мониторинга. Поскольку суперкомпьютерные приложения - это всегда ресурсоемкие приложения, то объем данных, которые требуется анализировать, достаточно большой. Основным и наиболее распространенным инструментом обработки больших потоков данных в настоящее время является связка Pig + Hadoop, однако эта связка, как оказалось, не удовлетворяет потребностям проекта. В частности, возникают значительные задержки даже при обработке небольших запросов, не поддерживается обработка потоков данных, нет нужного уровня абстрагирования от различных баз данных и, наконец, не поддерживается работа с индексами в рамках баз данных. В этой связи для обработки данных кластерного мониторинга требуется специальный язык, получивший название HopLang. В статье освещается развитие языка за последние полгода и перспективы его развития. Статья рекомендована к публикации программным комитетом Международной научной конференции "Научный сервис в сети Интернет: поиск новых решений" (http://agora.guru.ru/abrau2012).

Ключевые слова: параллельные вычисления, мониторинг, суперкомпьютеры

Название статьи, аннотация и ключевые слова на английском языке

Адинец А.В., мл. науч. сотр., e-mail: adinetz@gmail.com;   Брызгалов П.А., науч. сотр., e-mail: pyotr777@guru.ru;   Воеводин Вад.В., мл. науч. сотр., e-mail: vadim_voevodin@mail.ru;   Жуматий С.А., ст. науч. сотр., e-mail: serg@parallel.ru;   Никитенко Д.А., мл. науч. сотр., e-mail: dan@parallel.ru;   Стефанов К.С., науч. сотр., e-mail: cstef@parallel.ru - Научно-исследовательский вычислительный центр, Московский государственный университет им. М.В. Ломоносова, 119992, Ленинские горы, д. 1, стр. 4, Москва