МЕТОД ОБРАБОТКИ РАСТРОВЫХ ИЗОБРАЖЕНИЙ В РАМКАХ МОДЕЛИ MAPREDUCE

В данной статье предлагается метод обработки растровых изображений, на основе использования модели распределенных вычислений MapReduce . Распределение растровых изображений между узлами вычислительной сети осуществляется разработанными обработчиками для операций Map и Reduce .Обработчики распределяют и собирают растровые изображения на основе спецификаций. Спецификации содержат в себе информацию о способе распределения и сборе данных. Предлагаемый метод позволяет использовать инструменты пространственного анализа растров ых изображений в распределенной вычислительной среде без их модификации. Ключевые слова : MapReduce , WPS , SVM , GEOTIFF, spatial data, image processing . Введение. В области геоинформационных технологий происходит увеличение объемов доступной для обработки и нформации. Часто возникает ситуация, когда увеличение объемов обрабатываемых данных затрудняет их обработку в силу более высоких требований к аппаратной части или временным затратам. Для уменьшения времени выполнения вычислений или более оптимального испол ьзования аппаратных мощностей разрабатываются но вые и развиваются существующие подходы выполнения распределенных вычислений. Одним из наиболее популярных подходов к обработк е данных является реализация вычислений на основе модели распределенных вычислений MapRe duce [5]. Свободно доступная реализация MapReduc e – Apache Hadoop [6] позволяет осуществлять контроль и управление вычислительными узлами, а так же предоставляет такие средства, как распределенн ая файлов ая систем а (единое файловое пространство для выпо лняемых сервисов), и собственн ая распределенн ая СУБД. Расширение Spaital Hadoop [7] ориентировано на работу с большими массивами данных. Особый интерес вызывает гибридный подход HadoopDB [3], включающий распределённ ую СУБД Postgres и Apache Hadoop. Суть HadoopDB состоит в связывании нескольких одноузловых систем баз данных с использованием Apache Hadoop в качестве координатора задач и сетевого коммуникационного слоя MapReduce . В работе [1] авторы предлагают на основе Apache Hadoop и MapReduce систему обработки изображений с автоматическим распараллеливанием данных между вычислительными узлами. Система состоит из двух частей Apache Hadoop и реализованных Метод обработки растровых изображений в рамках модели MapReduce «Информационные и математические технологии в науке и управлении» 2016 № 42 111 обработчиков изображений с аппаратно программным интерфейсом ( API), встроенных в пакет Image Process ing Library. Система ориентирована на обработку коллекции независимых изображений. В статье [4] авторы использовали Hadoop -GIS для обработки пространственных данных. Входные данные содержат множество полигональных, точечных или других объектов. Данные разд еляются на блоки и распределяются между вычислительными узлами. При таком подходе возникает ситуация , когда один объект содержится в двух и более блоках одновременно и необходимо определить , к какому блоку его отнести. Для решения этой задачи авторы предла гают два способа. Первый – исключить эти объекты из обработки и потерять малую часть данных. Второй – выполнить дополнительные вычисления по обработке конфликтных ситуаций. В этом случае достигается точный результат, а общее время работы увеличивается нез начительно. Основное отличие данной работы заключается в том, что в силу специфики распределенной системы нет возможности настроить общую распределенную систему хранения и передачи данных. Описанный подход по обработке конфликтных ситуаций в [6]является перспективным, он будет более подробно рассмотрен, улучшен и адаптирован для целей данной работы. Существует широкий выбор программных систем геообработки, имеющихся на рынке. Однако, несмотря на обилие систем, реализующих программную модель MapReduce, остае тся открытым вопрос применения модели MapReduce для программных систем, ее не поддерживающих, для обработки пространственных данных. Все чаще эти программные системы реализуют в виде Web -сервисов, но не решается вопрос разделения и сборки пространственных данных и управления распределенным вычислением для применения этих систем без программирования. Также стоит отметить, что в большинстве реализаций программной модели MapReduce необходим контроль над вычислительными узлами, на которых будет развертываться с истема, в то время как при большом количестве сервисов, работающих на совершенно разных , как аппаратных, так и программных платформах , под управлением сторонних разработчиков осуществлять прямое управление и настройку узлов практически невозможно. Для реше ния данной проблемы предлагается метод обработки растровых изображений в рамках модели распределенных вычислений MapReduce, которая позволяет использовать инструменты пространственной обработки в распределенной вычислительной среде без их модификации. В ИД СТУ СО РАН был предложен оригинальный способ контроля выполнения сервисов [2] в виде функций на языке JavaScript, которые можно использовать в JavaScript сценариях наравне со стандартными конструкциями языка. Способ [2] позволяет выполнять сервисы в автома тическом режиме, а также поддерживает длительно выполняющиеся сервисы и передачу данных. 1. Постановка задачи. В ИДСТУ СО РАН ведётся разработка и развитие геопортала, одной из функций которого является предоставление инструментов пространственной обработк и данных в виде WPS -сервисов (Web Processing Service). WPS — это стандарт интерфейса Web -сервисов, реализующих пространственную обработку растровых и векторных данных, а также доступ к пакетам геомоделирования, инструментам статистики и обработки через Инт ернет. Приведем краткое описание некоторых из них. Сервис обработки данных радарной топографической съемки (Shuttle Radar Topography Mission, SRTM) применяется во многих задачах, в частности для вычисления уклона (анг. - slope) и экспозиции (анг. - aspect) . Уклон Авраменко Ю.В., Шумилов А.С. 112 «Information and mathematical technologies in science and management» 2016 № 42 112 представляет скорость изменения высоты для каждой ячейки цифровой модели рельефа Digital Elevation Model (DEM). Экспозиция устанавливает направление уклона максимальной скорости изменения значений от каждой ячейки до соседних. Сервис вычислений вегетационного индекса (Normalized Difference Vegetation Index, NDVI), применяется для определения параметров растительности в данном пикселе снимка. Разработаны сервисы, реализующие операции картографической алгебры, выполняющие сложение/вычитание, умножение/деление растровых данных в формате GEOTIFF. Данные операции позволяют выполнять различные методики, в частности , получение изменений между двумя файлами с помощью операции вычитания, различные свертки набора файлов и т.д. Сервис классификации дан ных методом опорных векторов (Support Vector Machine, SVM) на основе прецедентов, хорошо зарекомендова л себя в области обработки пространственных данных. Рассмотрим особенности обработки пространственных данных перечисленными инструментами. Некоторым инстр ументам пространственного анализа для корректной работы достаточно обработать каждый пиксель входного растра независимо от других пикселей. В этом случае достаточно будет разделить входные данные на N равных частей и произвести обработку, затем собрать пол ученные данные. Другие инструменты работают с каждым пикселем входного растра и его окрестностью, поэтому для корректной обработки входные данные придется разбивать с некоторым перекрытием и определить, как поступать с повторяющимися результатами на шаге R educe, т.е. усреднить результат, выбрать экстремальное значение, объединить, вычесть и т.д. Операции над пространственными данными, которые используются в Map и Reduce, повторяются для различных инструментов геообработки в виду общности обрабатываемых данны х. В настоящей работе предлагается метод, включающий в себя обработчики для операций Map и Reduce и спецификации, на основе которых будет происходить процесс распределения и сбора данных среди вычислительных узлов. 2. Обработка растровых изображений в рамк ах модели распределенных вычислений MapReduce. Метод обработки растровых изображений основывается на реализованном в ИДСТУ СО РАН способе контролирования процесса выполнения сервисов[2]. Программно Map и Reduce обработчики представляют собой библиотеки, встраиваемые в модуль выполнения сценариев WPS -сервисов. При выполнении сценария модуль определяет, какому вызову сервиса сопоставляется спецификация. При наличии спецификации происходит анализ вычислительных узлов, поддерживающих выполнение данного сервиса. В зависимости от настроек распределения входных данных, определенных в спецификации, производится разделение входных данных с последующим вызовом копий сервисов на удаленных серверах. Модуль выполнения сценариев последовательно опрашивает выполняемые копи и сервисов, и как только последняя копия сервиса завершает свою работу , все результаты работы копий скачиваются модулем и происходит процесс сборки результата в соответствии с правилами, определёнными в спецификации. Файлы, получающиеся в результате процес са сборки, передаются дальнейшим участникам сценария. На рис. 1 изображена схема работы метода обработки растровых изображений. Метод обработки растровых изображений в рамках модели MapReduce «Информационные и математические технологии в науке и управлении» 2016 № 42 113 Рис. 1. Схема метода обработки растровых изображений в рамках модели MapReduce Приведем описание некоторых элементов данного метода. Обработчик операции Map включает реализованные функции чтения спецификаций, на их основе формируются параметры для распределения растровых данных между вычислительными узлами. Для разделения данных формируются параметры запуска утилиты GDAL TRANSLATE, предназначенной для конвертации растров. Обработчик операции Reduce включает реализованные функции чтения спецификаций и реализованные обработчики сбора данных. Обработчики данных реализу ют стандартные функции обработки конфликтных ситуаций , возникающих в процессе сбора данных. Конфликтные ситуации возникают, например, при сборе частей мозаики растра в одно целое. К таким ситуациям можно отнести поступление повторяющихся или неоднозначных данных. В этом случае обработчик применяет к ним операцию, указанную в спецификации. В текущей версии доступны следующие операции: max – установить максимальное значение из двух перекрывающихся пикселей, min – установить минимальное значение из двух перекрывающихся пикселей, avg – вычислить среднее значение из дв ух перекрывающихся пикселей. Спецификации написаны в формате JavaScript Object Notation (JSON). Настройки спецификаций позволяют указывать минимальные и максимальные размеры ячейки для обработки, позволяя операции Map самостоятельно определять размер ячеек для оптимальной загрузки вычислительных узлов вызываемыми сервисами (в этом случае в обработчик также сообщается число вычислительных узлов). Это позволяет произвести расчет ячейки на основе стратегии равномерной загрузки вычислительных узлов, то есть обработчик стремится занять как можно большее число узлов, при этом максимизируя размер ячейки и минимизируя число вызовов сервиса на каждом узле в целях минимизации расходов на соединение и передачу данных. Спецификации для операции Map содержат следующую ин формацию: ширин у и высот у ячейки данных, ширину полосы перекрывающихся пикселей для соседних ячеек. Спецификации для операции Reduce содержат название метода, применяемого на шаге сбора полученных результатов, для обработки перекрывающихся пикселей. Авраменко Ю.В., Шумилов А.С. 114 «Information and mathematical technologies in science and management» 2016 № 42 114 Заключение. В данной статье предложен метод автоматизации параллельного применения инструментов пространственного анализа растровых изображений в рамках модели распределенных вычислений MapReduce. Отличительной чертой данного метода является возможность ис пользования инструментов обработки пространственных данных в распределенной вычислительной среде без их модификации. Разработаны и реализованы обработчики для операций Map и Reduce, которые позволяют управлять процессом распределения и сбора обрабатываемы х данных независимо от инструментов пространственной обработки. На основе спецификаций можно указать способ распределения и сбора обрабатываемых данных. Предлагаемый метод не требователен к вычислительным узлам. Работа выполнена при поддержке центра коллек тивного пользования ИИВС ИРНОК и гранта РФФИ № 16 -37-00110. СПИСОК ЛИТЕРАТУРЫ 1. Созыкин А.В., Гольдштейн М.Л. Система обработки изображений с автоматическим распараллеливанием на основе MapReduce // Вестник Южно -Уральского государственного университета. 2012. No. 27 (286) . С. 109 – 118. 2. Фёдоров Р.К., Шумилов А.С. WPS -сервисы пространственного анализа состояния окружающей среды и природных ресурсов // Инфраструктура научных информационных ресурсов и систем. 2014. Т. 2. С. 66 – 74. 3. Abouzeid A., Bajda -Pawlikowski K., Abadi D., Silberschatz A., Rasin A. HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. // Proceedings of the 35th VLDB Conference . 2009. 4. Aji A., Wang F., Vo H., Lee R., Liu Q., Zhang X.,Saltz J. Hadoop : GIS: A High Performance Spatial Data Warehousing System over MapReduce // The 39th International Conf erence on Very Large Data Bases. 2013. Vol. 6 . No. 11 . pp. 1009 -1020. 5. Dean J., Ghemawat S. MapReduce: Simplified Da ta Processing on Large Clusters // Sixth Symposium on Operating System Design and Implementation . 2004. 6. Hadoop . Режим доступа: http://hadoop .apache .org/ (дата обращения 18.04.2012). 7. Spatialhadoop . Режим доступа: http://spatialhadoop .cs.umn.edu/ (дата обращения 18.04.2012). Метод обработки растровых изображений в рамках модели MapReduce «Информационные и математические технологии в науке и управлении» 2016 № 42 115 UDK 004.75 PROCESSING OF RASTER IMAGES BASED ON MAPREDUCE MODEL Yuriy V. Avramenko Programmer, e -mail: avramenko@icc.ru Alexander S. Shumilov Graduate student, e-mail: shumsan1011@gmail.com Matrosov Institute for System Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences , 134, Lermontov Str., 664033, Irkutsk, Russia, Abstract. In this paper we propose a method within MapReduce model for processing raster images. Special components have been designed for Map and Reduce operations based on the specifications. Specification define the way input and output data should be processed. Map and Reduce operations are performed according to the designed specifications. Each of computational nodes is selected for processing specific part of input geospatial data that is called cell. Advantage of the proposed method within MapReduce model for processing raster images is to provide geospatial data processing within MapReduce modelfor web -services without extra programming. Keywords: MapReduce, WPS, SVM, GEOTIFF, spatial data, image processing. Actual work is completed with the help of the Center of collective use of the IICN ISSC and RFBR, gra nt number 16 -37-00110. References 1. Sozykin A.V., Gol'dshtejn M.L. Sistema obrabotki izobrazhenij s avtomaticheskim rasparallelivaniem na osnove MapReduce [Processing system of images with automatically distribution based on Mapreduce] // Vestnik Juzhno -Ural'skogo gosudarstvennogo universiteta. 2012. No . 27 (286) . Pp. 109 -118. (in Russian) 2. Fjodorov R.K., Shumilov A.S. WPS -servisy prostranstvennogo analiza sostojanija okruzhajushhej sredy i prirodnyh resursov [WPS -services of spatial analysis of the environment condition and natural resources] // Infrastruktura nauchnyh informacionnyh resursov i sistem. 2014. Т. 2. Pp. 66 – 74. (in Russian) 3. Abouzeid A., Bajda -Pawlikowski K., Abadi D., Silberschatz A., Rasin A. HadoopDB : An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads // Proceedings of the 35th VLDB Conference. 2009. 4. Aji A., Wang F., Vo H., Lee R., Liu Q., Zhang X.,Saltz J. Hadoop: GIS: A High Performance Spatial Data Warehousing Syst em over MapReduce // The 39th International Conference on Very Large Data Bases. 2013. Vol. 6 . No. 11 . Ppp. 1009 -1020. 5. Dean J., GhemawatS. MapReduce: Simplified Data Processing on Large Clusters. //Sixth Symposium on Operating System Design and Implemen tation .2004. 6. Hadoop . Available at: http://hadoop.apache.org/ , accessed20.02.2016. 7. Spatialhadoop . Available at: http://spatialhadoop.cs.umn.edu/ , access ed20.02.2016. Черкашин А.К., Лесных С.И. 116 «Information and mathematical technologies in science and management» 2016 № 42 116 УДК 910.1:528.94:51 -7 СТАТИСТИЧЕСКИ Е МЕТОД Ы СОЗДАНИЯ ИНТЕГРАЛЬНЫ Х КАРТ НА ОСНОВЕ БАЗЫ ДАННЫХ ТЕРРИТОР ИИ МУНИЦИПАЛЬНОГО РАЙОН А Черкашин Александр Константинович Д.г.н., профессор, зав. лабораторией « Теоретическая география », Институт географии им. В.Б. Сочавы СО РАН, 664033 г. Иркутск, ул. Улан -Баторская 1, e-mail: cherk @mail.icc.ru Лесных Светлана Ивановна К.г.н., с.н.с. лаборатории «Теоретическая география», Институт географии им. В.Б. Сочавы СО РАН, 664033 г. Иркутск, ул. Улан -Баторская 1, e-mail: tyara @irigs.irk.ru Аннотация. В статье рассматриваются методы расчета интегральных показателей (ИП) состояния среды, которые объединяют разнокачественную пространственную информацию о географическом положении объектов с учетом научных принципов квалиметрии. Объективность расчета ИП обеспечивается применением статистического метода главных компонент, принимающих во внимание эти принципы. Первая главная компонента отражает максимум вариации информации о геосистеме, вторая - характеризует устойчивый средовой фон. Их различие для каждого местоположения соответствуе т пот енциалу изменчивости геосистемы — степень отклонения от местной средовой нормы. Приведен а картограмма по результат ам расчетов ИП , основанны х на данных лесоустройства Слюдянского лесхоза в границах Слюдянского муниципального района Иркутской области.