2023 г.

Разработка методов реконструкции и распознавания 3D объектов по данным одного ракурса.

На основе скалярных функций возмущения разработаны методы реконструкции и распознавания 3D объектов по данным одного ракурса изображения с использованием данных силуэта объекта, требующие на порядок меньше вычислительных затрат в сравнении с известными решениями. При визуализации объектов используется механизм подобный отображению текстуры, благодаря которому при генерации  поверхности время вычислений практически не зависит от разрешения карты высот (текстуры формы). Предложен метод распознавания трехмерных объектов на основе скалярных функций возмущения и теоретико-множественной операции вычитания. Метод распознавания отличается от известных подходов тем, что в процессе проверки участвуют не только точки поверхности, но и объём.

2022 г.

 Разработка прототипа интерактивной системы управления, обработки, регистрации и отображения потоковых мультимедийных данных в реальном масштабе времени для тренажерно-обучающего комплекса пилотируемого космического аппарата (ПКА) нового поколения.

Исследование и разработка интерактивных технологий взаимодействия лектора с элементами дополненной реальности и системами обратной связи с аудиторией при использовании интерактивного технического решения Lightboard (прозрачная доска) для представления тематического материала.

Разработка методов интерактивного моделирования и визуализации функционально заданных объектов для 3D-Web приложений.

     Для тренажёрно-обучающих комплексов нового поколения пилотируемых космических аппаратов (ПКА) разработаны усовершенствованные алгоритмы и программные модули системы обработки, регистрации и отображения потоковых данных тренировочного процесса, учитывающие повышенные требования к качеству и количеству данных, обрабатываемых в реальном масштабе времени. Модули протестированы на макете прототипа системы отображения и регистрации, обеспечивающей необходимую функциональность для повышения качества подготовки экипажей космонавтов на тренажёрах ПКА нового поколения.

        Разработаны программно-алгоритмические средства для интерактивного управления процессом создания и визуального представления мультимедийного тематического материала с использованием мультисенсорного устройства (МСУ) Lightboard («прозрачная доска»). Компьютерная система с МСУ Lightboard позволяет лектору традиционными сенсорными методами управлять в режиме реального времени процессом создания и визуального представления на «доске» тематического материала, интегрируя широкий спектр входных данных. Это повышает эффективность обучающих систем в конкретных приложениях  (компьютерные тренажеры, учебно-методические материалы очного и дистанционного обучения, в медицинских приложениях, видеопроизводство, выставки,  интерактивные презентации и др.).

       Разработаны методы интерактивного моделирования и визуализации сложных функционально заданных моделей объектов для работы  в современных Web-браузерах, использующих стандарт HTML5 и библиотеку программного обеспечения для визуализации трёхмерной графики WebGL. Разработано приложение для высокореалистичных моделей для работы в реальном времени [1]. Формы моделей объектов, задаются с помощью функций возмущения [2-3], которые определяют геометрию объекта, трехмерную геометрическую текстуру, цвет и их преобразования во времени. За счет компактного задания моделей 3D-объектов обеспечивается оптимальное использование ресурсов Интернета  (время загрузки файлов,  объем памяти  для хранения сложных компьютерных трехмерных моделей) и доступность рендеринга высокореалистичных моделей широкому кругу  пользователей с помощью Web-браузера.

Публикации:

1. Вяткин С.И., Долговесов Б.С. Методы интерактивного моделирования и визуализации  функционально  заданных объектов для 3D-Web приложений  // Автометрия. – 2022. – Т.58. – № 1. – С. 111–118. – DOI: 10.15372/AUT20220112  

2. Вяткин С.И., Долговесов Б.С. Моделирование деформации эластичных объектов с  использованием функций возмущения // Программные продукты и системы. – 2022. – Т. 35 – № 4. –С.  197–206. –   DOI: 10.15827/0236-235X.140.197-206

3. Вяткин С.И., Долговесов Б.С. Рендеринг неоднородных объемов с применением функций   возмущения // Вестник компьютерных и информационных технологий.– 2022.– Т. – 19. – № 12. –  С. 12–20. –   DOI: 10.14489/vkit.2022.12.pp.012-020

2021 г.

 Разработка метода и алгоритмов гибридного рендеринга  для отображения 3D – сцен  в обучающих и тренажерных системах. Исследование и разработка архитектуры, алгоритмов, функциональных модулей системы управления, обработки, регистрации и отображения потоковых мультимедийных данных в реальном масштабе времени для тренажерно - обучающего комплекса пилотируемого космического аппарата (ПКА) нового поколения. Разработка метода и алгоритмов визуализации в реальном масштабе времени трехмерных моделей объектов со сложной геометрией на основе мультиобъемных данных и функционально заданных поверхностей

       В системах отображения для обучающих и тренажерных задач существует противоречие между требованиями интерактивности (малые задержки в мультимедийных каналах) и необходимым качеством отображаемой аудиовизуальной информации (отсутствие пропуска кадров, точная синхронизация мультимедийных данных, детальность и реалистичность визуализации). Для разрешения указанных противоречий предлагается метод гибридного рендеринга, обеспечивающий одновременно приоритетную работу с интерактивностью при отображении данных непосредственно обучаемым и/или инструкторам в реальном времени с минимальными задержками и приоритетную работу с высоким качеством выходных мультимедийных потоков для отображения с пониженными требованиями к интерактивности (контрольные мониторы и т.д.). Разработаны алгоритмы буферизации и доступа к мультимедийным данным: одновременно для работы с гарантированными программируемыми задержками и высоким качеством просчёта изображения и для обработки данных без пропуска кадров и значимых потерь синхронизации. Моделирование гибридного рендеринга показало его эффективность, что актуально для обучающих и тренажерных систем нового поколения с расширенными информационными и управляющими потоками данных.

      Исследования существующих решений по регистрации и отображению потоковых мультимедийных данных в реальном масштабе времени для тренажёрно - обучающих комплексов [1-2] показало существенные трудности в использовании высокоэффективных алгоритмов сжатия с целью снижения как потоковой нагрузки на системы отображения, так и общих объёмов хранения мультимедийных данных. Связано это с противоречащим требованием быстрого и произвольного доступа как к записанным ранее, так и записываемым в процессе тренировки мультимедийным данным. Для обеспечения произвольного и быстрого позиционирования и воспроизведения потоковых многоканальных данных непосредственно в процессе их записи разработана распределённая архитектура и алгоритмы работы с компрессированными данными с использованием высокоэффективных аппаратных кодеров. Моделирование архитектуры и алгоритмов показало работоспособность предложенных решений для реализации в тренажёрно-обучающем комплексе нового поколения для ПКА. Предложенные решения загрузки сетевых каналов передачи данных будут и актуальны  при реализации концепции интегрированных тренажерных комплексов, объединенных единой системой передачи, регистрации и отображения  распределенных  данных тренировочного процесса.

Разработаны метод и алгоритмы для  визуализации в реальном масштабе времени тематических композиций трехмерных объектов со сложной геометрией на основе функционально заданных поверхностей  и мультиобъемных  данных с разной пространственной ориентацией и разрешением (например, томографические данные МРТ, КТ и др.).  Для описания поверхностей используются функции отклонения второго порядка от базовой квадрики. Объемные данные хранятся в виде 3D - текстуры. Сформированная таким образом геометрическая модель применяется для конструирования объектов и их композиций различной сложности с использованием множества геометрических операций.

Предлагаемый метод позволяет отображать в реальном масштабе времени тематически связанные композиции функционально заданных поверхностей и наборов объемных данных со сложной геометрией пересечений, используя параллельные вычислительные ресурсы графического процессора CUDA [3-7].

Метод актуален для медицинских приложений. Использование функционально заданных поверхностей позволяет сократить базу данных для 3D-моделей медицинского инструментария,  имплантатов и уменьшить время рендеринга в системах виртуальной ортопедической хирургии. Метод является простым в реализации и может применяться  для многих задач, использующих объёмный рендеринг. 

Публикации:

1.  Долговесов Б. С., Мазурок Б. С.,  Брагин В. И. Модернизация системы обработки и отображения визуальной информации для эффективного контроля и управления тренировочным процессом в условиях расширенного  информационного потока  //  Пилотируемые  полеты  в  космос.   – 2021.  –  № 3(40). – С. 61-65. –  DOI: 10.34131/MSF.21.3.61-65

2.  Долговесов Б. С, Шадрин М. Ю.,  Брагин В. И. Модернизация системы обработки и  отображения визуальной информации «Мозаика» комплекса тренажёров Российского сегмента Международной космической станции // Сборник материалов XIV Международной научно-практической конференции «Пилотируемые полеты в космос» (ФГБУ «НИИ ЦПК имени Ю.А.Гагарина». Звездный городок, Московская обл., Россия. 17-19 ноября 2021.) – 2021. –

      С. 153.

3.  Вяткин С. И., Долговесов Б. С.  Метод визуализации мультиобъемных данных и функционально заданных  поверхностей  с  применением графических процессоров //Автометрия.–2021. – Т. 57. –  № 2. – С. 32-40. – DOI: 10.15372/AUT20210204

4.   Chekhmestruk Roman Y., Mykhaylov Pavlo I., Vyatkin Sergey I. Method for calculating the reflection function of global illumination with perturbation functions // Scientific Journal: Herald of Advanced Information Technology. -2021.- V. 4. - No.1. – P. 47–56. DOI: 10.15276/hait.01.2021.4   

5. In the book «BioArt Book: Teaching and subjects on bio-medical engineering, Approaches and      experiences from the BIOART-project». (Leuven, Belgium. 2021):

Vyatkin Sergey, Romanyuk Olexandr, Bezsmertnyi Yurii et al. Modeling and simulation of prosthetic gait using a 3D model based on perturbation functions. – P. 477-506.   ISBN: 978-94-641-4245-7

6.   In the books «Current Trends in Communication and Information Technologies. IPF 2020 / ed. by Vorobiyenko P. et al.: Lecture Notes in Networks and Systems». – Springer. – 2021. – V. 212.

Vyatkin S.I., Romanyuk O.N., Chekhmestruk R.Y. et al. Comparison of Volume  Rendering Methods Using GPU and Specialized Volumetric Accelerator. P. 359–378. –  

 https://doi.org/10.1007/978-3-030-76343-5_19                      

7.   Vyatkin S., Romanyuk O., Pavlov S. et al.  Manipulating function-based objects with interactive collision risk models // Proceedings of the 1st International Workshop «Computational and Information Technologies for Risk-Informed Systems» (Kherson, Ukraine, October 15-16, 2020) – 2020. - V. 2805. – P. 324–334.     

2020 г.

Исследование и разработка алгоритмов отслеживания параметров съёмочной видеокамеры и объектов съёмки в задачах автоматической и полуавтоматической передачи данных  с помощью управляемых PTZ- видеокамер с целью применения в обучающих и тренажёрных комплексах. Разработка методов реконструкции функционально заданных поверхностей по стереоизображениям реальных объектов

          Видеокамеры с функциями панорамирования (Panning), наклона (Tilt )и масштабирования (Zoom), известные как PTZ-видеокамеры, предоставляют широкие возможности по эффективному управлению информационными видеопотоками для создания видеоконтента в обучающих и тренажёрных комплексах, включая технологии дистанционного обучения. Для дистанционного компьютерного управления PTZ-видеокамерами разработаны алгоритмы для таких функций,  как автоматическая съёмка по заранее заданным и управляемым внешними событиями траекториям (сценарии, тренажёры), автоматическое (полуавтоматическое) отслеживание реальных и виртуальных объектов съёмки с коррекцией положения PTZ- камеры в зависимости от действий обучаемого. Разработан программный модуль для функции отслеживания параметров съёмочной видеокамеры и объектов съёмки, обеспечивающий дистанционное  управление и коммутацию в реальном времени видеопотоков PTZ-видеокамеры в задачах автоматической и полуавтоматической передачи данных. В отличие от неподвижных стационарных видеокамер программно - управляемые PTZ-видеокамеры с разноформатным пространственным видеообзором, расширенными функциональными возможностями управления и анализа информационного видеопотока обеспечивают создание высокоинформативного тематического видеоконтента в обучающих и тренажёрных системах для эффективного решения стоящих перед ними задач. PTZ-видеокамера обеспечивает замену нескольких неподвижных стационарных камер наблюдения при адекватном диапазоне наблюдения за динамикой реальных объектов в ограниченном рабочем пространстве (например, авиационные и космические тренажеры).

         Получение трехмерных геометрических данных из реальной и сложной среды является актуальной задачей для создания виртуальной информационной среды, характерной для различных приложений (тренажерные и обучающие системы, распознавание изображений, обработка данных дистанционного зондировании Земли, навигация со сложными рельефами местности и др.). Для решения задачи реконструкции 3D- поверхности реальных объектов используется принцип бинокулярного стереозрения на основе  двух  откалиброванных видеокамер [1-2]. Разработан метод и алгоритмы для реконструкции 3D- модели реального объекта по стереопаре  изображений с использованием функций возмущения. Задача реконструкции объемной модели включает следующие этапы: получение стереопары; ректификация изображения (image rectification) стереопары; поиск сопряженных точек и сопоставление изображений; получение карты глубины изображения. 

  Предложенный метод реконструкции 3D-поверхности реальных объектов по стереоизображениям с формированием иерархической воксельной структуры модели объекта в виде восьмеричного дерева и ее преобразованием в функциональное описание на основе функций возмущения обеспечивает компактное описание и гладкость поверхности. Иерархическая обработка исходных данных с использованием структуры восьмеричного дерева значительно сокращает время вычислений  без потери данных, что является отличием от известных методов, использующих итерационные методы для формирования поверхностей трехмерных моделей. Основные достоинства метода: простота преобразования воксельных данных объектов в функциональное описание; быстрый поиск описывающих функций; существенное уменьшение количества данных для задания поверхностей сложных объектов. Это позволит эффективно использовать средства компьютерной графики для оперативного представления сложной тематической среды в задачах конкретных приложений.

       ПУБЛИКАЦИИ

1. Вяткин С. И., Долговесов. Б. С. Метод реконструкции функционально заданных поверхностей по стерео изображениям реальных объектов // Автометрия. - 2020. - Т. 56, №6. - С. 19- 26.

2. Vyatkin S., Nechyporuk M., Romanyuk A., Romanyuk O., Tsikhanovska O. Photorealistic Object Reconstruction Using Perturbation Functions and Features of Passive Stereo Projection //10th International Conference on Advanced Computer Information Technologies (ACIT-2020). Deggendorf, Germany. 2020. - P. 851-857. - DOI: 10.1109/ACIT49673.2020.9208891

2019 г.

   Редактор мультимедийных данных для обучающих систем.   Методы функционально-воксельного текстурирования поверхностей трехмерных сцен.

      Для повышения зффективности обучающих систем, использующих мультимедийные технологии в качестве средств предоставления тематического материала, актуально формирование информативных тематических проектов на основе  широкого спектра мультимедийных данных. С этой целью разработан редактор мультимедийных данных, позволяющий в реальном масштабе времени создавать и управлять контентом в проектах, содержащих набор мультимедийных данных, как архивных, так и поступающих в реальном времени из разнородных источников. Программно-алгоритмические средства редактора, реализованные на персональном компьютере, позволяют работать как в режиме интерактивного онлайн - управления (online-management) отображением мультимедийных данных, так и в режиме интерактивного оффлайн - создания (offline-creation) наборов тематических мультимедийных данных для демонстрационно-обучающих проектов. содержащих сценарные элементы управления и параметры обработки и отображения.  Проекты включают элементы управления сценарием и параметры обработки и отображения. Отличительная особенность разработанного редактора – это программная реализация процесса интерактивного совмещения и формирования сценарной конфигурации в тематическом проекте объектов 3D-сцен, тексто-графического оформления и традиционных аудио - и видеоматериалов с одновременной качественной визуализацией интегрированного  видеоконтента  мультимедийных данных  в  реальном масштабе времени. Для управления формированием и отображением видеоматериалов тематических проектов разработан графический пользовательский интерфейс (рис. 1). 

3D-сцены могут включать объекты, заданные функциями возмущения и массивами скалярных данных (например, данные томографии), для интеграции которых в обучающий мультимедийный контент разработаны текстурные методы формирования и визуализации поверхностей таких объектов. Методы обеспечивает высококачественную визуализацию в реальном масштабе времени с наименьшими вычислительными ресурсами по сравнению с полигональным формированием сложных поверхностей 3D-объектов. Предложенные методы текстурирования апробированы при формировании и визуализации объемных облаков. На рис.2 представлена 3D-сцена с моделированием облаков, формы которых формируются из процедурных текстур, полученных   с применением функции шума Перлина при выполнении соответствующих функций. Разработанные методы текстурирования 3D-объектов могут использоваться при создании виртуальных 3D-сцен в авиационных тренажерах, а также в медицинских приложениях при формировании по томографическим данным 3D-моделей анатомических объектов (например, для  обучения ортопедической хирургии).

 Рис.1. Графический пользовательский интерфейс редактора.

Рис. 2. Визуализация облаков в 3D-сцене с  применением

трехмерной текстуры.

2018 г.

       На базе функциональных программных модулей, разработанных в рамках первого этапа проекта госзадания (2017г.), создан прототип масштабируемой многоканальной системы (ММС) для обработки и отображения в реальном масштабе времени мультимедийных  данных. Цель прототипа - отработка усовершенствованной системы с расширенным диапазоном входных данных для эффективного решения задач управления и визуального контроля за ходом  тренировочного процесса. При разработке прототипа учтены результаты опытной эксплуатации в тренажерах ФГБУ «НИИ ЦПК им. Ю. А. Гагарина» систем, созданных в ИАиЭ CО РАН ранее (2015-2016 гг.) ), а также новые требования к информационному  обеспечению тренировочного процесса.

          Для обработки расширенного диапазона потоковых входных данных в ММС усовершенствованы алгоритмы аппаратного многоканального кодирования и декодирования сигналов для работы с сигналами современных форматов высокого разрешения (3G SDI и выше). Повышение эффективности визуального контроля за тренировочным  процессом обеспечивается основными функциями, реализованными в прототипе, такими как: мониторинг видеосигналов от источников различных форматов, формирование комбинированного изображения («мозаик») источников видеосигналов, интерактивный выбор «мозаики» для отображения,  создание и редактирование шаблонов «мозаик», отображение на рабочем месте пользователя «мозаик», полученных по локальной вычислительной сети (ЛВС),  выбор на «мозаике» источника видеоданных для полноэкранного отображения.  Для реализации данных функций разработан графический пользовательский интерфейс (ГПИ) специального программного обеспечения (СПО), формирующий «мозаики» из изображений произвольно выбранных источников видеоданных тренировочного процесса посредством интерактивного взаимодействия пользователя с компонентами соответствующих экранных окон ГПИ (рисунок 1). В системе предусмотрена  возможность удалённого управления формированием «мозаик» на сервере микшера-коммутатора и многоканальным отображением этих «мозаик» как с различных рабочих станций, так и с беспроводных мобильных устройств, используя для передачи данных локальную вычислительную сеть (ЛВС). Система отображения может в дальнейшем масштабироваться без существенных изменений  программно-аппаратных решений с помощью дополнительных серверов микшера-коммутатора и  кодирующих устройств для различных форматов данных (видео, приборные интерфейсы, системы компьютерной генерации изображений и др.), обеспечивающих дополнительные информационные каналы для пользователей.

Рис. 1. Графический пользовательский интерфейс для  интерактивного формирования   «мозаик»  входных  видеосигналов:  1 -  панель миниатюр «мозаик» с заранее  заданной конфигурацией;   2 - панель миниатюр мониторов удаленных пользователей; 3 - центральная панель, содержащая окна предварительного просмотра  выходных данных; 4 - панель выбора источников данных.

Разработан метод гибридного рендеринга (rendering) для отображения сложных 3D сцен в системах компьютерной генерации изображений (СКГИ), видеоданные с которых могут поступать для ММС в качестве одной из составляющих информационного обеспечения тренировочного процесса. Метод, ориентированный на использование ресурсов современных графических процессоров, обеспечивает в реальном масштабе времени рендеринг трех видов данных, представляющих 3D-сцену: аналитическое описание объекта на базе функций возмущения; воксельно-базируемый рельеф местности; данные для визуализации атмосферных эффектов (рассеянного света, тумана и др.). Аналитическое и скалярное задание объектов значительно сокращает описание сцены по сравнению с полигональным заданием, обеспечивая высококачественное изображение с минимальным количеством вычислений. Для тестирования предложенного метода использовались программно-аппаратные средства, обеспечивающие визуализацию сложной 3D-сцены (рис.2) в реальном масштабе времени: программный пакет средств разработки DirectX 12 для вершинных и пиксельных шейдеров,  ПК с процессором  Intel Core i7-2700K и графический процессор NVIDIA GeForce GTX 950 Ti (1024 МГц) с 768-ю унифицированными шейдерными процессорами. На вход шейдеров поступают координаты вершин, матрицы преобразования, интенсивность и направление солнечного света, а также коэффициенты его затухания и рассеяния.

    Рис. 2.  Изображение  комбинированной 3D –сцены с эффектом  рассеянного  солнечного  освещения,     состоящей  из объектов, заданных  аналитическими функциями возмущения (самолеты) и воксельно-базируемого рельефа местности.

Прикладные разработки (2018 г.)

      На основе прототипа выполнена модернизация системы обработки и отображения потоковых мультимедийных данных. Система сдана в НИИ ЦПК имени Ю. А. Гагарина для проведения тренировок на комплексе тренажеров Российского сегмента МКС. На базе новой версии построения  системы регистрации и отображения потоковых мультимедийных данных совместно с Лабораторией программных систем машинной графики  разработан прототип системы регистрации и на его основе создан и поставлен в НИИ ЦПК имени Ю. А. Гагарина образец системы для комплексного тренажера ТДК-7СТ4.

2017 г.

С целью повышения эффективности процесса управления и контроля в тренажерно-обучающих комплексах разработана новая версия программного обеспечения системы отображения и регистрации потоковых мультимедийных данных. В ходе выполнения работы проведены исследования, разработка и оптимизация алгоритмов и унифицированных программных модулей с учетом опытной эксплуатации системы на комплексном тренажере «Дон-Союз» в ЦПК им. Ю. А. Гагарина, созданной в ИАиЭ СО РАН.

Разработаны алгоритмы и программная реализация на базе языка программирования QML унифицированных  модулей для систем отображения  и регистрации мультимедийных данных тренировочного процесса с расширенными функциональными возможностями, обеспечивающими оперативность отображения и регистрации динамических данных тренировочного процесса с возможностью интерактивного управления отображаемыми данными.

Для визуализации функционально заданных объектов 3-х мерных сцен разработан высокопроизводительный алгоритм распределенного рендеринга в реальном масштабе времени с использованием графических процессоров. Для реализации алгоритма предложен метод тайловой технологии визуализации функционально заданных объектов. Отличительными чертами данного метода являются разделение экрана на клетки и конвейеризация вычислений с использованием промежуточного описания кадра в виде списка примитивов. Разбиение вычислений на две фазы с использованием промежуточного описания кадра позволяет достичь максимальной производительности на этапе пиксельных вычислений, требующих наибольших ресурсов и определяющих производительность системы в целом. К основным достоинствам предлагаемых способа задания объектов и метода их визуализации следует отнести простоту вычисления точек поверхности объекта с быстрым поиском и отбраковкой областей, не занятых объектами сцены; уменьшение количества поверхностей для описания криволинейных объектов. Это обеспечивает визуализацию сложных сцен в реальном масштабе времени.

2016 г.

 Создан прототип системы отображения и регистрации распределенных мультимедийных данных (рис. 16-1). В основе прототипа оригинальные программно-аппаратные решения, реализующие разработанную концепцию распределенной мультимедийной виртуальной среды (РМВС) для обработки и отображения мультимедийных данных. Адаптированный для задач тренажерно-обучающего комплекса прототип позволяет расширить диапазон контролируемых данных тренировочного процесса за счет синхронной записи до 10 информационных потоков. Одновременно обеспечивается чтение этих данных из архива для многооконного отображения на экране пользовательского интерфейса инструктора.

Рис. 16-1. Архитектура прототипа системы отображения и регистрации аудиовизуальной информации.

Прикладные разработки (2016 г.)

  На базе прототипа создана система^* для оперативного отображения и регистрации многоканальных аудиовизуальных данных тренировочного процесса подготовки космонавтов на тренажере «Дон-Союз» ФГБУ «НИИ ЦПК имени Ю.А. Гагарина» (рис. 16-2).

а)                                                      б)                          

Рис.16- 2. Внешний вид системы обработки и видеорегистрации данных   тренировочного процесса тренажера  «Дон-Союз» в ЦПК им. Ю.А. Гагарина.

         (а – пользовательский интерфейс инструктора, б – вычислительный блок системы)

          ^{*) Совместно с лабораторией №13}

2015 г.

• Разработан и исследован алгоритм программной синхронизации вывода распределенных видеоданных при отображении на больших экранах (полиэкранах). Алгоритм обеспечивает визуальную непрерывность отображаемых сцен при неравномерном потоке входных кадров. Для оценки эффективности алгоритма проведено его тестирование при различных смоделированных условиях подготовки кадров для отображения.  Показано, что приемлемый вариант для качественного полиэкранного отображения - это синхронизация распределенных выходных фрагментов изображения с использованием буферизации кадров и коррекцией времени отображения кадра. Алгоритм позволяет избежать нежелательных артефактов (эффект «замирания», потеря кадров, разрыв изображения и др.) в случае  неравномерности поступления видеокадров при распределенном отображении динамических сцен на полиэкранах.

• Разработаны алгоритмы и программы для организации графического пользовательского интерфейса для удаленного оператора (рис.15-1). Для управляющих видеоминиатюр (превью-раскладок) интерфейса формируется фиксированный поток мозаики кадров всех источников с параметрами видеоминиатюр, задаваемыми оператором. Достоинства предложенного решения: обеспечивается постоянная нагрузка на сеть независимо от количества источников данных; не накладываются существенные ограничения на производительность компьютера удаленного оператора и не требуется дополнительных аппаратных средств, что позволяет использовать планшетные компьютеры. Интерфейс поддерживает широкий набор функций, выполняемых в режиме реального времени (мониторинг данных входных источников, микширование, коммутацию, оперативный вывод мультимедийных данных для отображения, динамическое изменение размеров и расположения диалоговых окон и т. д.).

Рис. 15-1. Пример графического интерфейса для удаленного управления отображением мультимедийных данных

• Разработаны усовершенствованные методы визуализации функционально заданных компьютерных моделей, как разновидности мультимедийных данных. Методы ориентированы для аппаратной реализации на высокопроизводительных графических акселераторах. Разработан метод визуализации ландшафта местности на основе скалярных функций возмущения. Адаптированный к возможностям стандартного графического ускорителя, метод позволяет отображать в режиме реального времени большие районы местности высокого качества без предварительной триангуляции (рис.15-2).

        Рис. 15-2. Результат моделирования рельефа местности без предварительной триангуляции с разрешением карты высот 1024x1024

• Для визуализации изображения использовался программный пакет DirectX. Тестирование производилось на процессоре Intel Core i7-2700K, GTX 550Ti и GTX 750 Ti в разрешении 1920х1080 пикселей. Результаты тестирования района рельефа размером 50х80 км, с пространственной частотой DEM - 1 м и текстуры – 1 см. представлены в табл. 1. Время вычислений при генерации рельефа местности практически не зависит от разрешения карты высот.

 Таблица 1

 Прикладные разработки (2015г.)

Результаты, полученные в ходе выполнения этапов базового проекта, реализованы в работе по теме «Гранит-15»:

«Система обработки и отображения визуальной информации комплекса тренажеров Российского сегмента Международной космической станции – СООВИ КТ РС МКС».

Созданная для ФГБУ «НИИ ЦПК имени Ю.А. Гагарина», система (рис. 15-3 – рис.15-5) успешно прошла испытания в ЦПК.

Рис. 15-3. Структура организации СООВИ КТ РС МКС

 Рис. 15-4. Блок-схема СООВИ КТ РС МКС

Рис. 15-5. Пользовательский интерфейс СООВИ КТ РС МКС

2014 г.

• Разработаны базовые программные модули микшера-коммутатора (см. рис. 1-2013), являющегося основным компонентом в архитектуре РМВС: модуль ввода мультимедийных данных различных источников (видеофайлы, фотоизображения,трехмерные сцены, устройства захвата видео и др.); модульвывода мультимедийных данных на базе специализированных устройств.

• Исследованы способы многооконного синхронного отображения данных различных медиаисточников. Для демонстрационной модели многооконного отображения разработано приложение MSystem. Приложение позволяет формировать окна на экране графической панели управления (рис.14-1) и назначать для каждого окна соответствующие мультимедийные данные (анимированные 3D-сцены, видеофайлы, сетевые видеопотоки и др.) для демонстрации.

Рис. 14-1. Пример пользовательского интерфейса интерактивного управления распределенными мультимедийными данными для многооконного отображения в различной конфигурации.

• Исследованы вопросы организации распределенного вычислительного процесса для формирования и синхронного отображения крупномасштабных 3D-сцен на больших экранах (видеостенах). Разработан вариант реализации системы отображения 3D-сцен, основанный на «звездной» объектно-ориентированной архитектуре распределенных вычислений. В качестве центрального объекта используется иерархическая база данных, связывающая взаимодействующие процессорные модули системы, ориентированные на параллельную обработку фрагментов изображения 3D-сцены. Управление модулями осуществляется через общую базу данных с параметрами, необходимыми для работы модулей и их взаимодействия. Такой подход позволяет легко наращивать систему новыми модулями, поскольку каждый новый модуль взаимодействует только с локальной базой данных. Межмодульное взаимодействие осуществляется на основе унифицированного протокола обмена данными. Разработана программа VideoWall для распределенной обработки и отображения фрагментов трехмерной сцены с использованием нескольких персональных компьютеров (ПК). Это позволяет увеличить общую производительность системы и отображать более сложные сцены. Общее управление может осуществляться с одного из них или с внешнего управляющего компьютера.

2013 г.

• Разработана архитектура распределённой мультимедийной виртуальной среды (РМВС) реального времени для отображения мультимедийных данных в многопользовательских информационных системах (тренажёрно-обучающие комплексы, ситуационные центры и др.). Основные функции, выполняемые РМВС: ввод медиаданных в среду; мониторинг и маршрутизация входных и выходных потоков мультимедийных данных; преобразование и микширование (генерирование виртуальных источников) как для системы управления средой, так и для формирования вещаемого медиаконтента; отображение сформированных и выбранных медиаданных на доступных устройствах вывода. Предложенный подход построения многопользовательских систем отображения основан на использовании сжатых (компрессированных) цифровых данных для удалённой передачи в универсальных транспортных сетевых средах и некомпрессированных сигналов для локальной коммутации непосредственно в системах отображения конечных пользователей (ситуационные залы, аудитории и т.д.). Основные компоненты в архитектуре РМВС (рис.13-1) представлены двумя типами модулей: интегрированный микшер-коммутатор и управляющий модуль. Программно-аппаратные решения на стандартных вычислительных средствах обеспечивают универсальность функционирования РМВС, ресурсосберегающую практическую реализуемость, простую процедуру реконфигурирования, что позволяет использовать ее в широком спектре приложений без существенных изменений архитектуры.

Рис. 13-1. Архитектура распределённой мультимедийной виртуальной среды

• Разработана усовершенствованная версия интерактивной системы обучения и презентаций на базе технологии интегрированной виртуальной реальности (ИВР) - интеграции изображений тематической виртуальной среды и реального персонажа (лектора), непосредственно взаимодействующего в реальном времени с моделями объектов этой среды (рис.13-2). В системе используется разработанная унифицированная модульная структура организации базы данных, основные достоинства которой: простота задания произвольных структур данных; унифицированный способ обмена с различными источниками мультимедийных данных; обработка запросов в реальном масштабе времени; наращивание функций в соответствии с расширением сфер и задач применения системы без структурныхизменений.Для повышенной информативности демонстрационного материала в системе предусмотрена интеграция мультимедийных данных различных информационных источников и форматов их представления (видео и звук с внешних цифровых и аналоговых источников, изображения форматов SDTV, HDTV, DVI/HDMI, интерактивные PowerPoint – презентации, Flash-анимация). Проект «Система обучения и презентаций на базе технологии интегрированной виртуальной реальности» отмечен Золотой медалью по итогам участия в конкурсе в рамках Х Международной выставки высокотехнологичной техники и вооружений «ВТТВ-Омск-2013».

Области применения:обучение в реальном времени в системе очного и дистанционного образования, презентация результатов научно-технической деятельности, в учебных классах подготовки космонавтов и обучения персонала наземных оперативных групп, проведение телеконференций, ситуационные центры, создание электронных учебных пособий с использованием интерактивных виртуальных материалов, в интерактивных музеях, планетариях и др.

2012 г.

Интуитивный пользовательский интерфейс на базе контроллера Kinect

Разработан интуитивный пользовательский интерфейс на базе контроллера Kinect для интерактивного взаимодействия с виртуальными 3D-моделями с помощью движений (жестов) оператора. Интерфейс может использоваться как эффективный инструментарий в системах виртуальной реальности обучающих и тренажерных комплексов. Одно из возможных применений - в навигационной системе космического тренажера для отработки космонавтами навыков внекорабельной деятельности на внешней поверхности орбитальной станции.

Программно-алгоритмические средства для организации записи динамических виртуальных сцен

Разработаны программно-алгоритмические средства для организации записи динамических виртуальных сцен, формируемых в процессе обучения (тренировки), из памяти графического акселератора системы визуализации в буферную память. Для передачи видеоданных из буферной памяти по сети Интернет разработан программный модуль кодирования видеоданных с использованием средств DirectShow. Предложенные решения обеспечивают непрерывность процесса визуализации в реальном масштабе времени и корректную передачу видеоданных по сети Интернет.

Методы формирования и визуализации микрорельефа поверхностей динамических трехмерных объектов виртуальных сцен

Разработаны методы формирования и визуализации микрорельефа поверхностей динамических трехмерных объектов виртуальных сцен для аппаратно-программной реализации на графических акселераторах. Предложенные оптимальные решения обеспечивают компромисс между производительностью и объемом памяти в зависимости от требований к системе визуализации, обеспечивая при этом высокое качество отображаемых в реальном времени поверхностей.

2009-2011 гг.

Поверхности свободных форм на основе функций возмущения

Предложен новый способ задания поверхностей свободных форм на основе функций возмущения. Разработаны эффективные методы и алгоритмы для визуализации объектов, ограниченных поверхностями свободных форм, с использованием формозадающих функций. Это позволяет достичь хорошей гладкости поверхностей объектов и их компактного описания ограниченным числом базовых и возмущающих функций второго порядка без ограничений на форму поверхностей (рис.1). Преимущества функционального задания поверхностей по сравнению с полигональным - это компактное описание поверхности любой формы, что требует меньшего объема памяти для хранения и сокращает время передачи данных сложных трехмерных моделей для последующей обработки и отображения; простота геометрических операций (деформация поверхности, трехмерный морфинг), быстрое определение столкновений объектов и т. д. Предложенный метод задания поверхностей эффективен при моделировании молекулярных структур, визуализация которых связана с большим объемом трехмерных данных (рис.2).

Разработан метод автоматического преобразования полигональных и воксельных моделей в функционально-заданные объекты без потерь качества на основе квадрик с аналитическими функциями возмущения.

Разработаны алгоритмы и программы для растеризации функционально заданных поверхностей на графическом акселераторе с унифицированной аппаратной архитектурой (Compute Unified Device Architecture - CUDA). Эффективность реализации обеспечивается иерархической древовидной структурой вычислений и их однотипностью на каждом уровне, используемые в разработанных методах визуализации функционально заданных поверхностей.

Интерактивная система визуализации 3D-сцен в реальном масштабе времени

• Предложена унифицированная структура организации базы данных для построения интерактивной системы визуализации 3D-сцен в реальном масштабе времени. Разработаны алгоритмы обмена с функциональными компонентами системы, язык запросов XQL- скрипт (eXtended Query Language) и формат представления данных. Основные достоинства подхода: совместимость и простота задания произвольных структур данных, унифицированный способ обмена с различными источниками мультимедийных данных, обработка запросов в реальном масштабе времени. Данная организация систем визуализации позволяет простыми средствами полностью контролировать формирование и модификацию 3D-объектов и может эффективно использоваться в графических в приложениях, использующих интерактивные 3D-модели, включая Web-приложения.
• Предложен эффективный метод выделения видеоизображения человека из статического монохромного (синего или зеленого) фона, на котором он снят. Основные преимущества метода - возможность получения изображений высокого качества в различных съемочных условиях (недостаточное освещение, не критичность к используемому съемочному оборудованию). Метод предназначен для мультимедийных систем визуализации, использующих технологию интегрированной виртуальной реальности, где основная функция - выделение видеоизображения реального персонажа (лектора) из фона и совмещение его с тематической виртуальной средой с эффектом взаимодействия с виртуальными объектами. Разработаны алгоритмы реализации данного метода на шейдерах (Shader) графического акселератора.
• Разработаны высокопроизводительные методы и программно-алгоритмические средства для визуализации трехмерных моделей полупрозрачных объектов. Методы ориентированы на графические акселераторы и обеспечивают корректное формирование моделей полупрозрачных объектов и высокую производительность в реальном масштабе времени.

• Разработана программная модель системы видео мониторинга и навигации с использованием виртуальной среды в распределенных многокамерных системах видео наблюдения. Система обеспечивает оперативную идентификацию реальных видеофрагментов на виртуальной модели объекта мониторинга, может использоваться для прогнозирования развития событий в реальной обстановке и оперативного принятия решений. Разработаны программно-алгоритмические средства для согласованной взаимосвязи реальных видеокамер системы видеонаблюдения с виртуальными камерами виртуальной среды объекта мониторинга. В системе реализованы такие функций, как управление положением роботизированных видеокамер, навигация по 3D-сцене при помощи манипулятора типа «мышь» или джойстик, создание и локализация виртуальных камер в 3D-сцене, взаимодействие видеокамер с виртуальными камерами и объектами в 3D-сцене, калибровка по параметрам видеокамер объектов 3D-сцены и их масштабирование.
• Разработаны алгоритмы и программное обеспечение для параллельной реализации на графическом акселераторе метода явных конечно-разностных схем для трехмерного численного моделирования нестационарных процессов горения газовой смеси. Визуализация результатов моделирования впервые позволила дать физическую трактовку таким экспериментально наблюдаемым явлениям, как спиральное пламя, пламя в виде лопаток турбины, бегущие волны и др. Работа выполнена совместно с ИТПМ СО РАН.
• Разработан прототип системы для презентаций, обеспечивающей в реальном времени формирование и визуализацию интерактивного изображения виртуальной среды различной тематической направленности в комбинации с видеоизображением реального персонажа (лектора, экскурсовода и т. д.), осуществляющего непосредственное взаимодействие с моделями демонстрируемых объектов. Одно из существенных преимуществ такого подхода - "присутствие" реального персонажа (лектора, экскурсовода и др.) в предметной виртуальной среде как фактор повышения интереса и степени понимания презентационного материала. Разработка поддержана РФФИ (грант 08-07-12040 «Создание прототипа системы презентаций на основе технологии интегрированной виртуальной среды», руководитель к.т.н. Долговесов Б. С.). Созданы экспериментальные видеоматериалы, демонстрирующие эффект «присутствия» лектора в предметной виртуальной среде и его взаимодействие с компьютерными моделями объектов (ниже представлены фрагменты фильма). С использованием данной технологии создан фильм к 50-летию первого полета в космос Ю. А. Гагарина, где продемонстрированы разработки лаборатории по космической тематике.
• Разработаны программно-алгоритмические средства формирования и визуализации стереоизображений для демонстрационных мультимедийных систем виртуальной реальности, использующих интегрированное изображение. Стереоэффект обеспечивает повышенную информативность и наглядность тематических моделей трехмерных объектов для их адекватного восприятия.