Аннотация
Этот набор образцов кода был создан в ходе практических работ Intel RealSense Hands-on Labs в бразильском представительстве Intel, чтобы участники могли лучше понимать возможности Intel® RealSense™ SDK. В этих 12 образцах используется оболочка SDK C#. Это простые консольные приложения, выводящие информацию из разных режимов RealSense, включая отслеживание лица, отслеживание рук и распознавание речи. Кроме того, два приложения WPF демонстрируют вывод потоков камеры и отделение фона.
Введение
В рамках подготовки к практическим работам в бразильском представительстве Intel мы создали 12 образцов кода с инструкциями, чтобы продемонстрировать возможности Intel RealSense в области работы с камерой и голосом. Код снабжен комментариями (на английском языке), его можно свободно распространять во всемирном сообществе разработчиков.
Образцы были написаны на C#, они представляют собой простые консольные приложения, демонстрирующие использование функций RealSense SDK. Код протестирован с Intel RealSense SDK R2 (RSSDK).
Надеюсь, вам понравится наша работа. Если у вас есть вопросы или нужна помочь, используйте раздел комментариев, расположенный ниже.
Что требуется для запуска образцов
- Inte®l RealSense™ SDK R2
- Камера Intel® RealSense™ 3D (F200)
- Microsoft* Visual Studio* 2010 или более поздней версии
- Процессор Intel® Core™ 4-го поколения или более поздний
- Windows* 8.1 или более поздней версии, 64-разрядная версия с августовским обновлением
Ссылки на важную документацию по Intel RealSense
Доступные образцы
Библиотека Camera Calibration
Camera Calibration — это проект библиотеки, которая получает устройство и режим его работы и делает необходимую калибровку для повышения качества распознавания для этого конкретного режима, например, для отслеживания рук.
Ссылки по теме
Device
В образце под названием Device реализовано перечисление устройств. Выберите устройство для получения доступных потоков и задания конфигураций. Примечание. В этом образце для настройки устройств используется библиотека Camera Calibration.
Ссылки по теме
- Работа устройств ввода-вывода
- Перечисление устройств
- Перечисление потоков
- Перечисление конфигураций потоков
Emotion
В образце Emotion перечисляются эмоции с использованием процедурной реализации SenseManager. Этот образец находит все данные эмоции и выводит их вместе со значениями интенсивности.
Ссылки по теме
Emotion with Callback
Образец Emotion with Callback обладает такой же функциональностью, как и образец Emotion, но иначе реализован. Здесь показано, как использовать обработчики в RSSDK для получения данных модуля. Здесь используется модуль Emotion, но возможно использование и других модулей.
Ссылки по теме
Face
В образце Face реализованы некоторые функции модуля Face. Здесь используется объект PXCMFaceData, а информация обрабатывается отдельно, как показано ниже.
Ссылки по теме
- Location — вывод X, Y, ширины и высоты обнаруженного лица.
- Expressions — вывод всех обнаруженных выражений (по очереди) и их интенсивности обнаруженного лица.
- Landmarks — вывод всех (до 78) реперных точек обнаруженного лица.
- Pose — отпечатки X, Y, углов Эйлера обнаруженной головы.
Распознавание лица
Образец Face Recognition обнаруживает лицо и проверяет, зарегистрирован ли уже данный пользователь. Когда программа обнаруживает незарегистрированное лицо, пользователь может нажать пробел, чтобы зарегистрировать свое лицо в базе данных (в памяти). После регистрации образец выводит уникальный идентификатор распознанного лица.
Ссылки по теме
Hands
Образец Hands отслеживает руки, пальцы и жесты. Этот образец выводит информацию о том, сколько обнаружено рук, об их расположении (в виде изображений), о сторонах (правая или левая), суставах и обнаруженных жестах.
Ссылки по теме
- Данные распознавания жестов
- Руководство по взаимодействию с помощью жестов
- Отслеживание рук с помощью SenseManager
- Данные отслеживания рук
- Тип суставов
- Данные суставов
Object Tracking
Образец Object Tracking обнаруживает двухмерные объекты с помощью Intel RealSense SDK. Этот образец использует маркеры JPEG/PNG и отслеживает положение объекта, отслеживаемого камерой, по осям X, Y и Z. Примечание. Для этого образца требуется калибровка камеры с определенным тегом.
Ссылки по теме
- Документация к образцу Object Tracking
- Отслеживание объектов с помощью SenseManager
- Калибровка The Metaio Toolbox (инструкции)
Segmentation
В образце Segmentation используется структура WPF для отображения потока камеры в форме WPF. Функция Segmentation используется для удаления фона изображения.
Ссылки по теме
- Сегментация пользователей
- Доступ к данным изображения и звука
- Преобразование ImageData в растровый рисунок
Speech Recognition
В образце Speech Recognition демонстрируется использование обоих режимов распознавания речи: ДИКТОВКИ и КОМАНД. В режиме диктовки все слова, произносимые пользователем, распознаются и выводятся на экран. В режиме команд программа задает стандартный словарь, а когда пользователь произносит одну из добавленных в словарь команд, программа выводит ее на экран.
- Документация к модулю Speech Recognition
- Команды и диктовка
- Обработка событий распознавания
- Объект RecognitionData
Speech Synthesis
Образец Speech Synthesis реализует функцию синтеза речи Intel RealSense SDK. Когда в профиле становится доступным предложение, этот образец преобразует предложение в звук и воспроизводит его
Ссылки по теме
Потоки
Представление инфракрасных потоков (обратите внимание на эффекты от внешней фоновой подсветки).
Образец Streams использует RSSDK для отображения потоков камеры Creative (цвет, глубина и инфракрасное изображение) в форме WPF. Образец выбирает поток по его типу и отображает окно с выбранным потоком камеры. Изображение покадрово обновляется с учетом выбранной кадровой скорости.
Ссылки по теме
- Поддержка потоков
- Получение отдельных цветов или потока глубины
- Доступ к данным изображения и звука
- Преобразование ImageData в растровый рисунок
Загрузить образцы
Чтобы поэкспериментировать с этими образцами и узнать больше о пакете Intel RealSense SDK, загрузите код здесь.
О технологии Intel® RealSense™
Чтобы приступить к работе и узнать больше об Intel RealSense SDK для Windows, перейдите по адресу https://software.intel.com/ru-ru/realsense/intel-realsense-sdk-for-windows.
Об авторах
Жуао — стажер на должности программного аналитика в подразделении Developers Relations бразильского представительства Intel. Он изучает информационные системы в университете Сан-Пауло. Будучи разработчиком программного обеспечения, он работает главным образом с мобильными платформами, веб-приложениями и технологией RealSense.
Фелипе — технический евангелист Intel RealSense в подразделении Developers Relations бразильского представительства Intel. Он изучал компьютерные науки и работал с различными технологиями, платформами и языками программирования. Основные интересующие его направления — разработка игр, мобильные платформы и HTML5.