Logo PUCPR

RECONSTRUÇÃO 3D BASEADA EM FOTOGRAMETRIA PARA REALIDADE MISTA EM AMBIENTES VIRTUAIS DE SIMULAÇÃO INTERATIVA

RESUMO

INTRODUÇÃO: A reconstrução 3D vem sendo aplicadas amplamente na indústria, especialmente no campo do entretenimento como produção de filmes e jogos. Aplicações da tecnologia se mostram de grande impacto, parte devido à apresentação da grande gama de técnicas para o melhoramento de imagens devido ao Machine Learning (ML) e Inteligência Artificial (IA), alinhado ao desenvolvimento de melhores câmeras RBGD, fazendo assim a construção de ambientes virtuais de simulação com melhor detalhamento. Assim, vindo a ser utilizado para treinamentos, reconhecimento de movimento e objetos, mapeamento, design industrial entre outros campos de possível implementação da tecnologia de reconstrução 3D. – OBJETIVOS: O presente trabalho contempla a composição de um ambiente virtual em realidade mista a partir de imagens digitais extraídas em 3D, assim verificando os modelos de reconstrução com câmera Depth RGBD, podendo concretizar um protótipo desse ambiente em realidade aumentada, este que por sua vez é um caso especial da realidade mista. – MATERIAIS E MÉTODO: O trabalho faz uso da RealSense™ Depth Câmera D435 devido a possuir duas câmeras infravermelho (IR) e uma câmera RGB, bem como seu SDK possuir bibliotecas e ferramentas que auxiliam na calibração e reconstrução 3D de cenas, como também, um software em python para extração em formato PLY do modelo 3D reconstruído. Para a construção do ambiente virtual é utilizado o Unity, o software de modelagem 3D Blender, e a biblioteca Vuforia para desenvolvimento da aplicação em RA. Ao fim é proposto cinco etapas para construção das aplicações podendo fazer uma portabilidade para os sistemas Windows, Android ou IOS. – RESULTADOS: É verificada que a calibração com o SDK da realsense apresenta maior qualidade comparada ao software desenvolvido em pesquisa anterior e que a extração do modelo 3D em formato PLY não apresenta qualidade suficiente para utilização no pipeline proposto para construção do ambiente, no entanto ele foi desenvolvido com auxílio de software CAD e validado pela montagem do equipamento proposto no estudo de caso seguindo as etapas demonstradas em RA. O protótipo do trabalho foi concluído e verificado, porém não apresentou um resultado considerável, assim sendo de baixa qualidade para a tecnologia já aplicada atualmente. – CONSIDERAÇÕES FINAIS: Como forma de aprovar um melhor desempenho pode considerar novos meios de extração e reconstrução de modelos 3D, com a utilização de IA e ML em conjunto a algoritmos como MIDAS e SLAM, bem como com conversores de modelo 3D que podem ser usados no Vuforia.

PALAVRAS-CHAVE:

fotogrametria; realsense D435; ambiente virtual; realidade aumentada; reconstrução 3D.

APRESENTAÇÃO EM VÍDEO

Sessão E-Pôster:
(P3.4.8) Sessão Pôster: PIBITI – Todas áreas e PIBIC – Ciências Exatas e Agrarias (P.4) : 26/10 – 11h30 – 12h00 – Hall – Bloco Verde A10
Esta pesquisa foi desenvolvida com bolsa de Iniciação Tecnológica com recursos do CNPq
Legendas:
  1. Estudante;
  2. Orientador;
  3. Colaboradores.

Compartilhe

Share on facebook
Share on linkedin
Share on twitter
Share on email