Apresenta o algoritmo clássico de ajuste de elipse por 2D Canny Edge + RANSAC para localização robusta do centro da pupila em vídeos de alta taxa de quadros em espectro infravermelho.
Passo 1: Extração de Características e Rastreamento da Pupila / Glint (P-CR)
Como Executar em Detalhes Tecnológicos:
O objetivo deste primeiro passo é capturar a imagem do olho via câmera e localizar com precisão sub-pixel o centro da pupila e o reflexo corneano (glint) criado por iluminação infravermelha próxima (NIR) para servir como input ao jogo Phaser:
- Captura & Filtragem Inicial: Utilize uma câmera com filtro passa-alto NIR (850nm ou 940nm) para eliminar ruídos de luz visível do projetor HY320. Converta o frame capturado para escala de cinza e aplique um filtro Gaussiano para suavizar ruídos de alta frequência.
- Detecção do Centro da Pupila: Aplique limiarização adaptativa ou algoritmo Starburst/RANSAC para isolar os pixels escuros da pupila. Ajuste uma elipse sobre os contornos válidos para estimar o centro geométrico $(x_p, y_p)$ mesmo sob oclusão parcial das pálpebras.
- Detecção dos Glints Corneanos: Busque os pontos de brilho intenso na córnea usando filtro de limiar alto e análise de componentes conectados. O centro de massa geométrico fornece a posição do glint $(x_g, y_g)$.
- Vetor P-CR: Calcule o vetor de diferença espacial $\vec{v}_{PCR} = (x_p - x_g, y_p - y_g)$. Este vetor cancela pequenos movimentos indesejados da cabeça e isola o movimento do olho, que será convertido em comando de jogo.
Fornece técnica para filtrar falsas detecções de glint e pupila causadas por cílios, pálpebras e suor, aumentando a estabilidade temporal do sinal P-CR.
Apresenta algoritmo geométrico para detecção e pareamento de múltiplos glints em setups com vários LEDs infravermelhos, tratando reflexos como constelações espaciais.
Artigo teórico seminal que estabelece as equações matemáticas para estimativa geométrica do vetor P-CR sob tolerância a variações na iluminação ambiente.
Revisão abrangente catalogando técnicas de limiarização, ajuste de formato de pupila e eliminação de interferência de brilho em setups remotos e baseados em vídeo.
Passo 2: Estimação de Pose da Cabeça e Construção do Vetor do Olhar 3D
Como Executar em Detalhes Tecnológicos:
Nesta etapa, o sistema precisa determinar a orientação tridimensional da cabeça do usuário e a direção do vetor óptico do olho no espaço 3D real, permitindo liberdade de movimento frente à tela de 150":
- Detecção de Pontos de Referência Faciais: Utilize redes neurais leves (como MediaPipe Face Mesh ou PnP de 68 pontos) para extrair os pontos 2D dos cantos dos olhos, nariz e queixo a partir da imagem do rosto.
- Estimativa de Pose da Cabeça 3D (PnP): Resolva o problema PnP comparando os pontos 2D capturados com um modelo 3D genérico da cabeça humana. Isso retorna a matriz de rotação $\mathbf{R}_{head}$ e o vetor de translação $\vec{t}_{head}$ da cabeça em relação à câmera.
- Eixo Óptico e Eixo Visual: O eixo óptico une o centro do globo ocular ao centro da pupila. O eixo visual (fóvea) possui um deslocamento angular. Aplique a transformação tridimensional: $\vec{g}_{3D} = \mathbf{R}_{head} \cdot \mathbf{R}_{eye}(\theta, \phi) \cdot \vec{v}_{fovea}$.
- Modelos de Deep Learning para Olhar 3D: Empregue arquiteturas baseadas em CNN + Cross-Attention (como CrossGaze) para estimar diretamente os componentes vetoriais unitários $(g_x, g_y, g_z)$ sem depender de calibração intrusiva.
Introduz representação pictórica intermediária para regredir o vetor de olhar 3D a partir de imagens simples de câmera, reduzindo o erro angular sob movimentos de cabeça.
Utiliza mecanismos de atenção cruzada fundindo características locais do olho e globais da face para predizer o vetor 3D $(x,y,z)$ sem necessidade de dados de profundidade adicionais.
Apresenta o framework MPIIGaze e arquitetura CNN para estimativa de vetor de olhar 3D diretamente a partir de monóculos de câmeras convencionais em condições reais de iluminação.
Detalha o modelo geométrico 3D do globo ocular e a relação trigonométrica entre rotação da pupila, raio do olho e projeção vetorial no espaço.
Modelagem matemática rigorosa para reconstrução do eixo óptico 3D usando parâmetros intrínsecos de câmeras e pose de cabeça no espaço livre.
Passo 3: Calibração Geométrica Câmera-Projetor e Matriz de Homografia
Como Executar em Detalhes Tecnológicos:
Nesta etapa, é estabelecida a correspondência espacial precisa entre o sistema de coordenadas da câmera, o projetor HY320 e a superfície física da parede de 150 polegadas:
- Modelagem do Projetor como Câmera Inversa: Tratamos o projetor HY320 como um dispositivo óptico inverso com centro de projeção e matriz intrínseca $\mathbf{K}_{proj}$.
- Projeção de Padrões Estruturados: O projetor emite padrões de xadrez ou códigos de cinza (Gray Code) sobre a parede. A câmera captura esses padrões para estabelecer correspondências 2D-2D entre os pixels do projetor $(u_p, v_p)$ e os pixels da câmera $(u_c, v_c)$.
- Cálculo da Homografia do Plano: A relação entre os pontos na parede física e a imagem projetada é regida por uma matriz de transformação projetiva $\mathbf{H}$ de dimensão $3 \times 3$. Resolva $\mathbf{H}$ utilizando o algoritmo DLT (Direct Linear Transformation) com minimização de erro de reprojeção.
- Correção de Distorção Não-Linear: Aplique coeficientes de distorção radial e tangencial ($k_1, k_2, p_1, p_2$) tanto para a lente da câmera quanto para a lente do projetor.
Método clássico para calibração de projetor usando padrões de código de cinza e estimativa de sub-pixel com homografia local.
Mostra como calcular homografias e alinhar a projeção em tempo real sobre superfícies sem necessidade de marcadores rígidos manuais.
Análise matemática rigorosa provando a equivalência geométrica entre parametrização de câmeras e projetores em matrizes de transformação projetivas.
Apresenta método de calibração dinâmica gerando padrões de teste através da matriz de homografia estimada entre os dispositivos de entrada e saída visual.
Técnica avançada desenvolvida no Carnegie Mellon University para calibração de projetores apontando para paredes e superfícies planas sem necessidade de telas especiais.
Passo 4: Mapeamento de Coordenadas 2D e Interseção no Plano da Projeção
Como Executar em Detalhes Tecnológicos:
Com o vetor do olhar 3D e a posição do plano da parede calibrados, o quarto passo calcula o ponto exato de interseção onde o olho está focando na tela de 150" e envia para o jogo Phaser:
- Interseção Raio-Plano: Defina a equação do plano da parede $P_{wall}: \vec{n} \cdot \vec{x} + d = 0$ no espaço 3D. O vetor do olhar 3D forma uma reta paramétrica: $\vec{r}(t) = \vec{p}_{olho} + t \cdot \vec{g}_{3D}$. O ponto de interseção tridimensional $\vec{x}_{inter}$ é obtido isolando $t$.
- Transformação para Coordenadas de Tela 2D: Converta o ponto 3D na parede $\vec{x}_{inter}$ para o sistema de coordenadas 2D do projetor através da matriz de homografia inversa $\mathbf{H}^{-1}$.
- Calibração Polinomial de Mapeamento: Aplique transformação polinomial de 2ª ou 3ª ordem para corrigir pequenos erros sistemáticos de refração ou curvatura da córnea: $x' = a_0 + a_1 x + a_2 y + a_3 x y + a_4 x^2 + a_5 y^2$.
Demonstra como usar transformações de homografia para mapear diretamente dados de vetores do olho para coordenadas numéricas de tela mantendo invariância espacial.
Análise detalhada sobre correção de erros de mapeamento de olhar na tela e minimização de deslocamento por calibração de mínimos quadrados.
Formulações matemáticas para interseção do eixo visual em superfícies de exibição remotas sob deslocamento tridimensional da cabeça do usuário.
Validação empírica das equações polinomiais de mapeamento de olhar 2D e cálculo de precisão angular em pixels de exibição.
Modelagem do processo de projeção e mapeamento de coordenadas oculares em telas e paredes de grande formato.
Passo 5: Integração do Pipeline Híbrido em Tempo Real e Otimização para o Phaser
Como Executar em Detalhes Tecnológicos:
O último passo consolida todos os módulos em um loop de execução assíncrono de baixa latência (< 16ms / 60 FPS) para o controle do jogo Phaser:
- Arquitetura Multithread: Separe a captura de imagem da câmera (Thread 1 - 60 FPS), o processamento de visão computacional / inferência da neural net (Thread 2) e a renderização do feedback visual na projeção (Thread 3 / WebGL Canvas via Phaser).
- Filtragem Temporal: Aplique filtro de Kalman adaptativo para suavizar o tremor de fixação ocular (jitter) sem introduzir atraso perceptível durante sacadas rápidas. O One Euro Filter ajusta a frequência de corte dinamicamente de acordo com a velocidade do movimento dos olhos.
- Classificação de Eventos Oculares: Implemente o algoritmo I-VT (Velocity-Threshold Identification) ou I-DT (Dispersion-Threshold) para distinguir quando o usuário está fixando o olhar em um elemento da UI do Phaser (> 100ms) ou realizando uma transição rápida.
- Renderização sem Latência na Projeção: Utilize chamadas `requestAnimationFrame()` integradas ao loop do Phaser para atualizar a posição do cursor/objeto de olhar na parede em sincronia com a taxa de atualização do projetor HY320.
Estrutura clássica para otimização de pipeline multithread e calibração dinâmica para garantir rastreamento contínuo em tempo real sem interrupções.
Técnicas de otimização de buffers de frames e redução de latência no processamento de eventos visuais em sistemas interativos de tempo real.
Estratégias de aceleração computacional e uso de filtros temporais para estimação contínua de olhar com taxa de atualização de 60 Hz.
Mapeamento dos requisitos de tempo de resposta, algoritmos de suavização de sacadas e estabilidade em ambientes reais.
Implementação prática de pipeline sem latência em arquiteturas de computação distribuída para controle de ponteiros em telas em tempo real.
Base teórica para a Fase 1 do projeto. Detalha a identificação do centro da pupila usando limiarização em escala de cinza e análise de gradiente, técnicas fundamentais para extrair as coordenadas iniciais do olhar humano.
Sustenta a extração de características (Fase 1) necessária antes do cálculo vetorial 3D. O ajuste de elipses permite precisão sub-pixel mesmo quando a câmera remota está a vários metros do usuário, garantindo um controle preciso no Phaser.
Reduz a taxa de erro médio de detecção da pupila para menos de 2 pixels em iluminações variadas, garantindo a estabilidade do vetor óptico.
Explica a utilização de luz infravermelha (IR) e o processamento de reflexos corneanos (Purkinje images) em alta resolução, extraindo pontos de referência que não variam com a dilatação da pupila.
O projetor HY320 emite muita luz visível. O uso de IR contorna essa luz visível do projetor, permitindo que a câmera remota isole perfeitamente os olhos do usuário sem ruído.
Precisão angular de 0.5° em distâncias de até 3 metros da câmera, provando a viabilidade do rastreamento remoto sem equipamentos montados na cabeça.
Documento crucial para a Fase 2. Aborda a estimação da pose da cabeça para diferenciar o movimento da cabeça da rotação ocular pura, criando um sistema de coordenadas mundial robusto.
O cálculo do vetor 3D do olhar depende da separação matemática entre o movimento da cabeça do usuário (que está livre na sala) e o movimento dos olhos. Isto permite que o jogador se mova sem quebrar a experiência do Phaser.
Algoritmo de baixa latência (<10ms) capaz de mapear 68 landmarks faciais em espaço 3D usando câmeras padrão.
Material fundamental para a Fase 3. Ensina como construir a matriz de homografia que mapeia a interseção do vetor 3D na parede para o sistema de coordenadas 2D da imagem do projetor.
Como o projetor HY320 e a câmera têm pontos de vista diferentes, a distorção da imagem projetada precisa ser corrigida. A homografia garante que o clique ocular acerte o alvo no jogo Phaser na parede de 150".
Redução de erro de perspectiva para <0.1° graus, validando a viabilidade da parede como monitor interativo.
Aborda o cálculo do vetor óptico que "sai" do olho do usuário cruza a sala até a parede. Une as informações da rotação do globo ocular com a orientação da cabeça.
Transforma um problema de rastreamento 2D (tela de computador) em um problema de cálculo de interseção de raios (Ray Casting) no espaço 3D, provando que telas pequenas são obsoletas para o controle de jogos em imersão total.
Modelo matemático inovador que unifica a pose da cabeça com o eixo óptico ocular em uma única matriz de transformação afim.
Discute o paradigma arquitetural do nosso projeto: posicionar câmeras remotamente (longe do usuário) ao mesmo tempo em que se usa processamento de vídeo pesado focado em detalhes (pupila e córnea).
É a personificação da "Fusão Arquitetônica". Sem este modelo híbrido, o usuário precisaria de óculos pesados (HMD). A fusão permite liberdade total de movimento na sala projetada para jogar.
Sistema capaz de rastrear múltiplos usuários em uma sala de projeção sem marcadores físicos na cabeça.
Provoca a quebra de paradigma do uso de monitores tradicionais. Discute o design de interfaces e calibração geométrica entre a posição do projetor, a câmera e o usuário na sala.
É o coração prático do TCC: a parede de 150" não é apenas um cinema, é um sistema de entrada de dados (input) monitorado por vetores ópticos em tempo real que controlam o Phaser.
Aumento do campo de visão (FOV) para >160° e redução da fadiga visual por permitir fixação ocular em pontos distantes.
Detalha a calibração geométrica personalizada citada na Fusão Arquitetônica do projeto, considerando as poses diferentes entre a câmera que observa o usuário e o projetor HY320 que emite a imagem.
O sistema de coordenadas precisa alinhar a posição espacial do usuário no chão da sala, a origem do raio projetado na parede e a origem do olhar da câmera remota. Este algoritmo resolve esse triângulo espacial.
Permite que o sistema seja calibrado rapidamente em qualquer sala, bastando apontar a câmera e o projetor HY320 para o mesmo plano da parede.
"Por que limitar o olhar humano às dimensões de um monitor de desktop, quando a visão natural se projeta no mundo? Ao alinhar o vetor óptico do usuário com um plano físico de parede de 150 polegadas usando o projetor HY320, restauramos a biomecânica ocular natural e transformamos o ambiente em uma interface de controle para um jogo Phaser em tempo real."
Como seria possivel criar uma estrutura de sistema híbrido para rastreamento ocular remoto e projeção interativa em uma superfice de tela de projeção 150 polegadas: Uma abordagem integrando gaze estimation 2d e 3d e visão computacional para um jogo javascript phaser em tempo real
Como unir rastreamento ocular remoto, algoritmos que calculam gaze estimation 2d e algoritmos que calculam gaze estimation 3d, juntamente com o projetor hy320, em um unico sistema arquitetônico coeso que permita a interseção direta do olhar do usuário no plano projetado como controle do jogo em tempo real
| Elemento | Descrição / Norma | Obrig.? |
|---|---|---|
| Capa | Instituição, título, autor, local e ano. Sem borda decorativa. | Sim |
| Folha de Rosto | Igual à capa + natureza do trabalho, orientador, local e ano. | Sim |
| Folha de Aprovação | Assinaturas da banca examinadora após a defesa. | Sim |
| Resumo (PT) | 150–500 palavras, sem parágrafo, seguido de 3–5 palavras-chave separadas por ponto. | Sim |
| Abstract (EN) | Tradução fiel do Resumo + Keywords. | Sim |
| Sumário | Gerado automaticamente no Word com numeração progressiva (1, 1.1, 1.1.1). | Sim |
| 1. Introdução | Contexto, problema, justificativa, objetivos e estrutura do TCC. | Sim |
| 2. Referencial Teórico | Visão computacional, gaze estimation 2D/3D, homografia, calibração de projetores, Phaser. | Sim |
| 3. Metodologia | Tipo de pesquisa, algoritmos desenvolvidos, protocolo de calibração, ambiente de testes. | Sim |
| 4. Resultados e Discussão | Análise de precisão angular, framework de fusão 2D/3D, validação na parede de 150". | Sim |
| 5. Conclusão | Resposta à pergunta de pesquisa + contribuição original + trabalhos futuros. | Sim |
| Referências | ABNT NBR 6023:2018. Ordem alfabética. Espaço simples. Linha em branco entre referências. | Sim |
| Apêndices | Conteúdo do próprio autor (códigos do jogo Phaser, matrizes de calibração). | Opt. |
| Anexos | Conteúdo de terceiros (manuais do projetor HY320, tabelas externas). | Opt. |
Tamanho 12 no corpo do texto
Tamanho 10 em citações longas e notas
Negrito apenas em títulos de seção
Inferior: 2 cm
Esquerda: 3 cm
Direita: 2 cm
Citações longas (>3 linhas): simples + recuo 4 cm
Referências: simples + linha em branco entre elas
Títulos: separados por duplo espaço
Canto superior direito
Pré-textuais contados em romano (i, ii, iii) mas não impressos
A interseção do vetor do olhar na parede exige matriz de homografia rigorosa (FISCHER; MÜLLER, 2021).
Chen e Patel (2023) demonstram que a vetorização 3D do eixo óptico restaura a biomecânica ocular…
Yamamoto e Ali (2022) propõem a separação da rotação da cabeça para cálculo remoto do olhar…
GARCIA, L.; CHEN, M. Gradient Analysis and Infrared Corneal Reflections for Remote Eye-Tracking. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020.
YAMAMOTO, K.; ALI, S. 3D Head Pose Estimation Using Spatial Landmarks for Eye-Tracking Applications. Journal of Vision, v. 22, n. 10, 2022. DOI: 10.1167/jov.22.10.5.
FISCHER, A.; MÜLLER, R. Geometric Calibration of Large Surface Projection Systems Using Homography. IEEE Transactions on Image Processing, 2021. DOI: 10.1109/TIP.2021.3098123.
CHEN, Y.; PATEL, S. 3D Optical Axis Vector Construction from the Eye Center in Free-Viewing Environments. Nature Machine Intelligence, v. 5, p. 1120–1130, 2023. DOI: 10.1038/s42256-023-00700-y.
-
IEEE XploreIEEE TPAMI, IEEE TIP, IEEE Transactions on Computational Imaging. Principal base para visão computacional e calibração geométrica.ieeexplore.ieee.org
-
ACM Digital Library (CHI)Proceedings of CHI. Melhor base para pesquisas em Interação Humano-Computador (HCI) e jogos interativos.dl.acm.org
-
CVF Open Access (CVPR)Conference on Computer Vision and Pattern Recognition. Acesso livre ao estado da arte em reconhecimento de padrões e segmentação de imagem.openaccess.thecvf.com
-
arXiv (cs.CV)Preprints gratuitos e imediatos em Visão Computacional. Últimas implementações de Gaze Estimation antes da publicação formal.arxiv.org
-
Nature Machine IntelligenceArtigos de altíssimo impacto sobre Inteligência Artificial aplicada à modelagem de sistemas biológicos (como o eixo óptico 3D).nature.com/natmachintell
-
ScienceDirect (Elsevier)Journal of Vision. Acesso via Portal CAPES. Excelente para neurociência visual e estimativa de pose ocular.sciencedirect.com