Nº 04de 12Destaque

ClinVision

IA que corrige treino prático de odontologia por foto: YOLO pose treinado só em dados sintéticos do Blender, medidas em milímetros pelo marcador ArUco e correção 2D→3D antes da nota

Ano
2026
Status
EM CURSO
Papel
Pipeline de ML, dados sintéticos e API · dupla
Stack
Python · FastAPI · OpenCV · Ultralytics YOLO11 +5
clinvision
ClinVision — Resultado do aluno — a nota da colagem, cada dente marcado na foto sintética e o que corrigir primeiro
4 capturas

1 de 4

ClinVision — Resultado do aluno — a nota da colagem, cada dente marcado na foto sintética e o que corrigir primeiro

Resultado do aluno — a nota da colagem, cada dente marcado na foto sintética e o que corrigir primeiro

01O projeto

Correção automática de um treino prático de odontologia: a colagem de braquetes num manequim (typodont). O aluno fotografa o manequim com um marcador ArUco de 10 mm no quadro; o marcador dá a escala de pixel para milímetro, um YOLO pose acha cada dente e cinco pontos nele, um refinador de segundo estágio reposiciona os pontos num recorte de 320 px, e a geometria vira altura, angulação e centralização em mm e graus — corrigidas de 2D para 3D antes de a rubrica dar a nota, com até três vistas por envio. Não existe foto real anotada, então o detector é treinado só em fotos sintéticas renderizadas no Blender a partir de scans 3D de arcadas reais (sim-to-real). É projeto de dupla com Nicolas Volf: 95 dos 140 commits são meus — o pipeline de ML, o gerador sintético, os experimentos e a maior parte da API; o login, as turmas e a maior parte do front são dele. Estado atual: o detector ainda não foi testado em fotos reais com nota de professor e os limites da rubrica são provisórios, então nada aqui está validado em uso real.

02O que foi feito

  1. Pipeline de correção em 7 etapas, ~0,9 s por foto na CPU: marcador ArUco (escala px→mm), YOLO11 pose, refinador em recortes de 320 px, medidas, correção 2D→3D calibrada, rubrica e fusão de até 3 vistas

  2. 9 experimentos datados, cada um com pergunta, dados, resultado e decisão; o primeiro mostrou que a foto frontal sozinha erra ~0,5 mm mesmo com os pontos perfeitos — 1 em cada 4 decisões aprovado/reprovado errada —, e é isso que a correção 2D→3D ataca

  3. Dados sintéticos no Blender com a resposta certa por construção: braquete, resina, fio, lábio, afastador e defeitos de câmera de celular sorteados (domain randomization), e fotos reais sem rótulo usadas só como termômetro

  4. Fila de revisão humana: correção incerta ou incompleta vai primeiro para o professor, e a nota do modelo fica oculta para o aluno até a revisão

  5. API FastAPI sobre Supabase (Postgres, Auth e Storage) com 7 migrations, fotos guardadas sem EXIF e 330 testes em pytest; o login por JWT verificado nas chaves públicas (JWKS) e os papéis aluno, professor e monitor são do Nicolas

03Decisões

Decisão 01

Pergunta: Por que treinar o detector só com fotos sintéticas?

Resposta: Porque não há foto real anotada, nem perspectiva de ter tão cedo. O render do Blender sai com a resposta certa por construção — os pontos exatos de cada braquete e a medida verdadeira —, o que separa o erro do detector do erro da geometria. Foi assim que apareceu que o gargalo não era o YOLO, e sim medir em 2D numa foto frontal. O preço é o gap sim-to-real: foto real sem rótulo só serve de termômetro, e é por isso que o resultado ainda não vale como validação.

Decisão 02

Pergunta: Por que calibração inversa e não regressão direta para corrigir a medida?

Resposta: A regressão direta ganhava no kappa médio, mas encolhia toda medida para a média: com o detector, reprovou 0% dos dentes em angulação, contra 46% na verdade — esconderia braquete torto. A calibração inversa (medida 2D = a + b·verdade, invertida) usa só a própria medida, é ajustada nos pontos perfeitos de 80% dos scans e não depende do detector.

Decisão 03

Pergunta: Por que o modelo padrão é o que acha menos dentes?

Resposta: Em foto real, o v5m com refino achou um pouco menos dentes que o v5s, mas não inventou nenhum. Dente perdido vai para a revisão do professor; dente inventado pode virar nota errada sem ninguém ver.

04Capturas

  • captura.webp

    Envio de três vistas — meio, direita e esquerda, cada uma com a sua face do cartão marcador ArUco

  • revisao.webp

    Revisão do professor — o pedido do aluno, a avaliação da IA, o zoom no dente e as medidas em mm e graus

  • fila-revisao.webp

    Fila de revisão da atividade — pedido do aluno e correção incerta vão primeiro para o professor

1 de 4

ClinVision — Resultado do aluno — a nota da colagem, cada dente marcado na foto sintética e o que corrigir primeiro

Resultado do aluno — a nota da colagem, cada dente marcado na foto sintética e o que corrigir primeiro

05Stack

  • Python
  • FastAPI
  • OpenCV
  • Ultralytics YOLO11
  • Blender
  • Supabase
  • PostgreSQL
  • Next.js 16
  • TypeScript
Próximo projeto →Nº 05

Preço de imóvel servido por API FastAPI na AWS: MAPE de 9,32% contra vendas reais de 2010, todo request logado e deploy contínuo com healthcheck