Qué aprende un vision transformer, capa por capa
Investigación sobre cómo los transformers de visión eficientes organizan los conceptos que aprenden. Parte del Visual Concept Connectome (CVPR 2024) y lo lleva a la familia SHViT.
- Descubrimiento de conceptos y de sus conexiones entre capas en SHViT.
- Variantes de doble y triple cabeza que comparten las primeras etapas de la red.
- Evaluación en ImageNet-1K e ImageNet-R, con entrenamiento en clúster HPC (Slurm).
- PyTorch
- SHViT
- UMAP
- Slurm



