PROBLEMA E MOTIVAÇÃO
Identificar padrões narrativos, estéticos e temáticos em grandes volumes de material exige mais do que abordagens interpretativas manuais, frequentemente incapazes de captar relações visuais menos evidentes.
Para superar esses desafios, investigamos como modelos de visão computacional podem complementar métodos tradicionais, permitindo a análise contextual e sistemática de grandes volumes de imagens.
A metodologia Semantic Imagery Mapping (SIM), inicialmente desenvolvida para acervos estáticos, foi adaptada para aplicar modelos de visão computacional e algoritmos atencionais em bibliotecas audiovisuais.
Foi assim que surgiu o Move Scene Sensing (MSS), uma ferramenta voltada à análise de cenas em narrativas visuais complexas. O MSS detecta padrões narrativos, estilos de decupagem e eixos temáticos, revelando como esses elementos emergem, se conectam e evoluem ao longo de uma obra.
Vendo filmes com lentes algorítmicas
CONTEXTO DO DESENVOLVIMENTO
O Movie Scene Sensing vai além de ser uma ferramenta técnica. Ele é uma metodologia que repropõe os algoritmos de visão computacional como “parceiros críticos” e “co-criativos” na análise de narrativas visuais.
Desenvolvido no projeto de pesquisa Epistemologias de Empréstimo, coordenado pelo Prof. Elias Bitencourt, o MSS explora como epistemologias computacionais podem ser adaptadas para estudar e reinterpretar visualidades no cinema e no audiovisual.
Em conjunto com outras metodologias, como o Semantic Imagery Mapping e a Digital Practices Matrix, o MSS reposiciona os algoritmos não apenas como classificadores, mas também como mediadores na criação e interpretação de narrativas visuais.
Essa abordagem revela padrões narrativos e estéticos, oferecendo alternativas para o estudo e produção de obras audiovisuais. Ao combinar análise crítica, experimentação criativa e imaginação metodológica, o MSS amplia as possibilidades do uso de modelos de visão computacional como recursos metodológicos para as humanidades, estudos de mídia e ciências sociais aplicadas.
Repropondo machine learning como método de análise audiovisual
COMO FUNCIONA
Extração de Keyframes
Keyframes são selecionados com base em mudanças visuais e narrativas identificadas pelos modelos de visão computacional. Esses frames sintetizam momentos narrativos e estilísticos essenciais do filme.
Agrupamento com Smart Imagery Mapping (SIM)
Os keyframes são agrupados por similaridade conceitual e compositiva, independentemente da ordem cronológica. A SIM identifica não apenas elementos superficiais como cores e texturas, mas também padrões de composição, enquadramentos, figurinos, reconhecimento facial de personagens e temas narrativos.
Visualização em Mapas Temáticos
Os grupos são projetados em um espaço vetorial e exibidos como mapas de tópicos. Esses mapas permitem explorar relações entre padrões narrativos e estilísticos, destacando contrastes, conexões e centralidade de elementos dentro da obra, independentemente da linearidade cronológica.
Rotulagem e Visualização
Os clusters são rotulados e diferenciados por cores, facilitando a análise de relações estilísticas e temáticas. É possível organizar os clusters cronologicamente em uma image wall, que reconstrói a narrativa do filme ao destacar a distribuição de padrões ao longo do tempo.
Geração de Clipes
A ferramenta permite gerar clipes isolados de cada cluster, criar cenas representativas automaticamente ou remixar grupos, possibilitando análises e criações audiovisuais alternativas.
Indo além da semelhança visual e da linearidade
USOS POTENCIAIS
O Movie Scene Sensing foi inicialmente pensado como uma interface metodológica para pesquisadores de mídia, comunicação e audiovisual. Mas também pode ser usado por cineastas, editores e diretores para explorar material bruto, identificar padrões narrativos e estilísticos, buscar referências e apoiar processos de edição.
Além da análise, a ferramenta permite criar novas interpretações de obras existentes, gerando clipes ou remixagens que oferecem perspectivas alternativas para análise e produção audiovisual.
Suporte para análise e criação de material audiovisual
DISPONIBILIDADE E ACESSO
No momento, o Movie Scene Sensing é uma ferramenta em desenvolvimento, restrita a pesquisas em andamento no laboratório. Por enquanto, ela não está disponível para uso geral ou compartilhamento amplo.
Colaborações podem ser consideradas em casos específicos, desde que estejam alinhadas à agenda de pesquisa do laboratório e à disponibilidade da equipe. Propostas de trabalho ou parcerias serão analisadas com base em seu potencial de contribuição para as investigações em curso.
Interessados em explorar possibilidades de colaboração ou investimento podem entrar em contato com o líder do grupo para discussões preliminares: eliasbitencourt@gmail.com.