Coordenador do lab fala sobre métodos digitais em evento na ECA/USP

Problema e Motivação

A análise de conteúdo audiovisual em coleções extensas, como filmografias de diretores ou movimentos artísticos, enfrenta desafios técnicos e analíticos. Identificar padrões narrativos, estéticos e temáticos em grandes volumes de material exige mais do que abordagens interpretativas manuais, frequentemente incapazes de captar relações visuais menos evidentes. Diante disso, buscamos explorar como modelos de visão computacional podem complementar métodos investigativos tradicionais, examinando grandes volumes de imagens de maneira contextual e sistemática.

Inicialmente aplicada a acervos estáticos, nossa metodologia Smart Imagery Mapping combinou redes neurais e algoritmos atencionais para identificar padrões compositivos e semânticos. Ao considerar os filmes como bibliotecas dinâmicas de imagens organizadas cronologicamente, adaptamos essa abordagem, criando uma ferramenta voltada para a análise de cenas em narrativas visuais complexas: o Movie Scene Sensing (MSS). A ferramenta foi projetada para detectar padrões narrativos, estilos de decupagem e eixos temáticos, permitindo observar como esses elementos emergem, se conectam e se transformam ao longo de uma obra.

Contexto do desenvolvimento

O Movie Scene Sensing vai além de ser uma ferramenta técnica: é uma abordagem metodológica que reposiciona os algoritmos de visão computacional como “parceiros críticos” e “co-criativos” na análise de narrativas visuais. Desenvolvida como parte do projeto de pesquisa "Epistemologias de Empréstimo", coordenado pelo Prof. Elias Bitencourt, a metodologia foi concebida para explorar como as epistemologias computacionais podem ser adaptadas para estudar e reinterpretar visualidades no campo do cinema e do audiovisual. Combinada com outras metodologias em desenvolvimento no mesmo projeto – como o Smart Imagery Mapping e a Digital Practices Matrix –, o Movie Scene Sensing se propõe a ressignificar os modos de ver dos algoritmos, permitindo que eles contribuam não apenas como classificadores, mas também como mediadores na criação e interpretação de narrativas visuais.

Movie Scene Sensing busca repropor os algoritmos de aprendizagem de máquina e modelos de visão computacional em lentes que revelam padrões narrativos e estéticos, oferecendo abordagens alternativas para o estudo e a produção de obras audiovisuais. Essa perspectiva combina análise crítica, experimentação criativa, e imaginação metodológica, ampliando as fronteiras do que os modelos de visão computacional podem oferecer enquanto recursos metodológicos para pesquisas em humanidades, estudos de mídia e ciências sociais aplicadas.

Como Funciona

O Movie Scene Sensing opera em várias etapas. Primeiro, keyframes são extraídos com base em mudanças perceptíveis nos temas e composições visuais das cenas identificadas pelos modelos. Esses frames sintetizam os principais momentos narrativos e estilísticos do filme. Em seguida, eles passam pelo módulo Smart Imagery Mapping (SIM), que agrupa os frames por similaridade conceitual e compositiva, independentemente da sequência cronológica. Mais que semelhanças superficiais –cores, objetos, texturas, contrastes –, o SIM permite agrupar estilos compositivos – como planos de câmera, figurino, reconhecimento facial de personagens, padrões compositivos da fotografia – e aspectos conceituais da narrativa – como temas e arcos presentes. Os grupos são dispostos em um espaço vetorial e visualizados a partir de um mapa de tópicos, permitindo compreender as relações entre esses padrões conceituais e compositivos fora da linearidade do tempo, mapeando os grupos de cena que contrastam em relação ao todo, os eixos que dialogam ou aqueles que são mais centrais para a obra.

Os Clusters gerados são rotulados e visualizados com cores distintas, permitindo que o pesquisador observe relações estilísticas e temáticas de forma mais intuitiva. Além disso, a ferramenta possibilita organizar os clusters em sequência cronológica e visualizá-los em uma parede de frames (image wall), reconstruindo a narrativa original enquanto destaca a distribuição de padrões temáticos ou estilísticos ao longo do filme. Por fim, a ferramenta oferece a opção de gerar clipes isolados a partir dos frames de cada cluster, fazer uma clipagem automática das cenas que melhor representam o cluster ou remixagens que combinam diferentes grupos, explorando possibilidades analíticas e criativas.

Usos Potenciais

O Movie Scene Sensing atua como uma interface metodológica que oferece suporte investigativo para pesquisadores nos campos de mídia, comunicação e audiovisual. Além disso, a ferramenta pode ser utilizada por profissionais, diretores e cineastas para buscar referências, explorar material bruto, identificar tópicos e padrões relevantes para a edição de um filme ou experimentar novas formas de interpretar obras existentes. Ela também possibilita a criação de material audiovisual por meio de releituras e mixagens, proporcionando lentes alternativas para análise e produção.

Acesso e colaboração

O Movie Scene Sensing ainda está em desenvolvimento e não está disponível para uso amplo. Como parte de uma pesquisa em andamento, ele pode ser acessado a partir de colaborações de pesquisa ou por meio de investimentos em projetos conjuntos. Interessados podem entrar em contato com o líder do grupo para discutir possibilidades de aplicação e cooperação.

Veja um exemplo do Movie Scene Sensing em uso