PROBLEMA E MOTIVAÇÃO
A Semantic Imagery Mapping (SIM) é uma interface para análise temática e compositiva de grandes acervos de imagens. Desenvolvida no contexto do projeto de pesquisa Epistemologias de Empréstimo, coordenado pelo Prof. Elias Bitencourt, a SIM vai além das abordagens tradicionais, que muitas vezes se limitam a agrupar imagens por características superficiais ou por rotulagem descritiva feita por APIs de visão computacional.
A SIM se diferencia por combinar diferentes modelos de visão computacional para criar visualizações que revelam não apenas as similaridades formais, mas também os contextos e temas subjacentes às imagens de uma biblioteca ou acervo.
Criada pensando na demanda de pesquisadores e designers que lidam com grandes acervos de imagens, a SIM oferece uma interface de aprendizagem de máquina para explorar tendências estéticas e semânticas, imaginários visuais, entender dinâmicas sociais e culturais de circulação de imagens.
Além dos rótulos google API e da semelhança formal
CONTEXTO DO DESENVOLVIMENTO
A Semantic Imagery Mapping (SIM) é parte integrante do projeto de pesquisa Epistemologias de Empréstimo, coordenado pelo Prof. Elias Bitencourt. O projeto investiga como as lógicas epistemológicas dos algoritmos – os modos pelos quais sistemas computacionais percebem, organizam e interpretam o mundo – podem ser adaptadas para servir como ferramentas analíticas em estudos sobre fenômenos sociais, culturais e comunicacionais.
A SIM não apenas aplica lógicas computacionais para identificar padrões em grandes conjuntos de imagens, mas também permite investigar como essas mesmas lógicas moldam os processos de visibilidade e comunicação em plataformas digitais.
Ao adaptar métodos de análise visual e semântica, a SIM possibilita uma compreensão crítica das dinâmicas sociotécnicas que influenciam a circulação de narrativas e imaginários no ambiente digital. Com isso, ela fornece ferramentas para mapear e interpretar esses fenômenos de forma detalhada, revelando como práticas e culturas visuais se estruturam e se transformam nesses espaços.
Vendo imagens com lentes algorítmicas
COMO FUNCIONA
Identificação de Padrões e Agrupamento de Imagens
As imagens passam por um pré-processamento e têm suas características extraídas a partir da combinação de diferentes modelos de visão computacional. Isso permite identificar padrões de semelhança não apenas compositiva, mas também temática, conectando imagens por narrativas e contextos visuais . Os grupos resultantes (clusters) representam temas ou conceitos visuais compartilhados.
Imagewall
Cada cluster recebe uma cor distinta, e as imagens dentro de cada cluster são organizadas por grau de similaridade. Os clusters, por sua vez, são dispostos com base na proximidade visual entre si, formando um mural que permite uma visualização geral e intuitiva dos padrões predominantes.
No exemplo, é possível observar uma imagewall com 2.688 capas de livros, organizadas em 37 gêneros literários identificados pela SIM.
Rotulagem Automática Contextualizada
Quando metadados textuais estão disponíveis, como legendas ou hashtags, a SIM gera rótulos automáticos para os clusters com base nesses textos. Essa abordagem não foca em descrever as imagens isoladamente, mas levantar tópicos associados ao contexto do uso e circulação.
Validação e Refinamento dos Clusters
A Semantic Imagery Mapping possui funções que ajudam a identificar relações temáticas entre clusters, sugerindo possíveis reagrupamentos manuais que possam melhorar a coesão e a interpretação dos dados.
Além disso, a SIM gera relatórios detalhados com métricas e indicadores quantitativos que descrevem os clusters e avaliam a consistência e a qualidade dos agrupamentos, oferecendo suporte à análise e à tomada de decisões durante o processo de exploração dos dados.
Visualização temporal
A ferramenta também permite analisar como padrões visuais se distribuem ao longo do tempo, diferenciando narrativas constantes de tendências específicas. Essa funcionalidade é útil para mapear ciclos narrativos e mudanças temáticas ao longo do tempo.
Na primeira imagem, observamos a imagewall composta por 1.080 posts do Instagram da influenciadora CGI @Lilmiquela. As linhas horizontais indicam a distribuição dos clusters de posts ao longo do tempo, cobrindo o período de 2016 a 2021.
Na segunda imagem, é possível ver um detalhe dessa organização temporal. Os clusters 05 e 31 aparecem de forma consistente entre 2016 e 2021, enquanto os clusters 13 e 23 surgem apenas após 2019. Essa visualização permite analisar, por exemplo, quais padrões de temas, composições e estilos narrativos definem a influenciadora como um todo e quais estão associados a momentos específicos de sua trajetória no Instagram.
Mapas Temáticos
Os clusters são exibidos em um mapa temático que visualiza as relações entre padrões semânticos e compositivos do corpus, facilitando a identificação de conexões, contrastes e relevâncias entre os grupos.
Grupos próximos refletem maior similaridade, enquanto os mais distantes destacam diferenças marcantes. Clusters centrais representam temas amplamente conectados, enquanto os periféricos evidenciam elementos específicos e distintivos.
No exemplo das 2.688 capas de livros, o mapa mostra que biografias compartilham referências visuais com livros de autoajuda financeira. A ficção contemporânea surge como o gênero com maior número de capas, apresentando layouts mais variados. Em contraste, literatura árabe e horror aparecem isoladas nas extremidades, sugerindo padrões visuais mais específicos em relação ao restante do corpus.
Identificação de Imagens Representativas
A SIM sintetiza as imagens mais representativas de cada cluster, destacando aquelas que melhor capturam as características visuais e temáticas de cada grupo. Isso auxilia na interpretação rápida e detalhada dos agrupamentos.
USOS POTENCIAIS
Mapeamento de Narrativas Visuais: Identificar padrões temáticos, estilísticos e narrativos em grandes conjuntos de imagens, permitindo compreender como conceitos visuais emergem e se conectam em diferentes contextos.
Curadoria de Acervos Visuais: Auxiliar na organização e classificação de acervos de imagens, destacando similaridades temáticas e compositivas para facilitar a catalogação e a análise.
Análise de Padrões Estilísticos: Mapear tendências estéticas em acervos artísticos, editoriais ou comerciais, permitindo identificar recorrências e inovações em estilos visuais.
Exploração Temporal de Narrativas: Rastrear a evolução de padrões visuais ao longo do tempo, diferenciando narrativas consistentes de variações sazonais ou contextuais.
Análise Comparativa de Conjuntos de Dados Visuais: Explorar similaridades e diferenças entre acervos, séries ou coleções, destacando como diferentes grupos representam temas ou abordam questões visuais.
Suporte à Curadoria Criativa: Proporcionar insights para selecionar imagens ou construir narrativas visuais em projetos editoriais, exposições, campanhas publicitárias ou peças audiovisuais.
Design e Visualização de Dados: Criar representações gráficas que sintetizam padrões de semelhança visual em um corpus, ajudando a traduzir grandes volumes de imagens em análises compreensíveis e acionáveis.
Identificação de Imaginários e Padrões de Consumo Visual: Mapear imaginários visuais predominantes associados a marcas, campanhas ou eventos sociais, oferecendo insights sobre a recepção e circulação de conteúdos visuais.
Análise de Influência Visual: Avaliar como padrões visuais se conectam a públicos específicos, explorando como certos estilos ou temas ressoam entre diferentes comunidades.
Imaginários Tendências Narrativas Curadoria
DISPONIBILIDADE E ACESSO
A Semantic Imagery Mapping (SIM) é uma ferramenta em desenvolvimento, atualmente restrita a pesquisas em andamento no laboratório. Por enquanto, ela não está disponível para uso geral ou compartilhamento amplo.
Colaborações podem ser consideradas em casos específicos, desde que estejam alinhadas à agenda de pesquisa do laboratório e à disponibilidade da equipe. Propostas de trabalho ou parcerias serão analisadas com base em seu potencial de contribuição para as investigações em curso.
Interessados em explorar possibilidades de colaboração ou investimento podem entrar em contato com o líder do grupo para discussões preliminares: eliasbitencourt@gmail.com.