Leveraging LLMs for Semantic Conflict Detection via Unit Test Generation

Nathalia Barbosa, Paulo Borba, Léuson Da Silva · 2025

Read Leveraging LLMs for Semantic Conflict Detection via Unit Test Generation by Nathalia Barbosa, Paulo Borba, Léuson Da Silva (2025) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2507-06762.txt.

Introduction

Nathalia Barbosa, Paulo Borba, and Léuson Da Silva test in 2025 whether large language models can help find semantic conflicts when programmers merge code. Such conflicts occur when two changes, each fine alone, break each other when combined. An existing tool hunts them by generating and running unit tests, but it misses many conflicts because its test generators are weak.

The team adds a test generator based on a large open code model, trying varied prompts and settings. Samples cover both simple systems and complex real world ones. Results show that model made tests remain hard and costly in complex cases, yet the approach shows real promise for catching more conflicts.

Catalog record

CREATORNathalia Barbosa, Paulo Borba, Léuson Da Silva
YEAR2025
COLLECTIONPAPERS
FORMATTXT
FILE SIZE51 KB
VERSION1.0
LICENSEhttp://creativecommons.org/licenses/by/4.0/
RIGHTSCC BY
SOURCEarXiv

Source: https://arxiv.org/abs/2507-06762

Browse the full library · About the Tower of Babel

Full text

The opening of the work, from the library's hosted text:

Leveraging LLMs for Semantic Conflict Detection via Unit Test Generation Nathalia Barbosa, Paulo Borba, Léuson Da Silva Abstract Resumo. Conflitos semânticos ocorrem quando um desenvolvedor introduz mudanças em uma base de código que afetam, de maneira não intencional, o comportamento de mudanças integradas em paralelo por outros desenvolvedores. Como as ferramentas de merge usadas na prática não conseguem detectar esse tipo de conflito, foram propostas ferramentas complementares, como SMAT, que é baseada na geração e execução de testes de unidade — se um teste falha na versão base do código, passa na versão modificada por um desenvolvedor, mas falha novamente na versão resultante do merge dessa com a de outro desenvolvedor, sinaliza-se um conflito semântico. Apesar de apresentar boa capacidade de detecção de conflitos, SMAT apresenta alta taxa de falsos negativos (conflitos existentes mas não sinalizados pela mesma). Parte desse problema, deve-se às limitações naturais de ferramentas de geração de testes de unidade, no caso, Randoop e Evosuite. Para entender se essas limitações podem ser superadas por modelos de linguagem de grande porte (LLMs), este trabalho propõe, e integra ao SMAT, uma nova ferramenta de geração de testes baseada no Code Llama 70B. Exploramos então a capacidade desse modelo de gerar testes, com diferentes estratégias de interação, prompts com diferentes conteúdos, e diferentes configurações de parâmetros do modelo. Avaliamos os resultados com duas amostras distintas, um benchmark com sistemas mais simples, usados em trabalhos relacionados, e uma amostra mais significativa baseada em sistemas complexos e utilizados na prática. Por fim, avaliamos a eficácia da nova extensão do SMAT na detecção de conflitos. Os resultados indicam que, embora a geração de testes por LLM em cenários complexos ainda represente um desafio e seja computacionalmente custosa, há potencial promissor na identificação de conflitos semânticos. 1. Introdução Durante o desenvolvimento colaborativo de software, é comum que múltiplos desenvolvedores trabalhem simultaneamente em diferentes partes do código. Nesses cenários, conflitos podem surgir durante a integração ( merge ) das alterações ( Zhang et al. 2022 ) , especialmente quando dois desenvolvedores modificam o mesmo arquivo ou linha de código de forma concorrente ( Maddila et al. 2021 ) . Esses são os chamados conflitos textuais, que exigem intervenção manual para serem resolvidos. Embora eficazes em detectar conflitos textuais, as ferramentas de integração atuais não identificam todos os tipos de conflitos. Uma categoria mais sutil, os conflitos semânticos, ocorre quando alterações paralelas afetam o comportamento do sistema de forma não intencional, resultando em falhas de testes ou erros em tempo de execução, mesmo que o código seja mesclado e compilado com sucesso. Esses conflitos, também chamados de conflitos semânticos comportamentais ( Da Silva et al. 2024 ) , diferem de conflitos de build ( Da Silva et al. 2024 ; Brun et al. 2011 ; Sarma et al. 2012 ) , que incluem erros de compilação ou conflitos sintáticos e semânticos estáticos. Por sua natureza, conflitos semânticos comportamentais podem permanecer ocultos por várias versões, tornando sua detecção e resolução um desafio. Para detectar conflitos semânticos, ferramentas complementares foram propostas, como o SMAT ( Silva et al. 2020 ) , que utiliza geração automatizada de testes de unidade para identificar mudanças de comportamento introduzidas durante o merge . O SMAT aplica heurísticas sobre os resultados dos testes para sinalizar possíveis conflitos: por exemplo, se um teste falha na versão comum (base), passa em uma das versões modificadas, mas volta a falhar após o merge , isso indica um possível conflito semântico. No entanto, apesar de sua eficácia, o SMAT apresenta limitações, especialmente uma alta taxa de falsos negativos, ou seja, conflitos existentes que não são detectados ( Da Silva et al. 2024 ) . Essas limitações estão ligadas à capacidade das ferramentas de geração de testes utilizadas, como Randoop ( Pacheco and Ernst 2007 ) e EvoSuite ( Fraser and Arcuri 2011 ) , que frequentemente não cobrem todos os cenários relevantes. Diante dos avanços recentes em modelos de linguagem de grande porte (LLMs), surge a hipótese de que essas limitações podem ser superadas. Modelos como o Code Llama 70B ( Meta AI 2023 ) têm mostrado grande potencial na geração de código e testes automatizados, superando ferramentas tradicionais em cobertura e utilidade dos testes ( Schäfer et al. 2024 ; Pan et al. 2025 ; Zhang et al. 2025 ) . Este trabalho propõe e integra ao SMAT uma nova ferramenta de geração de testes baseada no Code Llama 70B, explorando diferentes estratégias de prompt engineering e configurações do modelo para detectar conflitos semânticos. Para avaliar o potencial do Code Llama, realizamos um estudo empírico com um dataset contendo cenários de conflitos semânticos. O estudo avalia o impacto de diferentes estratégias de prompt ( zero-shot e 1-shot ), variações de temperatura, seed e combinações de contexto fornecido ao modelo. Os resultados mostram que a configuração zero-shot com temperatura 0.0 apresentou o melhor desempenho no dataset avaliado, identificando o maior número de conflitos em uma única execução, incluindo um conflito inédito não detectado em trabalhos prévios ( Da Silva et al. 2024 ; Silva et al. 2020 ) . Além disso, para avaliar o impacto da complexidade dos datasets na geração e compilação dos testes, um segundo dataset , além do primeiro, foi selecionado do trabalho de Pan et al. 2025 . Constatou-se que a taxa de compilação dos testes gerados varia significativamente entre os datasets , mostrando como a complexidade do código afeta a eficácia da geração de testes por LLMs. Assim, as principais contribuições deste trabalho são: • Análise do efeito de diferentes prompts , variações de configuração e contextos fornecidos a um modelo de linguagem para geração de casos de teste visando detectar conflitos semânticos. • Evidência de que LLMs podem gerar testes capazes de detectar conflitos semânticos em cenários de merge , contribuindo para ampliar o potencial do SMAT em detectar conflitos. • Integração estrutural de um modelo de linguagem à arquitetura do SMAT, facilitando a adição de outros modelos. O restante deste artigo está organizado da seguinte forma: a Seção 2 apresenta a motivação do trabalho e revisa o funcionamento do SMAT. A Seção 3 detalha a metodologia adotada, incluindo a integração do Code Llama 70B ao SMAT e os procedimentos experimentais. Na Seção 4 , avaliamos o desempenho do modelo em comparação com outras ferramentas e discutimos os resultados. A Seção 5 discute as ameaças à validade do estudo, abordando possíveis limitações e vieses. A Seção 6 aborda os trabalhos relacionados e, por fim, a Seção 7 apresenta as conclusões e direções futuras. 2. Motivação Conflitos semânticos geralmente passam despercebidos por ferramentas tradicionais de controle de versão, que focam apenas em diferenças textuais e ignoram interações comportamentais entre as mudanças integradas. Considere o seguinte cenário: Nivan e Renato trabalham no mesmo método de uma classe, mas com contribuições diferentes, como ilustrado na Listagem 1 . ⬇ 1 cleanText () { 2 normalizeWhiteSpace(); 3 removeComments (); 4 removeDuplicateWords(); 5 } Listagem 1: Método alterado pelos desenvolvedores Nivan adiciona uma função que normaliza espaços em branco na entrada textual, normalizeWhiteSpace() , que substitui sequências de espaços por um único espaço. Por sua vez, Renato implementa uma função que remove palavras duplicadas consecutivas, removeDuplicateWords() . Ambos testam suas funções individualmente e elas funcionam, mas

Read the complete text