Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 KmBERT: Modelo baseado BERT Multilingual para compreensão da língua Kikongo, idioma predominante na região central de África KmBERT: A Multilingual BERT-based model for understanding Kikongo, a predominant language in Central Africa KmBERT: Modelo basado en BERT multilingue para la comprensión del Kikongo, idioma predominante en la región central de África Recebido: 06/09/2026 | Aceito: 18/09/2026 | Publicado: 19/09/2026 Henriques Fernando ORCID: https://orcid.org/0009-0002-8626-2329 Universidade Internacional Iberoamericana, México E-mail: henriques.fernando@pesquisa.unic.co.ao Hélder João Chissingui ORCID: https://orcid.org/0000-0002-7538-3865 Instituto Superior Técnico Militar, Angola E-mail: hjc@istm-faa.co.ao José Albino André Reis ORCID: https://orcid.org/0009-0002-6135-3419 Universidade Gregório Semedo, Angola E-mail: enginfojosereis@gmail.com Alberto Joni Kosi João ORCID: https://orcid.org/0009-0009-5731-6720 Universidade Europeia de Atlântida, Espanha E-mail: albertokosijoao123@gmail.com Plácido Magno Caetano Dias ORCID: https://orcid.org/0009-0002-9852-2837 Universidade Metodista de Angola, Angola E-mail: placidodias36@gmail.com Rodrigo Florêncio Da Silva ORCID: https://orcid.org/0000-0002-9644-7645 Universidade Internacional Iberoamericana, México E-mail: rflorencio@ipn.mx Resumo Este artigo objetiva apresentar o modelo pré-treinado Bidirectional Encoder Representations from Transformers (BERT) Multilingue Kikongo (KmBERT), criado no âmbito do projeto de Processamento de Linguagem Natural (PLN) Kicongo. KmBERT é uma variante multilingue do BERT (mBERT). Embora mBERT integre cerca de 104 idiomas, quase todas são línguas de muitos recursos. A maioria das línguas africanas, como o Kicongo, são de poucos recursos, principal razão de exclusão em modelos existentes. Assim, a integração destas em modelos de linguagem representa um desafio bastante árduo. Recentemente têm emergido algumas iniciativas africanas, mas ainda sem grande impacto, por abrangerem poucas línguas. KmBERT foi desenvolvido no âmbito do reforço de soluções africanas para superação do déficit existente, no contexto de apoiar na promoção da inclusão digital linguística, valorização, resgate e preservação do patrimônio linguístico e cultural de Angola. Kicongo é morfologicamente riquíssima. Falada por cerca de 11 milhões de pessoas, com maior penetração na região central da África, majoritariamente nas regiões costeiras ao sul do rio Congo (e.g. Angola, República Democrática do Congo, República do Congo, Gabão) e em vários outros países no mundo. A abordagem adotada é composta pela fase de préprocessamento de texto, representação vetorial de palavras, testes do modelo e avaliação de resultados. As tarefas de classificação de texto, análise morfossintática e sumarização de texto foram aplicadas à avaliação do desempenho, utilizando as métricas padrão, como acurácia, precisão, revocação, pontuação F1 e matriz de confusão. A acurácia obtida foi de 97%, bastante competitiva comparada a modelos africanos e línguas com muitos recursos. Palavras-chave: Processamento de Linguagem Natural; Transformers; Modelos pré-treinados; Língua Kikongo; Modelos multilingue. 1 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Abstract This article aims to present the Multilingual Kikongo BERT (KmBERT) pre-trained model, created as part of the Kikongo Natural Language Processing (NLP) project. KmBERT is a multilingual variant of BERT (mBERT). Although mBERT incorporates approximately 104 languages, almost all are high-resource languages. Most African languages, such as Kikongo, are low-resource, which is the primary reason for their exclusion from existing models. Consequently, integrating them into language models presents a significant challenge. While some African initiatives have recently emerged, they have yet to make a major impact, as they cover only a limited number of languages. KmBERT was developed to strengthen African solutions aimed at overcoming this existing gap, supporting the promotion of linguistic digital inclusion as well as the valorization, revitalization, and preservation of Angola's linguistic and cultural heritage. Kikongo is morphologically very rich. It is spoken by approximately 11 million people, with the highest concentration in Central Africa—predominantly in coastal regions south of the Congo River (e.g., Angola, the Democratic Republic of the Congo, the Republic of the Congo, and Gabon)—as well as in various other countries worldwide. The adopted approach comprises text preprocessing, word vector representation, model testing, and results evaluation. Text classification, morphosyntactic analysis, and text summarization tasks were used to evaluate performance, employing standard metrics such as accuracy, precision, recall, F1-score, and the confusion matrix. The model achieved 97% accuracy, a highly competitive result when compared to models for other African languages and high-resource languages. Keywords: Natural Language Processing; Transformers; Pre-trained models; Kikongo language; Multilingual models. Resumen Este artículo tiene como objetivo presentar el modelo preentrenado Bidirectional Encoder Representations from Transformers (BERT) Multilingual Kikongo (KmBERT), creado en el marco del proyecto de Procesamiento del Lenguaje Natural (PLN) Kikongo. KmBERT es una variante multilingüe de BERT (mBERT). Si bien mBERT integra aproximadamente 104 idiomas, casi todos son idiomas ricos en recursos. La mayoría de los idiomas africanos, como el kikongo, son pobres en recursos, lo que constituye la principal razón de su exclusión de los modelos existentes. Por lo tanto, integrarlos en modelos de lenguaje representa un desafío significativo. Recientemente, han surgido algunas iniciativas africanas, pero aún sin mucho impacto, ya que abarcan pocos idiomas. KmBERT se desarrolló en el marco del fortalecimiento de las soluciones africanas para superar el déficit existente, en el contexto del apoyo a la promoción de la inclusión lingüística digital y la valorización, rescate y preservación del patrimonio lingüístico y cultural de Angola. El kikongo es morfológicamente muy rico. Hablado por aproximadamente 11 millones de personas, con mayor penetración en la región central de África, principalmente en las regiones costeras al sur del río Congo (p. ej., Angola, República Democrática del Congo, República del Congo, Gabón) y en varios otros países del mundo. El enfoque adoptado consiste en una fase de preprocesamiento de texto, representación vectorial de palabras, prueba del modelo y evaluación de resultados. Se aplicaron tareas de clasificación de texto, análisis morfosintáctico y resumen de texto para evaluar el rendimiento utilizando métricas estándar como precisión, exhaustividad, puntuación F1 y matriz de confusión. La precisión obtenida fue del 97 %, bastante competitiva en comparación con los modelos africanos y las lenguas ricas en características. Palabras clave: Procesamiento de lenguaje natural; Transformers; Modelos preentrenados; Idioma Kikongo; Modelos multilingües. 1. Introdução A comunicação eficaz sempre foi crucial para sociedade, a capacidade de aprendizado e entendimento de vários idiomas é cada vez mais essencial para as pessoas. Logo, a Inteligência artificial (IA) está a desempenhar um papel essencial como facilitador desse processo. A limitação de recursos dada a demanda linguística e investimentos tem sido um fator de exclusão de várias línguas vivas do mundo. Modelos de Linguagem Multilíngue (MLMs) foram introduzidos no PLN para atender este propósito. Esses modelos permitem que as máquinas compreendam, gerem e traduzam textos e fala em diferentes idiomas. Desempenharam um papel fundamental na superação das barreiras linguísticas (Conneau et al., 2020), promovendo um ambiente digital mais inclusivo, além de impulsionar as pesquisas e os avanços tecnológicos na área, são rotulados também como facilitadores sociais ao permitirem que as máquinas trabalhem com uma variedade de idiomas. Embora os modelos multilingues, sejam abrangentes o seu desempenho está limitado a línguas que eles suportam na sua estrutura, aquelas da qual estes foram treinadas, inclui, em geral línguas classificadas de muitos recursos como o inglês e outras línguas oficiais ou ainda maioritárias. Em tese idiomas com alta disponibilidade de recursos i.e. com quantidades relativamente grandes de dados. Logo há pouca atenção com idiomas africanos, apesar de constituem cerca de 2 000 idiomas 2 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 vivas do mundo, equivalente à cerca de 30,1% de todos os idiomas vivos do mundo (Eberhard et al., 2019). Um levantamento sobre a diversidade geográfica em importantes conferências de PLN identificou que, entre 2.695 afiliações institucionais analisadas, apenas cinco estavam localizadas em África, correspondendo a aproximadamente 0,19% do total (Caines, 2019). Em Joshi et al. (2020) demonstram a grande disparidade na cobertura de idiomas pelas tecnologias de PLN. Apontam que 90% dos mais de 7.000 idiomas do mundo são pouco estudados pela comunidade de PLN, dos quais mais de 97% são africanas. Outros fatores que condicionam as pesquisas em línguas autóctones africanas (Nakatumba-Nabende et al., 2024; Ojo et al., 2025) é a falta de benchmarks para as iniciativas e impulsionar as pesquisas no campo de PLN. Este estudo tem como propósito de desenvolver o BERT Multilingue Kikongo (KmBERT), para compreensão da língua Kikongo, o modelo representa a primeira tentativa de pré-treinar um modelo multilíngue em Kikongo, um idioma com poucos recursos. Com intuito de demonstramos que é possível treinar modelos de linguagem multilingues e obter resultados ou desempenho competitivo com um corpus de menos de 1GB. Nesse âmbito o modelo foi treinado e avaliado em tarefa de Análise morfológica: onde as palavras são sistematicamente descompostas em unidade (morfemas); Análise sintática POS tagging (PoS) que consiste na atribuição de categorias gramaticais das palavras; e Sumarização de texto que consiste em condensar o conteúdo numa versão mais curta e direita. Na realização da classificação automática de texto foi necessário a aplicou-se uma camada adicional no topo do modelo. No treinamento inicial adotamos os parâmetros do modelo original, com ajustes na validação e avaliação do desempenho do modelo, em conjunto de dados de teste. O modelo foi treinado em corpus Kikongo (KIkCorpus). Que pode ser acessado na plataforma hugging Face, repositório: fhenrivx/Hugging Face. Este artigo objetiva apresentar o modelo pré-treinado Bidirectional Encoder Representations from Transformers (BERT) Multilingue Kikongo (KmBERT), criado no âmbito do projeto de Processamento de Linguagem Natural (PLN) Kikongo. KmBERT é uma variante multilingue BERT (mBERT). As principais contribuições deste artigo são listadas a seguir: • Desenvolvimento do primeiro modelo Multilingue BERT Kikongo, modelo linguístico otimizado (KmBERT), a classificação do idioma; • Uma abordagem que pode ser replicado para treinamento de modelos em línguas de poucos recursos similares ao Kikongo; • Reforço do leque de iniciativas de inserção e integração de línguas africanas em modelos PLN, no âmbito de o apoio a promoção, resgate, preservação e valorização das línguas nacionais de angola em específico as bantas no contexto digital. • Avaliação do KmBERT em três tarefas de análise de PLN, nomeadamente: análise morfológica, análise sintática e sumarização de texto; 2. Estado da Arte O estado da arte de PLN em línguas africanas, têm focado voltado em modelos monolingues, por apresentarem melhores resultados em lidar com línguas não integradas na estrutura do modelo. A falta ou existência de poucos recursos computacionais tem condicionado o interesse em pesquisas em idiomas africanos, razão pela qual há poucas pesquisas e recursos desenvolvidos para os idiomas ou dialetos africanos. As ferramentas disponíveis em línguas africanas são baseadas em arquiteturas, como BERT, Generative Pre-trained Transformer (GPT), por exemplo, AraBERT que integra vários dialetos árabes, que aplicou técnicas de pré-processamento como tarefa para a normalização de variações dialetais do árabe padrão moderno (Antoun et al., 2020), IndoBERT para o 3 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 idioma indonésio, usa mascaramento dinâmico e tokenização de partes das frases para aprimorar a representação linguística (Koto et al., 2020). Por outro lado, o AraGPT2 integra tokenização específica para o árabe com o propósito de melhorar a qualidade da geração de texto, embora treinado em um conjunto de dados pequeno de apenas 20 GB e o GPT-2 Finlandês, que concluiu que o ajuste fino específico do domínio em modelos menores em termos de parâmetros, tende a superar os modelos multilíngues maiores por natureza em termos de desempenho, demostrando a eficácia de abordagens de treinamento focada e com uso eficiente de recursos para idiomas com pouco representação (Luukkonen et al., 2023). Existem algumas pesquisas do da arte de modelos LLM para línguas, focados mBERT (Wu & Dredze, 2020), uma variante versátil de BERT (Devlin et al., 2019). 2.1 Modelos Multingues Os Modelos Multilíngues (MLMs) são fundamentais em PLN, para a diminuição de barreiras linguísticas, tornando o ambiente digital mais inclusivo. Entre os mais populares destacam-se: a) BERT multitingue (mBERT), pré-treinado em 104 idiomas, muito versátil, característica o torna o mais adotado em pesquisas de âmbito (Wu & Dredze, 2020); b) T5 multilíngue (mT5), um transformador de texto para texto, treinado em mais de 101 idiomas, adequado para tarefas de tradução e geração de línguas (Xue et al., 2021); c) RoBERTa multilíngue (XLM-R), foca no reconhecimento de fala multilíngue e no processamento de dados de fala em diversos idiomas. Suas aplicações incluem assistentes de voz e serviços de transcrição (Conneau et al., 2020; Lample & Conneau, 2019). Os modelos multilingues como os destacados requerem muitos dados de treinamento frequentemente, o que representa uma grande limitação de idiomas com poucos recursos. Por outro, a grande maioria de conjunto de dados de treinamento está em línguas com muitos recursos. A técnica geralmente que se adota para treinar novos idiomas é a transferência, como forma de tirar proveito os conhecimentos que os modelos possuem nestas línguas, com mais recursos. A aprendizagem por transferência é propulsora de muitos avanços recentes em PLN, ao permitir o aproveitamento de modelos pré-treinados para tarefas subsequentes, fornecendo a capacidade dos modelos produzirem resultados com bom desempenho em muitas tarefas. Comportamento atribuído ao conhecimento de propósito geral que é adquirido quando um modelo é pré-treinado em uma tarefa, em um conjunto de dados de alta dimensão (Raffel et al., 2020). O paradigma é a base dos ambientes multilíngues, onde um modelo é pré-treinado em textos em vários idiomas e, seguidamente, ajustado para tarefas subsequentes nesses idiomas. Alguns desses modelos, por exemplo, mBERT e XML-R (Conneau et al., 2020), foram treinados em uma grande combinação de idiomas, alguns com muitos e outros com poucos recursos, com muitos gigabytes de dados. Nalguns estudos do estado da arte o pré-treinamento foi feito sem aprendizagem por transferência. Por exemplo em Ogueji et al. (2021) e Jude Ogundepo et al. (2022) entre outros. A aprendizagem por transferência em tarefas subsequentes é eficaz, assim o T5 (Raffel et al., 2020) trouxe uma estrutura unificada para integrar todas as tarefas de PLN como um problema de texto para texto, o que viabiliza o treinamento de um único modelo para múltiplas tarefas. A estrutura é simples e eficaz, permite dessa forma, a transferência de conhecimento de tarefas com muitos recursos para tarefas com poucos recursos (Nagoudi et al., 2022). Em comparação com modelos baseados em BERT, o T5 e as suas variantes multilingues, como o mT5 (Xue et al., 2021) e o byT5 (Xue et al., 2022), são mais eficazes para tarefas de linguagem natural que envolvem a geração da linguagem. 4 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Entre os grandes desafios a superar quando adaptado qualquer modelo para línguas novas ou não suportadas, podemos destacar: a) A obtenção de precisão alta em idiomas com poucos recursos, devido a treinamento de modelos com dados limitados; b) A abordagem dos vieses culturais e linguísticos para garantir resultados justos; c) A necessidade de desenvolvimento de modelos leves para implantação em hardware menos potente, para que qualquer pessoa possa usá-los; e d) A complexidade em compreender e implementar os conceitos de e aprendizado profundo. As pesquisas mais recentes e de maior destaque neste domínio, particularmente no contexto das línguas africanas, são apresentadas nos parágrafos seguintes. O AfriBERTa, proposto por Ogueji et al. (2021), constitui uma das iniciativas relevantes para o desenvolvimento de modelos de linguagem destinados a línguas africanas com poucos recursos computacionais e textuais. O estudo abrangeu 11 línguas africanas e desenvolveu modelos de linguagem utilizando dados de quatro dessas línguas. O modelo foi avaliado em tarefas de reconhecimento de entidades nomeadas (NER, do inglés, Named Entity Recognition ) e em tarefas subsequentes de classificação de texto, envolvendo dez línguas africanas. Os resultados demonstraram que o AfriBERTa pode superar modelos multilingues de grande dimensão, como o mBERT e o XLM-R, em até 10 pontos percentuais na métrica F1 em determinadas tarefas de classificação de texto. O modelo também apresentou um desempenho competitivo nas tarefas de reconhecimento de entidades nomeadas nas línguas avaliadas. Esses resultados reforçam a hipótese de que a utilização de conjuntos de dados relativamente reduzidos, provenientes de línguas linguisticamente relacionadas, pode, em determinados contextos, produzir resultados superiores aos obtidos por modelos treinados em grandes conjuntos de dados multilingues. Entre as principais contribuições do estudo destaca-se a demonstração de que é possível pré-treinar, desde a raiz (from scratch), modelos de linguagem multilingues para línguas com poucos recursos e alcançar um desempenho competitivo em tarefas subsequentes, sem depender directamente da transferência de parâmetros ou recursos de modelos previamente treinados, como o mBERT e o XLM-R. Além disso, o trabalho contribuiu para a criação de modelos de linguagem destinados a quatro línguas africanas, evidenciando a viabilidade do desenvolvimento de modelos específicos para contextos linguísticos com disponibilidade limitada de dados. AfriTeVa, proposto por Jude Ogundepo et al. (2022), é da família de modelos de sequência para sequência baseados em T5, pré-treinados em 10 línguas africanas sem transferência de conhecimento de nenhuma língua em um corpus AfriBERTa de apenas cerca de 1 GB. Como contribuição demostraram que é possível alcançar uma eficácia competitiva para tradução automática e classificação de texto, em comparação com modelos maiores treinados com muito mais dados. Como contribuições apresentam um modelo competitivo para as tarefas propostas. Como principal limitação apontam a falta de dados para treinar o modelo em mais tarefas e o facto do desempenho alcançado pelo modelo estar abaixo do estado da arte. O AfroLM, proposto por Dossou et al. (2022), é um modelo de linguagem multilingue pré-treinado de raiz para 23 línguas africanas, utilizando uma abordagem de self-active learning e dados textuais provenientes de fontes de notícias. Apesar de ter sido pré-treinado com um conjunto de dados aproximadamente 14 vezes menor do que os utilizados pelas principais linhas de base, o modelo apresentou resultados competitivos e, em diferentes avaliações, superou modelos multilingues prétreinados como o AfriBERTa, o XLM-R Base e o mBERT em tarefas de Processamento de Linguagem Natural (PLN), incluindo o reconhecimento de entidades nomeadas, a classificação de texto e a análise de sentimentos. Entre as principais contribuições do estudo destaca-se o desenvolvimento, à data da sua publicação, de um dos esforços mais abrangentes de prétreinamento de modelos de linguagem especificamente orientados para línguas africanas, demonstrando que estratégias de 5 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 aprendizagem activa podem contribuir para a construção de modelos competitivos mesmo em contextos caracterizados pela limitada disponibilidade de dados linguísticos; contudo, a distribuição desigual de recursos textuais entre as diferentes línguas constitui um desafio relevante, podendo influenciar a qualidade das representações aprendidas e o desempenho do modelo nas diferentes línguas abrangidas. EthioLLM (Tonja, Azime, et al., 2024) e EthioMT (Tonja, Kolesnikova, et al., 2024), modelos multilingues LLM testados com os conjuntos de dados MasakhaNEWS, MasakhaNER, AfriSenti, assim como um novo conjunto de dados Ethiobenchmark, desenvolvido pelos autores como um recurso de avaliação para diferentes tarefas e línguas. Os resultados mostram que os modelos EthioLLM apresentam desempenho competitivo face a modelos de referência, embora os resultados variem conforme a língua e a tarefa, não sendo adequado afirmar genericamente que superam todas as linhas de base do estado da arte. A criação do conjunto de dados é a principal contribuição da pesquisa, a limitação está versada na escassez de corpora que suporta as 85 línguas etíopes. O AfroXLMR, proposto por Alabi et al. (2022), é um modelo baseado em um PLM multilingue, obtido por meio de ajuste fino adaptativo multilingue (MAFT, do inglês, Multilingual Adaptive Fine-Tuning) em 17 línguas africanas e três línguas de alta disponibilidade de recursos faladas no continente. O modelo foi avaliado em comparação com o AfriBERTa e o XLM-R em três tarefas de PLN: NER, classificação de tópicos de notícias e classificação de sentimentos, tendo apresentado resultados competitivos. Como principal contribuição, os autores demonstram que a adaptação dos PLMs por meio do MAFT pode melhorar as capacidades de transferência interlinguística zero-shot dos métodos de ajuste fino com utilização eficiente dos parâmetros. Esta abordagem está relacionada com os trabalhos anteriores de Hedderich et al. (2020), que investigaram a aprendizagem por transferência e a supervisão distante em modelos Transformer multilingues aplicados a línguas africanas. Em suma, os modelos africanos analisados representam esforços recentes no domínio do PLN orientados para a redução da lacuna de representação e da escassez de recursos linguísticos para línguas africanas. Embora apresentem diferentes arquiteturas e estratégias de pré-treinamento e adaptação, esses modelos procuram explorar características linguísticas e recursos específicos das línguas abrangidas, recorrendo a abordagens como a aprendizagem por transferência, o prétreinamento multilingue e o ajuste fino adaptativo. De forma geral, os resultados evidenciam o potencial dessas abordagens para melhorar o desempenho em tarefas subsequentes de PLN e contribuir para o desenvolvimento de recursos e modelos destinados a línguas africanas com poucos recursos. 3. Metodologia Foi adotada, para o estudo, uma abordagem de investigação quali-quantitativa (Pereira et al., 2018; Risemberg et al., 2026), combinando procedimentos qualitativos e quantitativos. A abordagem qualitativa foi utilizada na análise morfossintática de textos em Kikongo, enquanto a abordagem quantitativa foi aplicada por meio de estatística descritiva simples, recorrendo à representação gráfica dos dados, nomeadamente por meio de gráficos de linhas e de colunas, bem como à análise de classes, comprimentos mínimo, máximo e médio e frequências absolutas (Shitsuka et al., 2014). A Figura 1 apresenta a abordagem adotada na criação e avaliação do desempenho do KmBERT, composta pelas fases de carga do modelo com o corpus Kikongo, o pré-processamento, o pré-treinamento, configuração de parâmetros e ajuste fino, a validação, teste do modelo e avaliação dos resultados. Conforme representado no fluxo, inicialmente introduziu-se o corpus Kikongo como fase para a capacitação do modelo no processo de aprendizagem no reconhecimento de padrões e permitir o seu ajuste aos parâmetros a valores adequados na obtenção do desempenho desejado. O ajuste fino permitiu a obtenção das previsões iniciais, a medição dos erros e correção dos cálculos internos, ciclo replicado até a estabilização do sistema. 6 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Conforme referido anteriormente para aferir o desempenho o classificador foi avaliado nas tarefas planejadas aplicando as métricas padrão de classificação e o apoio da matriz de confusão, Figura 1 - Etapas do desenvolvimento e avaliação do modelo KmBERT. Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Esta seção descreve o conjunto de dados de treinamento, validação e teste, o ajuste fino do KmBERT, o treinamento com corpus Kikongo, e avaliamos as tarefas morfossintático e sumarização, aplicando as métricas de avaliação de desempenho do modelo, como precisão, acurácia, precisão, revocação e pontuação F1 e matriz de confusão. 3.1 Conjunto de Dados O conjunto de dados utilizado foi proposto no estudo (Fernando et al., 2026), contém 150 045 textos de temas maioritariamente bíblicos, seguido por extratos de livros e manuais e obras literários Kikongo, com representação aproximadamente equilibrada em categorias. Seguindo as boas praticas de PLN o conjunto foi dividido em conjuntos de treinamento, validação e teste usando uma técnica de amostragem estratificada. 70% (105 031,5) para treinamento, 15% (22 506,75) das amostras para validação, em cada ciclo de treinamento para no ajuste fino e os restantes 15% (22 506,75) das amostras para testes. As amostras foram distribuídas aleatoriamente nos três subconjuntos, conforme a divisão estratificada adotada no estudo. A Tabela 1 apresenta com mais detalhes o conjunto de dados Kikongo, usado neste estudo. De igual modo a quantidade de tokens gramaticais por classe no conjunto de dados. Tabela 1 – Divisão do conjunto de dados. Conjunto de Dados Tamanho Classes Treinamento (70%) Validação (15%) Teste (15%) Geral 105031 22507 22507 150045 9 9 9 9 Comprimento Máximo 17 16 17 17 Comprimento Mínimo 1 1 1 1 Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Tabela 2 - Tokens Classe gramatical. Classe Gramatical Quantidade de Tokens PREP (Preposição) 30125 INTERJ (Interjeição) 15072 PRON (Pronome) 15049 SUBST (Substantivo) 15011 NUM (Numeral) 15007 ADJ (Adjetivo) 14992 CONJ (Conjunção) 14945 ADV (Advérbio) 14924 VERB (Verbo) 14920 Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 7 Média de Comprimento 5.6 5.6 5.6 5.6 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 3.2 Configuração Experimental O modelo foi treinado com a biblioteca Huggingface Transformers (Wolf et al., 2020) (v4.2.1). Nos experimentos iniciais a seguir, pré-treinamos o modelo por 12 passos e usamos um comprimento máximo de sequência de 512. O prétreinamento foi feito com um tamanho de lote de 32. A otimização foi feita usando o AdamW (Loshchilov & Hutter, 2019) com uma taxa de aprendizado de 1e-4. Relatamos as pontuações F1 no conjunto de dados, com média de 3 execuções com diferentes sementes aleatórias. Após explorações iniciais, descobrimos que um tamanho de vocabulário 150K, excluindo tokens especiais, produz bons resultados em diferentes tamanhos de modelo, então usamos esse valor para os experimentos iniciais. Na classificação de texto fizemos um treinamento adicionando uma camada de classificação linear ao modelo e ajustamos todos os parâmetros. Treinamos por 12 épocas com um tamanho de lote de 32, etapas de aquecimento de 100, taxa de aprendizado de 5e-5. No processo de treinamento do modelo, os identificadores dos tokens, as máscaras de atenção e os respetivos rótulos do conjunto de dados foram combinados para compor um TensorDataset. A variante uncased mBERT adotado possui 12 camadas Transformer, 12 cabeças de atenção, 768 unidades na camada oculta e aceita um comprimento máximo de sequência de 512 tokens, o suficientemente robusto para capturar as variações morfossintáticas da língua Kikongo. Para o ajuste fino do modelo, o Google Colab, foi adoptado por fornecer GPU gratuitas (Tesla T4 ou Tesla K80). O BertForSequenceClassification, foi aplicado com adição de uma única camada linear ao mBERT para produção dos rótulos. Seguindo padrões metodológicas recomendados, foram testados comprimentos de sequência de 16, 32, 64, 128, 256 e 512, os quatro primeiros com tamanho de lote 32 e o último com tamanho de lote 8, para evitar problemas de memória. A Tabela 3: representa os Hiperparâmetros para ajuste fino mBERT. Tabela 3 - Otimização de hiperparâmetros usados para ajuste fino do modelo proposto para a reclassificação de passagens. Tamanho do Vocabulário mBERT 105879 Modelo KmBERT 105879 Optimizador AdamW AdamW Taxa de aprendizagem 2e-5 1e-3 Hidden Drouput prob 0.1 0.1 Épocas 12 5 Treinamento Tamanho do lote 32 32 Tamanho máximo de sequências 256 32 Tamanho do word embbeding 768 768 Parâmetros Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 3.3 Pré-Treinamento e Ajuste Fino Segundo Devlin et al. (2019), BERT Multilingue obtém sempre um desempenho competitivo em várias tarefas de PLN e é bastante eficaz em idiomas com poucos recursos. Durante o processo de ajuste fino realizou-se à formatação de entrada para KmBERT, no treinamento os dados convertidos em formato numérico, numa sequência de identificadores e tokens e uma máscara de atenção. Na validação realizou-se inicialmente a tokenização do texto, com uso do tokenizador KmBERT, sem distinção de maiúsculas das minúsculas. Na sequência adicionou-se no início da sequência um token especial [CLS] e no fim um token [SEP]. [CLS] é obrigatório no início da classificação. De seguida todos os tokens gerados, foram mapeados para seus índices no vocabulário do tokenizador. Testamos os comprimentos da sequência máxima (16, 64, 128, e 256 e 512). Tendo adotado o max_seq de 256, por ter tido o desempenho mais promissor. Todas as avaliações foram truncadas 8 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 ou preenchidas para um único comprimento fixo. No fim as máscaras de atenção foram criadas para distinguir tokens reais dos tokens preenchidos. Processo demonstrado a seguir com sequência de 64 (Fernando et al., 2026). Tabela 4 - Experimento Ajuste Fino. Entrada de Texto: N´funu ya Dibuta: Dibuta kele n´funu na luzingu ya konso muntu. Tata, mama mpe bana fwete zinga na luzolo mpe lusadisu. Ntangu muntu kele na mpasi, dibuta lenda sadisa yandi. Yo yina, luzolo, luzitu mpe lusadisu kele mambu ya n´funu na kati ya dibuta.Malongi kele mpi n´funu sambu na bana. Bana fwete kwenda ku nzo-nkanda mpe kuwa malongi ya bamfundisi. Na nzo-nkanda, bo kelonguka kutanga, kusonika mpe kuzaba mambu ya mpa. Mayele yina bo kebaka lenda sadisa bau na bilumbu ke kwisa. Na luzingu, konso muntu fwete zaba mambu yina kele n´funu sambu na yandi mpe sambu na bantu yina kezingaka na yandi. Tokenizado Lista de tokens BPE Token especial início e fim Token Identificador Sequência numérica dos IDs dos tokens Adição de máscaras de atenção Sequência de 1s e 0s indicando tokens reais e padding Fonte: Elaborado pelos Autores a partir de dados da pesquisa. A Tabela 4 demonstra o tratamento dos tokens não constantes no vocabulário do tokenizador, incluído aqueles tokens que aparecem com variações no texto original. Por exemplo, a palavra “n´funu” é segmentada por dois subtokens - “o” e “##funu” - seguindo o procedimento de tokenização do KmBERT, na sequência os identificadores numéricos dos tokens são gerados e, com as máscaras de atenção associadas, como entradas a serem utilizadas no ajuste fino do modelo, para a tarefa de classificação. No processo de treinamento do modelo, os identificadores dos tokens, as máscaras de atenção e os respetivos rótulos do conjunto de dados são combinados para formar um TensorDataset. A distribuição das amostras é apresentada conforme a Tabela 4. Tabela 5 - Hiperparâmetros para ajuste fino para o treinamento do KmBERT. Cumprimento de Sequência Tamanho do Lote 16 32 Nº Épocas Taxa de aprendizagem Epslon (eps) 2,00e-05 1,00e-08 64 32 6 6 3,00e-05 1,00e-08 128 32 6 2,00e-05 1,00e-08 256 32 6 1.5e- 05 1,00e-08 8 6 1,00e-05 1,00e-08 512 Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Na Tabela 5, são apresentados os hiperparâmetros adotados no ajuste fino para o treinamento do modelo. Adotamos como otimizador o AdamW, no processo de atualização dos parâmetros para cada lote, de formas a garantir a estabilidade na tarefa. O procedimento adotado permitiu a avaliação desempenho do modelo no fim de cada época, evidenciando assim as a o comportamento da função perda, a precisão e acurácia do modelo no processo de aprendizagem. 9 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 4. Resultados e Discussão Embora exista uma gama de pesquisas na literatura que defendem que as variantes multilingues sempre alcançam desempenho competitivo, devido as suas capacidades de transferência de conhecimento entre idiomas. Porém é importante se ter em conta que o desempenho varia bastante de uma língua para outra e depende de fatores como equilíbrio dos dados, a limitação em termos de parâmetros a distância linguística entre outros. Assim comparativamente modelos pré-treinados, em uma única língua em geral e em específico em cenários de poucos dados, são sempre mais eficazes, na tarefa de classificação de novos idiomas (Dossou et al, 2022; Fernando et al. 2026). Tabela 6 – Avaliação de desempenho KmBERT por número de neurónios no treinamento. Nº de Neurónios Acurácia (%) Perdas 16 95,45 0.1688 32 96,6 0.0594 64 96,4 0.1688 128 96,6 0.0594 256 96,6 0.0593 Fonte: Elaborado pelos Autores. A Tabela 6 apresenta o desempenho do modelo na avaliação da acurácia e perdas. Os resultados indicam uma acurácia acima de 96,6%. Era de esperar que o melhor valor possível fosse obtido com o aumento de neurônios, o que consequentemente melhoraria o desempenho e diminuiria paralelamente a taxa de perda. Embora a premissa se verificasse, ainda assim o ganho é insignificante; por exemplo, comparando 128 a 258, a diferença é de 1,15 décimos. Apesar das limitações de recursos computacionais, os resultados obtidos são significantes, uma vez que cada palavra era tokenizada em tempo real no getiteen, sobrecarregando as CPUs, o que impôs ociosidade às GPUs. A falta de paralelismo deixou o DataLoader sem workers, um processo focado na preparação de dados, porém sem mixed precision. O treino rondando em FAT32, por ser mais lento, consumiu a memória de maneira considerável. Para tentar resolver esse problema, os dados foram pré-tokenizados e salvos em cache e, de igual modo, aumentamos o batch size como alternativa ao gradient accumulation, ativando o num-workers no DataLoader, com Mix Precision (MP), no intuito de aumentar a eficiência e consumir menos memória, embora sem resultados consideráveis. Pelo que tivemos que interromper os testes. Tabela 7 – Desempenho do mBERT no treinamento, validação e teste. Neurónios 16 32 64 128 256 Época 1 5 1 5 1 5 1 5 1 5 Treinamento % 87,4 97,3 86,0 97,2 77,9 97,2 78,9 97,1 87,6 97,3 Validação% 88,8 97,3 87,0 97,5 94,8 97,2 95,9 97,5 96,6 97,3 Teste% 89,4 97,4 89,0 97,4 94,9 97,5 96,3 97,1 97,3 97,4 Fonte: Elaborado pelos Autores. A Tabela 7, apresenta o desempenho do modelo focada na acurâcia por época e neurónios no processo de aprendizagem, e validação do modelo. Conforme se pode verificar, nos três processos é possível aferir que na 5.ª época - 10 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 neurónio, obteve um desempenho acima de 97,0% de acurâcia. Neste estudo, adotamos a configuração de 256 neurônios, por ter sido um decimo superior a todos neurónios avaliados nessa época. A análise indica um ótimo desempenho inicial e monstra uma convergência rápida. O tamanho do lote teve pouca influencia nos resultados. Assim, o modelo consegue extrair padrões essenciais rapidamente, independentemente do tamanho de lote, as pequenas oscilações podem estar associadas relativamente a um certo equilíbrio dos dados. Tabela 8 - Resumo do Desempenho do modelo KmBERT. 97,1 97,2 97,4 Precisão % 98,1 98,3 98,4 Teste Revocação % 97,1 97,2 97,4 F1 - Score % 97,1 97,2 97,4 0.056320 0.056836 0.055066 97,3 97,4 98,3 98,5 97,3 97,4 97,3 97,4 0.056068 0.055705 Nº Neurónios camada oculta Treino (Acurácia %) Avaliação (Acurácia %) Acurácia % 16 32 64 87,4 97,3 86,0 88,8 97,3 87,0 128 256 97,2 97,3 97,5 97,3 Perdas Fonte: Elaborado pelos Autores. Tabela 8 apresenta o resumo da avaliação das métricas do processo de treinamento. Nas três fases, o desempenho das quatro métricas avaliadas nesse estudo apresenta resultados excelentes, com uma precisão de 97,3% em testes de 256 neurônios. Os resultados indicam um desempenho forte e estável. Com 97,0% de acurácia e 78,8% de precisão, o que leva a considerar que o modelo aprende rapidamente. A alta precisão indica uma baixa taxa de falsos positivos. Tabela 9 - Teste de função de ativação do mBERT. Nº 1 Função de ativação Segnoidal Acurácia % - Perda - 2 3 4 5 6 Sunfmax - - Adam AdamW Relu SGD 97,0 22,0 47,0 0.311226 0.811226 0.611226 Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Na Tabela 9, está representada a acurácia das funções de ativação treinadas com o modelo. Conforme se pode verificar, AdamW foi mais eficiente ao alcançar uma taxa de 97,0%. De igual modo, obteve uma perda menor em relação a todos testados. SGD com 47,0% obteve desempenho mediano. Geralmente indica que o modelo está estagnado, com dificuldade para extrair características complexas. Já 22,0% do RELU representa um desempenho muito baixo. O modelo não conseguiu aprender os padrões adequadamente. Pode indicar um problema na configuração (taxa de aprendizado inadequada ou falhas na arquitetura da rede. Tabela 10 - Teste de taxa de aprendizagem do KmBERT. Nº 1 2 3 4 5 Taxa de Aprendizagem 1,00e-05 2,00e-05 3,00e-05 4,00e-05 5,00e-05 Acurácia % 98,0 97,3 97,4 97,2 97,4 Fonte: Elaborado pelos Autores 11 Perdas 0.0557 0.0560 1,738872 1,641580 1,559092 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 A Tabela 10 apresenta o desempenho do modelo na avaliação da acurácia por taxa de aprendizagem, no contexto de identificar a melhor taxa de aprendizagem do modelo para o processo de teste. Em função do comportamento de perdas, apenas três épocas foram executadas. Deduzimos que, a partir desse momento, o modelo começaria a treinar em excesso com os dados de treinamento, priorizando a aprendizagem de características específicas em detrimento das características gerais. Embora se tenha utilizado inicialmente 5 taxas de aprendizagem diferentes, observamos que o desempenho no conjunto de dados de validação foi semelhante nos 5 casos analisados. De igual modo, o comportamento foi semelhante quando testado com o conjunto de dados de testes. O maior valor neste caso foi de 98,0%, obtido pelo modelo inicializado com taxa de aprendizagem = 1,00e-05. Figura 2 - Evolução da Acurácia por épocas (KmBERT, mBERT). (b) mBERT (a) KmBERT Fonte: Elaborado pelos Autores a partir de dados da pesquisa. A Figura 2(a) mostra o desempenho do modelo KmBERT (com 256 neurónios) no treinamento e validação e teste, ajustado para 9 épocas, já a Figura 2(b) apresenta a evolução da Acurácia do mBERT. Na Figura 2, avaliando comparativamente as curvas de desempenho da acurácia por época dos três conjuntos de dados, é possível aferir que o modelo aprende bastante e generaliza de forma eficiente época a época, mas, a partir da 3.ª época, aprende mais as características específicas em detrimento das genéricas, um comportamento que sugere overfitting, embora se verifique uma tendência inversa a partir da 4.ª época. Os dados de acurácia de 96,5% na validação e 97,0% no treino indicam um modelo excelente, estável e bem ajustado. A diferença mínima entre treino e validação mostra que a rede não está "decorando" os dados (overfitting) e tem um ótimo poder de generalização. 12 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Figura 3 - Perdas por época, durante o treino e validação (KmBERT, mBERT). Fonte: Elaborado pelos Autores a partir de dados da pesquisa. A Figura 3 apresenta a evolução das perdas do modelo em torno das 5 épocas no processo de treinamento e validação. Nesse âmbito é possível observar-se que a curva de perdas tem de uma época a outra redução gradual e contínua, Durante o processo de treino, a perda decresceu progressivamente de 1,75 na primeira época para 0,07 na última época, gerando uma melhoria de 1,65 no processo de otimização. De igual modo a curva de validação apresentou uma tendência idêntica tendo iniciado com uma perda de 1,80 e terminando em 0,07, com uma redução total de 1,73. Esse comportamento evidência uma convergência consistente do modelo ao longo dos dois processos. O que leva a considerar que houve melhoria considerável do modelo. Figura 4 - Valor de pontuação F1 por classes gramaticais. Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Na Figura 4 o modelo apresenta um excelente desempenho na classificação das classes, tendo alcançado uma acurácia de 100% na classe pronomes (PRON), Preposição (PREP), e interjeição (INTERJ). Logo foi eficaz o que é comum para classes com listas fechadas de palavras PREP ou padrões morfológicos muito claros (como as desinências verbais), o que terá facilitado o processo de aprendizagem. Em relação aos ADV, NUM e CONJ, conseguiu identificar a maioria mais 13 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 provavelmente tenha confundido palavras que costumam mudar de classe em função do contexto. Em relação a ADJ e SUB, alcançou um desempenho muito baixo, problema talvez associado ao alinhamento dos rótulos. Figura 5 - Matriz de confusão de classes. Fonte: Elaborado pelos Autores a partir de dados da pesquisa. Figura 5 apresenta a matriz de confusão com os resultados da classificação por categoria. Por exemplo, ao avaliar as interjeições (INTERJ), das 2 261 instâncias reais, 2 132 (94%) foram preditas corretamente, enquanto 129 (6%) foram classificadas incorretamente. No caso dos advérbios (ADV), das 2 239 instâncias reais, 1 903 (85%) obtiveram predições corretas e 336 (15%) foram incorretas. Embora o modelo confunda algumas categorias em cenários específicos, o seu desempenho global é robusto. 4.1 Análise Morfológica Em Kikongo, as silabas ba, be e bi, se usados como prefixos na formação de uma palavra composta, indicam o plural (Madalena, 2022), como representado na Tabela 11, verificamos bana (filhos) - sub m. plural e Bingana (proverbio ) sub m.plural. Na Tabela 12, é apresentado o exemplo da análise morfológica. Tabela 11 - Exemplo de origem da palavra e formação do plural em Kikongo. Significado em Português Filho Pessoa Bacongo Senhor Singular muana mutu Mukongo ngana Plural bana bantu Bakongo Bingana Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 14 Origem Ba-ana Ba - ntu Ba- kongo Bi-ngana Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Tabela 12 - Exemplo de análise morfológica do texto. ENTRADA N´funu ya Dibuta: Dibuta kele n´funu na luzingu ya konso muntu. Tata, mama mpe bana fwete zinga na luzolo mpe lusadisu. Ntangu muntu kele na mpasi, dibuta lenda sadisa yandi. Yo yina, luzolo, luzitu mpe lusadisu kele mambu ya n´funu na kati ya dibuta. Malongi kele mpi n´funu sambu na bana. Bana fwete kwenda ku nzo-nkanda mpe kuwa malongi ya bamfundisi. Na nzo-nkanda, bo kelonguka kutanga, kusonika mpe kuzaba mambu ya mpa. Mayele yina bo kebaka lenda sadisa bau na bilumbu ke kwisa. Na luzingu, konso muntu fwete zaba mambu yina kele n´funu sambu na yandi mpe sambu na bantu yina kezingaka na yandi. SAÍDA N´funu (S) ya (Prep) Dibuta (S) Dibuta (S) kele (V) n´funu (S) na (Prep) luzingu (S) ya (Prep) konso (Adj) muntu (S) Tata (S) mama (S) mpe (Conj) bana (S) fwete (V) zinga (V) na (Prep) luzolo (S) mpe (Conj) lusadisu (S) Ntangu (S) muntu (S) kele (V) na (Prep) mpasi (S) dibuta (S) lenda (V) sadisa (V) yandi (Pro) Yo (Pro) yina (Pro) luzolo (S) luzitu (S) mpe (Conj) lusadisu (S) kele (V) mambu (S) ya (Prep) n´funu (S) na (Prep) kati (S) ya (Prep) dibuta (S) Malongi (S) kele (V) mpi (Adv) n´funu (S) sambu (Conj) na (Prep) bana (S) Bana (S) fwete (V) kwenda (V) ku (Prep) nzo-nkanda (S) mpe (Conj) kuwa (V) malongi (S) ya (Prep) bamfundisi (S) Na (Prep) nzo-nkanda (S) bo (Pro) kelonguka (V) kutanga (V) kusonika (V) mpe (Conj) kuzaba (V) mambu (S) ya (Prep) mpa (Adj) Mayele (S) yina (Pro) bo (Pro) kebaka (V) lenda (V) sadisa (V) bau (Pro) na (Prep) bilumbu (S) ke (Adv) kwisa (V) Na (Prep) luzingu (S) konso (Adj) muntu (S) fwete (V) zaba (V) mambu (S) yina (Pro) kele (V) n´funu (S) sambu (Conj) na (Prep) yandi (Pro) mpe (Conj) sambu (Conj) na (Prep) bantu (S) yina (Pro) kezingaka (V) na (Prep) yandi (Pro) Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 4.2 Análise Sintática Nessa tarefa as estruturas gramaticais das frases são objetos de análise para entender no sentido de identificar a relação entre as unidades. Nesse contexto especifica-se o papel de cada palavra no texto e.g. sujeito, verbo e complementos. Na Tabela 13 e Tabela 14, são apresentados os exemplos da tarefa. Tabela 13 - Análise Sintática, texto 1. ENTRADA N´funu ya Dibuta: Dibuta kele n´funu na luzingu ya konso muntu. Tata, mama mpe bana fwete zinga na luzolo mpe lusadisu. Ntangu muntu kele na mpasi, dibuta lenda sadisa yandi. Yo yina, luzolo, luzitu mpe lusadisu kele mambu ya n´funu na kati ya dibuta. Malongi kele mpi n´funu sambu na bana. Bana fwete kwenda ku nzo-nkanda mpe kuwa malongi ya bamfundisi. Na nzo-nkanda, bo kelonguka kutanga, kusonika mpe kuzaba mambu ya mpa. Mayele yina bo kebaka lenda sadisa bau na bilumbu ke kwisa. Na luzingu, konso muntu fwete zaba mambu yina kele n´funu sambu na yandi mpe sambu na bantu yina kezingaka na yandi. SAÍDA N´funu ya Dibuta: N´funu ya Dibuta → expressão nominal. Dibuta kele n´funu na luzingu ya konso muntu: Dibuta → sujeito; kele n´funu → predicado nominal; na luzingu ya konso muntu → complemento circunstancial. Tata, mama mpe bana fwete zinga na luzolo mpe lusadisu: Tata, mama mpe bana → sujeito composto; fwete zinga → predicado verbal; na luzolo mpe lusadisu → complemento circunstancial de modo. Ntangu muntu kele na mpasi, dibuta lenda sadisa yandi: Ntangu muntu kele na mpasi → oração subordinada temporal; muntu → sujeito; kele na mpasi → predicado/complemento; dibuta → sujeito; lenda sadisa → predicado verbal; yandi → complemento directo. Yo yina, luzolo, luzitu mpe lusadisu kele mambu ya n´funu na kati ya dibuta: Yo yina → conector; luzolo, luzitu mpe lusadisu → sujeito composto; kele mambu ya n´funu → predicado nominal; na kati ya dibuta → complemento circunstancial de lugar. Malongi kele mpi n´funu sambu na bana: Malongi → sujeito; kele mpi n´funu → predicado nominal; sambu na bana → complemento. Bana fwete kwenda ku nzo-nkanda mpe kuwa malongi ya bamfundisi: Bana → sujeito; fwete kwenda → predicado verbal; ku nzo-nkanda → complemento circunstancial de lugar/direção; mpe kuwa malongi ya bamfundisi → oração coordenada; malongi ya bamfundisi → complemento directo. Na nzo-nkanda, bo kelonguka kutanga, kusonika mpe kuzaba mambu ya mpa: Na nzo-nkanda → complemento circunstancial de lugar; bo → sujeito; kelonguka → predicado verbal; kutanga, kusonika mpe kuzaba → complementos verbais coordenados; mambu ya mpa → complemento directo. Mayele yina bo kebaka lenda sadisa bau na bilumbu ke kwisa: Mayele yina bo kebaka → sujeito; yina bo kebaka → oração subordinada relativa; lenda sadisa → predicado verbal; bau → complemento directo; na bilumbu ke kwisa → complemento circunstancial de tempo. Na luzingu, konso muntu fwete zaba mambu yina kele n´funu sambu na yandi mpe sambu na bantu yina kezingaka na yandi: Na luzingu → complemento circunstancial; konso muntu → sujeito; fwete zaba → predicado verbal; mambu yina kele n´funu → complemento directo; yina kele n´funu → oração subordinada relativa; sambu na yandi → complemento; mpe sambu na bantu yina kezingaka na ya Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 15 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Tabela 14 - Análise Sintática , texto 2. ENTRADA Etuku dia salu ekyaki i muna lukasakeso tuakele lwawu, wawu twatambwidi nsangu kuna kwa akubiki a n´kanda a nsangu Njinga & Sapé. Muna mboka eyayi, tuzolele tadila mutindu ndinga ya Kikongo kezingilaka muna luzingu ya bantu, ye mutindu bantu kesadilaka yo muna mpovelo ya konso kilumbu.Akinavo o Kikongo kele ndinga mosi ya bantu yina zivovuanga omu Ngola ye zaka nsi nese kuna nsi a Kongo Democrático, kuna nsi a Kongo Brazzaville, yo kuna nsi a Gabão. Ndinga yayi kele na bampova ye mitindu ya mpovelo ya kuswaswana na kutadila efulu yina bantu kevandaka. Oyandi omu nsi okayananga efulu ye ndinga za kanda dya Nígero Kongolesa ye kanda dia indo-europeias. SAÍDA Etuku dia salu ekyaki → sujeito; i muna lukasakeso → predicado/complemento circunstancial; tuakele lwawu → predicado verbal; wawu twatambwidi nsangu → oração coordenada; kuna kwa akubiki a n´kanda a nsangu Njinga & Sapé → complemento circunstancial de lugar/origem. Muna mboka eyayi → complemento circunstancial de lugar; tuzolele → sujeito/predicado verbal; tadila mutindu ndinga ya Kikongo kezingilaka muna luzingu ya bantu → complemento directo; mutindu ndinga ya Kikongo kezingilaka muna luzingu ya bantu → oração subordinada/complemento; ye mutindu bantu kesadilaka yo muna mpovelo ya konso kilumbu → oração coordenada/complemento; bantu → sujeito; kesadilaka yo → predicado verbal/complemento directo; muna mpovelo ya konso kilumbu → complemento circunstancial. Akinavo → complemento circunstancial; o Kikongo → sujeito; kele ndinga mosi ya bantu → predicado nominal; yina zivovuanga omu Ngola ye zaka nsi nese kuna nsi a Kongo Democrático, kuna nsi a Kongo Brazzaville, yo kuna nsi a Gabão → oração subordinada relativa/complemento; omu Ngola → complemento circunstancial de lugar; kuna nsi a Kongo Democrático → complemento circunstancial de lugar; kuna nsi a Kongo Brazzaville → complemento circunstancial de lugar; yo kuna nsi a Gabão → complemento circunstancial de lugar. Ndinga yayi → sujeito; kele na bampova ye mitindu ya mpovelo ya kuswaswana → predicado/complemento; na bampova ye mitindu ya mpovelo → complemento directo; na kutadila efulu yina bantu kevandaka → complemento circunstancial; efulu yina bantu kevandaka → oração subordinada relativa. Oyandi → sujeito; omu nsi → complemento circunstancial de lugar; okayananga → predicado verbal; efulu ye ndinga za kanda dya Nígero Kongolesa ye kanda dia indo-europeias → complemento directo. Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 4.3 Sumarização do texto A sumarização automática de texto é uma técnica que aprimora a compreensão de informações cruciais e o valor do texto. Através da combinação da sintaxe e semântica e cria resumos claros e altamente coerentes, que especificam a conexão das pessoas com a informação. O exemplo apresentado na Tabela 15. Tabela 15 - Exemplos de sumarização de texto. ENTRADA N´funu ya Dibuta: Dibuta kele n´funu na luzingu ya konso muntu. Tata, mama mpe bana fwete zinga na luzolo mpe lusadisu. Ntangu muntu kele na mpasi, dibuta lenda sadisa yandi. Yo yina, luzolo, luzitu mpe lusadisu kele mambu ya n´funu na kati ya dibuta. Malongi kele mpi n´funu sambu na bana. Bana fwete kwenda ku nzo-nkanda mpe kuwa malongi ya bamfundisi. Na nzo-nkanda, bo kelonguka kutanga, kusonika mpe kuzaba mambu ya mpa. Mayele yina bo kebaka lenda sadisa bau na bilumbu ke kwisa. Na luzingu, konso muntu fwete zaba mambu yina kele n´funu sambu na yandi mpe sambu na bantu yina kezingaka na yandi. SAÍDA Dibuta kele n´funu na luzingu ya muntu, sambu yo kepesaka luzolo, luzitu mpe lusadisu. Malongi kele mpi n´funu sambu bana baka mayele ya kusadila na bilumbu ke kwisa. Konso muntu fwete zaba mambu ya n´funu sambu na luzingu na yandi mpe sambu na bantu yankaka. Fonte: Elaborado pelos Autores a partir de dados da pesquisa. 16 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 5 Conclusões O presente estudo demonstrou a eficiência de BERT multilingue na classificação automático da língua Kikongo, uma língua banta morfologicamente complexa e com poucos recursos. O modelo KmBERT adaptado para Kikongo representa uma contribuição que poderá server de base para impulsionar o desenvolvimento de tecnologias linguísticas voltadas a idiomas africanos de poucos recursos em geral e específico para línguas da mesma matriz e suas variantes. O desempenho competitivo do modelo dá suporte a comunidade etnolinguística na realização de tarefas avaliadas para melhorar e facilitar o processo de aprendizado da língua. A capacidade de generalização e aprender padrões linguísticos nas classes da língua demonstra a qualidade deste. Em comparação com o desempenho dos modelos africanos do estado da arte, o modelo Kikongo apresenta resultados muito superiores devido a qualidade e o equilíbrio do corpus utilizado no processo de treinamento e avaliação do modelo. Nossa pesquisa confirma a afirmação comumente da literatura de que modelos monolingues ajustados para línguas específicas tendem a superar modelos multilingues pré-treinados através de método de transferência linguística. A técnicas de pré-processamento, otimização de hiperparâmetros e uso eficiente de GPUs disponíveis, ajudaram a mitigar efeitos de overffliting comuns em treinar esse modelo com poucos dados, como maior limitação. Comparativamente classes como advérbios e interjeições, tiverem um desempenho relativamente inferior em relação as restantes, apontando para a necessidade de expansão futura do corpus. Certamente o estudo servirá de incentivo a pesquisas africanas nessa linha no intuito de continuar a diminuir o GAP tecnológico, ajudar a resgatar idiomas ameaçadas de extinção como o Kikongo e apoiar a comunidade linguística no contexto de aprendizado e ensino da gramática da língua. O estudo colocará a disposição de pesquisadores e comunidade linguístico um instrumento, para promoção inovação, documentação linguística e inclusão tecnológica do Kikongo e suas variantes. 5.1 Trabalhos futuros Como perspetivas futuras, pretendemos estender o modelo para tarefas de análise semântica e pragmática, entidades nomeadas e análise de sentimentos, etc. Referências Alabi, J. O., Adelani, D. I., Mosbach, M., & Klakow, D. (2022). Adapting Pre-trained Language Models to {A}frican Languages via Multilingual Adaptive Fine-Tuning. In N. Calzolari, C.-R. Huang, K. Knight, Z. Min, E. Stepanov, & others (Eds.), Proceedings of the 29th International Conference on Computational Linguistics (pp. 4336–4349). International Committee on Computational Linguistics. https://aclanthology.org/2022.coling-1.382/ Antoun, W., Baly, F., & Hajj, H. (2020). AraBERT: Transformer-based Model for Arabic Language Understanding. Proceedings of the Language Resources and Evaluation Conference (LREC), 7022–7032. https://arxiv.org/abs/2003.00104 Caines, A. (2019). The Geographic Diversity of NLP Conferences. https://www.marekrei.com/blog/geographic-diversity-of-nlp-conferences/ Conneau, A., Khandelwal, K., Goyal, N., Chaudhary, V., Wenzek, G., Guzmán, F., Grave, É., Ott, M., Zettlemoyer, L., & Stoyanov, V. (2020). Unsupervised Cross-lingual Representation Learning at Scale. ArXiv Preprint. https://doi.org/10.48550/arXiv.1911.02116 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). {BERT}: Pre-training of Deep Bidirectional Transformers for Language Understanding. In J. Burstein, C. Doran, & T. Solorio (Eds.), Proceedings of the 2019 Conference of the North {A}merican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) (pp. 4171–4186). Association for Computational Linguistics. Dossou, B. F. P., Tonja, A. L., Yousuf, O., Osei, S., Oppong, A., Shode, I., Awoyomi, O. O., & Emezue, C. (2022). {AfroLM}: A Self-Active Learning-based Multilingual Pretrained Language Model for 23 African Languages. Proceedings of the Third Workshop on Simple and Efficient Natural Language Processing (SustaiNLP), 52–64. https://doi.org/10.18653/v1/2022.sustainlp-1.11 Eberhard, D. M., Simons, G. F., & Fennig, C. D. (2019). Ethnologue: Languages of the World (22nd ed.). SIL International. Fernando, H., & da Silva, R. F. (2026). PLNKikongo: Analysis of models based on the BERT architecture for processing the Angolan language Kikongo. Revista Brasileira de Computação Aplicada, 18(2), 1–15. https://doi.org/10.5335/rbca.v18i2.17269 17 Research, Society and Development, v. 15, n. 9, e6815951687, 2026 (CC BY 4.0) | ISSN 2525-3409 | DOI: http://dx.doi.org/10.33448/rsd-v15i9.51687 Fernando, H., Reis, J. A. A., Dias, P. M. C., João, A. J. K., Chissingui, H. J., & da Silva, R. F. (2026). (KDBERT): Modelo baseado em transformadores para compreensão da língua Kikongo na região central de África. Research, Society and Development, 15(8 SE-Engineerings), e4815851535. https://doi.org/10.33448/rsd-v15i8.51535 Hedderich, M. A., Adelani, D. I., Zhu, D., Alabi, J., Markus, U., & Klakow, D. (2020). Transfer Learning and Distant Supervision for Multilingual Transformer Models: A Study on African Languages. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2580–2591. https://doi.org/10.18653/v1/2020.emnlp-main.204 Joshi, P., Santy, S., Budhiraja, A., Bali, K., & Choudhury, M. (2020). The State and Fate of Linguistic Diversity and Inclusion in the {NLP} World. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 6282–6293. https://doi.org/10.18653/v1/2020.acl-main.560 Jude Ogundepo, O., Oladipo, A., Adeyemi, M., Ogueji, K., & Lin, J. (2022). {AfriTeVA}: Extending ``Small Data’’ Pretraining Approaches to Sequence-toSequence Models. Proceedings of the Third Workshop on Deep Learning for Low-Resource Natural Language Processing, 126–135. https://doi.org/10.18653/v1/2022.deeplo-1.14 Koto, F., Rahimi, A., Lau, J. H., & Baldwin, T. (2020). IndoLEM and IndoBERT: A Benchmark Dataset and Pre-trained Language Model for Indonesian NLP. Proceedings of COLING 2020, 757–770. https://doi.org/10.18653/v1/2020.coling-main.66 Lample, G., & Conneau, A. (2019). Cross-lingual Language Model Pretraining. NeurIPS 2019 / ArXiv. https://doi.org/10.48550/arXiv.1901.07291 Loshchilov, I., & Hutter, F. (2019). Decoupled Weight Decay Regularization. https://arxiv.org/abs/1711.05101 Luukkonen, R., Komulainen, V., Luoma, J., Eskelinen, A., Kanerva, J., Kupari, H.-M., Hämäläinen, M., Virtanen, A., & Pyysalo, S. (2023). FinGPT: Large Generative Models for a Small Language. Proceedings of EMNLP 2023, 2710–2726. https://doi.org/10.18653/v1/2023.emnlp-main.164 Madalena, M. M. (2022). Estudo comparativo do sistema nominal em Kikongo (H10) e kimbundo (H20): caso da variante Kimbémbé e Ngóla. Universidade Agostinho Neto. Nagoudi, E. M. B., Elmadany, A., & Abdul-Mageed, M. (2022). AraT5: Text-to-Text Transformers for Arabic Language Generation. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 628–647. https://doi.org/10.18653/v1/2022.acl-long.47 Nakatumba-Nabende, J., Babirye, C., Nabende, P., Tusubira, J. F., Mukiibi, J., Wairagala, E., Mutebi, C., Bateesa, S., Nahabwe, A., Tusiime, H., & Katumba, A. (2024). Building Text and Speech Benchmark Datasets and Models for Low-Resourced East African Languages: Experiences and Lessons. Applied AI Letters, 5, e92. https://doi.org/10.1002/ail2.92 Ogueji, K., Zhu, Y., & Lin, J. (2021). Small Data? No Problem! Exploring the Viability of Pretrained Multilingual Language Models for Low-Resourced Languages. Proceedings of the 1st Workshop on Multilingual Representation Learning, 116–126. https://doi.org/10.18653/v1/2021.mrl-1.11 Ojo, J., Ogundepo, O., Oladipo, A., Ogueji, K., Lin, J., Stenetorp, P., & Adelani, D. I. (2025). AfroBench: How Good are Large Language Models on African Languages? Findings of the Association for Computational Linguistics: ACL 2025, 19048–19095. https://doi.org/10.18653/v1/2025.findings-acl.976 Pereira, A. S., Shitsuka, D. M., Parreira, F. J., & Shitsuka, R. (2018). Metodologia da pesquisa científica (1st ed.). Universidade Federal de Santa Maria, UAB/NTE. https://repositorio.ufsm.br/handle/1/15824 Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., & Liu, P. J. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. Journal of Machine Learning Research, 21(140), 1–67. http://jmlr.org/papers/v21/20-074.html Risemberg, R. I. C., Wakin, M., & Shitsuka, R. (2026). A importância da metodologia científica no desenvolvimento de artigos científicos. E-Acadêmica, 7(1), e0171675. https://doi.org/10.52076/eacad-v7i1.675 Shitsuka, R., Shitsuka, R. I. C. M., Shitsuka, D. M., & Shitsuka, C. D. W. M. (2014). Matemática fundamental para tecnologia (2nd ed.). Editora Érica. Tonja, A. L., Azime, I. A., Belay, T. D., Yigezu, M. G., Mehamed, M. A., Ayele, A. A., Jibril, E. C., Woldeyohannis, M. M., Kolesnikova, O., Slusallek, P., Klakow, D., Xiong, S., & Yimam, S. M. (2024). {E}thio{LLM}: Multilingual Large Language Models for {E}thiopian Languages with Task Evaluation. ArXiv Preprint ArXiv:2403.13737. https://doi.org/10.48550/arXiv.2403.13737 Tonja, A. L., Kolesnikova, O., Gelbukh, A., & Kalita, J. (2024). {EthioMT}: Parallel Corpus for Low-resource Ethiopian Languages. Proceedings of the Fifth Workshop on Resources for African Indigenous Languages @ LREC-COLING 2024, 107–114. https://aclanthology.org/2024.rail-1.12/ Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., … Rush, A. (2020). Transformers: State-of-the-Art Natural Language Processing. Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, 38–45. https://doi.org/10.18653/v1/2020.emnlp-demos.6 Wu, S., & Dredze, M. (2020). Are All Languages Created Equal in Multilingual BERT? Proceedings of the 5th Workshop on Representation Learning for NLP, 120–130. https://doi.org/10.18653/v1/2020.repl4nlp-1.16 Xue, L., Barua, A., Constant, N., Al-Rfou, R., Narang, S., Kale, M., Roberts, A., & Raffel, C. (2022). ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. Transactions of the Association for Computational Linguistics, 10, 291–306. https://doi.org/10.1162/tacl_a_00461 Xue, L., Constant, N., Roberts, A., Kale, M., Al-Rfou, R., Siddhant, A., Barua, A., & Raffel, C. (2021). mT5: A Massively Multilingual Pre-trained Text-toText Transformer. Proceedings of NAACL-HLT 2021, 483–498. https://doi.org/10.18653/v1/2021.naacl-main.41 18