Cosmos-LLaVA: Görselle Sohbet Etmek Cosmos-LLaVA: Chatting with the Visual
Ahmed Zeer, Eren Dogan, Yusuf Erdem, Elif İnce, Osama Shbib, M. Egemen Uzun, Atahan Uz, M. Kaan Yuce, H. Toprak Kesgin, M. Fatih Amasyali · 2024
Read Cosmos-LLaVA: Görselle Sohbet Etmek Cosmos-LLaVA: Chatting with the Visual by Ahmed Zeer, Eren Dogan, Yusuf Erdem, Elif İnce, Osama Shbib, M. Egemen Uzun, Atahan Uz, M. Kaan Yuce, H. Toprak Kesgin, M. Fatih Amasyali (2024) in the Tower of Babel, a free online library of public-domain works preserved in clean, searchable text. No sign-up. The full text is served as a plain-text file at a predictable URL, where text is present: https://antarctic-labs.com/tower-of-babel/arxiv-2412-02760.txt.
Introduction
Ahmed Zeer and co-authors built Cosmos-LLaVA in 2024, a vision-language model that chats about images in Turkish. Most such models are trained on English first, and Turkish support lags behind. The team mixed large language models with image coders in several blends, then fine-tuned each blend on varied data sets. Their tests tracked which mix served Turkish users best.
The trials showed that both the choice of parts and the choice of training data swayed scores a great deal. No single tweak won on its own. The paper lays out the blends tried and what each gained or lost, giving later teams a map for low-resource tongues. The abstract is printed in both English and Turkish, a sign of the audience the work aims to serve.
Catalog record
| CREATOR | Ahmed Zeer, Eren Dogan, Yusuf Erdem, Elif İnce, Osama Shbib, M. Egemen Uzun, Atahan Uz, M. Kaan Yuce, H. Toprak Kesgin, M. Fatih Amasyali |
|---|---|
| YEAR | 2024 |
| COLLECTION | PAPERS |
| FORMAT | TXT |
| FILE SIZE | 25 KB |
| VERSION | 1.0 |
| LICENSE | http://creativecommons.org/licenses/by/4.0/ |
| RIGHTS | CC BY |
| SOURCE | arXiv |
Source: https://arxiv.org/abs/2412-02760
Browse the full library · About the Tower of Babel
Full text
The opening of the work, from the library's hosted text:
Cosmos-LLaVA: Görselle Sohbet Etmek Cosmos-LLaVA: Chatting with the Visual Ahmed Zeer, Eren Dogan, Yusuf Erdem, Elif İnce, Osama Shbib, M. Egemen Uzun, Atahan Uz, M. Kaan Yuce, H. Toprak Kesgin, M. Fatih Amasyali Abstract In this study, a Turkish visual instruction model was developed and various model architectures and dataset combinations were analysed to improve the performance of this model. The Cosmos-LLaVA model, which is built by combining different large language models and image coders, is designed to overcome the deficiencies in the Turkish language. In the experiments, the effects of fine-tuning with various datasets on the model performance are analysed in detail. The results show that model architecture and dataset selection have a significant impact on performance. {ozet} Bu çalışmada bir Türkçe görsel talimat modeli geliştirilerek bu modelin performansını artırmaya yönelik çeşitli model mimarileri ve veri kümesi kombinasyonları derinlemesine incelenmiştir. Farklı büyük dil modelleri ve görüntü kodlayıcılarının bir araya getirilmesiyle oluşturulan Cosmos-LLaVA modeli, Türkçe dilindeki eksiklikleri gidermeye yönelik olarak tasarlanmıştır. Yapılan deneylerde, çeşitli veri kümeleri ile yapılan ince ayarların model performansını nasıl etkilediği detaylı olarak ele alınmıştır. Sonuçlar, model mimarisi ve veri kümesi seçiminin performans üzerinde önemli bir etkiye sahip olduğunu göstermektedir. {IEEEanahtar} yapay zeka, doğal dil işleme, multimodelite, büyük dil modelleri, görselden soru cevaplama, üretici modeller, insan değerlendirmesi, yapay zeka hakemi I Giriş Günümüzde Doğal Dil İşleme alanında yapılan çalışmalar Büyük Dil Modellerinin (BDM) gelecekteki önemini ortaya koymaktadır. Bu modellerin geniş kullanım alanları, yetkinliklerinin yalnızca metin işleme becerisiyle sınırlı kalmaması gerektiğini göstermektedir. Yazılı ifadelerin yanında bir resmin anlamlandırılması ve bu doğrultuda yanıtlar üretilebilmesi de büyük önem taşımaktadır. Diğer dillerde yapılan çalışmalarla kıyaslandığında yalnızca Türkçe için olan çalışmaların azlığı görülmektedir. Çalışmanın amacı, literatürdeki bu eksikliği gidermek ve sistematik bir yol izleyerek sonraki araştırmacılar için güçlü bir temel oluşturmaktır. Bu bağlamda geçmiş çalışmalarda kullanılan veri kümeleri ile çalışmada oluşturulan veri kümeleri karşılaştırılmıştır. Seçilen veri kümeleri ve model mimarilerinin oluşturabileceği bütün kombinasyonlar test edilmiş, böylece en iyi performansın elde edilmesi amaçlanmıştır. Yapılan değerlendirmelerde ulaşılan bulgular, eğitim süreçlerindeki hiperparametre optimizasyonu gibi detaylarla birlikte gelecekte çalışmalar için yol gösterici niteliktedir. II Mimari Bir dil modeline görüntüleri anlama ve yorumlama yeteneği kazandırmak amacıyla yapılan başarılı çalışmalarda [ 1 ] aşağıdaki yaklaşımlar izlenmiştir: Modelin yapısında üç temel bileşen bulunmaktadır: • Görüntü Kodlayıcısı • Projeksiyon Matrisi • Büyük Dil Modeli Görüntü kodlayıcısının çıktılarının herhangi bir BDM’ye aktarılabilmesi için belirli bir projeksiyon matrisine ihtiyaç duyulmaktadır. Modellerin ön eğitim süreçlerinde yalnızca bu projeksiyon matrisi eğitilmektedir. Bu işlemde projeksiyon matrisi, kodlayıcının çıktılarının en iyi şekilde yorumlanmak üzere BDM’ye aktarılmasından sorumludur. Fine-tuning (ince ayar) aşamasına geçildiğinde ise hem dil modelinin hem de görüntü kodlayıcısının ağırlıkları eğitilmeye başlanmaktadır. Bu aşamada, modelin sohbet yetenekleri geliştirilmekte ve çeşitli veri kümeleriyle eğitilerek performansı artırılmaktadır. Bu çalışmada Türkçede yüksek performans gösterdiği saptanan, farklı mimarilerden iki dil modeli kullanılmıştır: CosmosLLaMA-Instruct [ 2 ] ve TrendyolMistral [ 3 ] . Her iki deneyde de görüntü kodlayıcısı olarak geçmiş çalışmalarda [ 1 ] başarılı sonuçlar elde edilen openai/clip-vit-large [ 4 ] modeli tercih edilmiştir. III Veri Kümeleri Geçmiş çalışmalarda geliştirilen veri kümeleri, açık kaynak bir model [ 5 ] aracılığıyla İngilizce’den Türkçeye çevrilmiştir. Modele verilen görseldeki metin ile çeviri sonucunda oluşan metnin birebir aynı olmaması sebebiyle bu veri kümesinin geniş ölçekli olarak kabul edilemeyeceği görülmüştür. Dolayısıyla Optik Karakter Tanıma (OCR) verilerinin İngilizce’den Türkçeye çevrilmesinin anlamlı olmayacağı sonucuna varılmıştır. Bu sorunu çözmek için geliştirilen yaklaşımlar, aşağıdaki iki alt başlıkta ayrıntılı olarak incelenmektedir. Çalışmanın kalanında önceden oluşturulmuş veri kümesi 99eren [ 6 ] , bu çalışmada geliştirilen veri kümesi ise CosmosVQA [ 7 , 8 , 9 ] şeklinde ifade edilmiştir. Veri kümelerinin alt indisinin F olması ince-ayar kümesinden, P olması ise ön eğitim kümesinden bahsedildiğini gösterecektir. \text{CosmosVQA}=\text{CosmosVQA}_{P}\cup\text{CosmosVQA}_{F} (1) \text{99eren}=\text{99eren}_{P}\cup\text{99eren}_{F} (2) III-A \text{CosmosVQA}_{P} [ 7 ] 3 Milyon resim ve açıklama içeren açık kaynak CC3M [ 10 ] veri kümesinden alınan 660 bin veri, yapılan değerlendirmelerde en iyi sonucu verdiği görülen çeviri aracı DeepL [ 11 ] kullanılarak Türkçeye çevrilmiştir. Tablo I ’de gösterildiği gibi bu aşamadaki verilerin amacı modele görüntüyü anlamlandırma yeteneğini kazandırmaktır. III-B \text{CosmosVQA}_{F} [ 8 ] Aşağıda listelenen çeşitli kaynaklardan ve geniş bir görev yelpazesine sahip veri kümelerinden oluşmaktadır. Kitaplar kullanılarak oluşturulan veri kümesi dışındaki verilerin kaynakları İngilizcedir. Bu veriler ön eğitim verisi için kullanılan yöntemler ile Türkçeye çevrilmiştir. Türkçe-Kitap [ 9 ] : Tamamen Türkçe kaynaklardan toplanan 100 bin kitabın derlenmesiyle oluşturulmuş bir veri kümesidir. Veri setinin amacı, modelin OCR becerilerini geliştirerek görselde bulunan herhangi bir yazının model tarafından algılanmasını ve yorumlanmasını sağlamaktır. GQA [ 12 ] : Modelin çoklu muhakeme becerileri, mekansal anlayış ve çok adımlı çıkarımlarını geliştirmeyi amaçlayan bu veri kümesinden 72 bin görsel içeren bir veri seti oluşturulmuştur. COCO [ 13 ] : Nesne tespiti ve segmentasyon görevlerini içeren bu veri kümesinden 364 bin görsel içeren bir veri seti oluşturulmuştur. VG [ 14 ] : Nesneler arası ilişkilerin çözümlenmesini ele alan bu veri kümesinden 86 bin görsel içeren bir veri seti oluşturulmuştur. Her veri setine ait örnekler Tablo I ’de gösterilmiştir. Bütün veri kümeleri açık kaynak olarak paylaşılmıştır. [ 7 , 8 , 9 ] TABLO I: İnce ayar veri kümesinden örnekler GQA CosmosVQA VG COCO CC3M Kullanıcı: Gökyüzü karanlık mı? Model: Evet Kullanıcı: Sokakta ne var? Model: Araba Kullanıcı: Caddede otobüs var mı? Model: Hayır Kullanıcı: Trafik sinyali sağda mı yoksa solda mı? Model: Sol Kullanıcı: Kitabın ismini öğrenebilir miyim? Model: Masumiyet Müzesi Kullanıcı: Bu kitap hangi türde bir kitaptır? Model: Aşk romanı Kullanıcı: Bu kitabın yazarı kimdir? Model: Orhan Pamuk Kullanıcı: Lütfen bu bölge için kısa bir açıklama yapınız: [0.69, 0.35, 0.79, 0.69]. Model: Bu bir insan. Kullanıcı: Lütfen bu cümlenin tanımladığı bölgenin sınırlayıcı kutu koordinatını verin: tenis kortundaki beyaz çizgi. Model: [0.0, 0.7, 0.9, 0.82] Kullanıcı: Lütfen bu bölge için kısa bir açıklama yapınız: [0.3, 0.36, 0.62, 0.59]. Model: Fotoğrafçıya bakan bir bilgisayar ekranı. Kullanıcı: Lütfen bu cümlenin tanımladığı bölgenin sınırlayıcı kutu koordinatını verin: en sağdaki ekran. Model: [0.3, 0.36, 0.62, 0.59] Kullanıcı: Sunulan görüntüyü temsil eden kompakt bir anlatı oluşturun. Model: çiftler için toplu nikah töreni düzenlendi. IV Eğitim Çalışmada en iyi modele ulaşabilmek için birçok veri kümesi ve model mimarisi kombinasyonu denenmiştir. Bu bölümde genel olarak CosmosLLaMA-Instruct modellerinin geçirdiği eğitim sürecinden bahsedilecektir. IV-A Ön eğitim Ön eğitim sürecinde yalnızca projeksiyon matrisi eğitilmektedir. Bu matris görüntü kodlayıcısının elde ettiği bilgileri dil modeline aktarmaktan sorumludur ve eğitimi aşağıda belirtilen ayarlarla 7 saat sürmektedir. Eğitim 4 adet NVIDIA A100 GPU kullanılarak gerçekleştirilmiş olup her bir batch büyüklüğü 16 olacak şekilde ayarlanmıştır. Eğitimde learning rate scheduler olarak kosinüs kullanılmış olup learning rate için 1e-3 değeri belirlenmiştir. Gradient accumulation değeri 4 olarak seçilmiş ve eğitim yalnızca 1 epoch üzerinden gerçekleştirilmiştir. Ayrıca warmup oranı %3 olarak ayarlanmıştır. Fig. 1: Eğitimlere Ait Loss Grafikleri IV-B İnce-Ayar İnce-ayar aşamasında projeksiyon matrisi ve dil modeli aynı anda eğitilmektedir. Bu süreçte batch büyüklüğü 4 olarak belirlenmiş ve 4 adet NVIDIA A100 GPU kullanılarak eğitim gerçekleştirilmiştir. Learning rate 2e-5 olarak ayarlanmış ve eğitim 1 epoch boyunca sürdürülmüştür. Eğitim sırasında, gradient accumulation adımları 8 olarak belirlenmiş ve warmup oranı %3 olarak ayarlanmıştır. Eğitim toplam 20 saat sürmüştür. İnce-ayar eğitimi ile modelin ağırlıkları, görüntülere dair talimatların etkin bir şekilde yerine getirilmesi için optimize edilmiştir. Fig. 2: İnce Ayar Eğitimde Learning Rate’in Değişimi V Değerlendirme Metodu Eğitimler sonucu elde edilen modelleri değerlendirmek için seçilen görsellere ait 100 adet soru ve cevaptan oluşan bir test kümesi oluşturulmuştur. Bu test kümesi ile 3 farklı