Talkie: a 13B vintage language model from 1930
Talkie, 1930 öncesi metinlerle eğitilmiş 13 milyar parametreli bir dil modelidir ve geçmiş dönemler hakkında konuşmak için tasarlanmıştır. Araştırmacılar, tarihi metin üzerinde eğitilen bu 'vintage' modelleri kullanarak dil modellerinin genelleme yeteneklerini, gelecek tahmin etme kapasitesini ve veri çeşitliliğinin yapay zeka üzerindeki etkisini incelemektedir. Model, modern modellere kıyasla daha düşük performans gösterse de, kontaminasyondan muaf olduğu için araştırma için benzersiz bir araç sağlamaktadır.
Talkie is a 13-billion parameter language model trained exclusively on pre-1930 English texts, created to simulate conversations with historical knowledge. Researchers use these 'vintage' models to study language model generalization, forecasting abilities, and the impact of data diversity on AI capabilities. While Talkie underperforms modern models on standard benchmarks, its contamination-free nature makes it a unique research tool for understanding how language models learn beyond their training data.