As artificial intelligence (AI) plays an increasingly critical role across all sectors, scaling AI models i.e., boosting their capacity to process vast amounts of data without compromising performance, remains a major challenge. Advanced model merging techniques now allow AI developers to combine the strengths of multiple models, enhancing accuracy without the need for retraining.

CAMEx, short for Context-Aware Model Merging, is an AI model merging method co-developed by Viettel’s Data Services and AI Center (Viettel AI) and the National University of Singapore (NUS). This solution will be officially presented at ICLR 2025 (International Conference on Learning Representations) one of the world’s most prestigious academic conferences in AI. Amid the rising scale and training costs of large language models (LLMs), CAMEx addresses a critical problem: how to build models five times larger without consuming excessive resources or reducing processing speed. Thanks to this innovation, models can now process data as quickly as smaller versions while significantly improving accuracy, expressiveness, and task performance for complex scenarios.

CAMEx represents a new model merging approach that enables AI models to scale up to five times their original size.

While traditional model merging techniques often result in the loss of key information and decreased accuracy, CAMEx preserves essential data, optimizes resource usage, lowers computational costs, and expands the practical applicability of AI models across diverse domains.

According to representatives from the Viettel AI research team, experimental results show that CAMEx holds great promise in improving performance across a range of natural language processing tasks, such as language modeling, text classification, and inference as well as in other domains like image classification, object detection, and content moderation.

ICLR 2025, to be held in Singapore from April 24-28, is one of the world’s most prestigious events in AI and deep learning. The conference is organized by top scientists and industry experts and is sponsored by major global tech companies including Google Research, Meta, and Microsoft. It serves as a platform for showcasing cutting-edge innovations and pioneering research that brings AI into real-world applications across fields such as data science, speech recognition, and computer vision.

Viettel AI, a member of Viettel Group, is a pioneer in mastering and developing AI, Big Data, Robotics, and Digital Twin technologies. Its ecosystem comprises multiple product lines that lead in quality within Vietnam and are trusted by many major domestic and international organizations and enterprises.