Federated LEARNING AND ON-DEVICE PROMPT engineering: personalizing LOCAL intelligence

Abstract

У публікації досліджується інтеграція федеративного навчання (ФН) з інженерією підказок на пристрої для підвищення продуктивності децентралізованих мовних моделей. У ній розглядаються стратегії для локального налаштування моделей, де персональні дані залишаються на периферійному пристрої, забезпечуючи високий рівень конфіденційності та безпеки даних. Порівнюється ефективність різних методів «контекстно-залежних» підказок, щоб визначити, як спеціалізовані інструкції можуть компенсувати зменшену кількість параметрів квантованих моделей мобільного рівня. Крім того, у дослідженні підкреслюється вплив локальної поведінки користувачів та даних про навколишнє середовище на персоналізацію відповідей ШІ без необхідності централізованого збору даних.

The publication investigates the integration of Federated Learning (FL) with on-device prompt engineering to enhance the performance of decentralized language models. It explores strategies for local model fine-tuning where personal data remains on the edge device, ensuring high levels of privacy and data security. The effectiveness of various "context-aware" prompting techniques is compared to determine how specialized instructions can compensate for the reduced parameter count of quantized, mobile-tier models. Furthermore, the study highlights the influence of local user behaviour and environmental data on the personalization of AI responses without the need for centralized data collection.