Federated LEARNING AND ON-DEVICE PROMPT engineering: personalizing LOCAL intelligence

Abstract

У публікації досліджується інтеграція федеративного навчання (ФН) з інженерією підказок на пристрої для підвищення продуктивності децентралізованих мовних моделей. У ній розглядаються стратегії для локального налаштування моделей, де персональні дані залишаються на периферійному пристрої, забезпечуючи високий рівень конфіденційності та безпеки даних. Порівнюється ефективність різних методів «контекстно-залежних» підказок, щоб визначити, як спеціалізовані інструкції можуть компенсувати зменшену кількість параметрів квантованих моделей мобільного рівня. Крім того, у дослідженні підкреслюється вплив локальної поведінки користувачів та даних про навколишнє середовище на персоналізацію відповідей ШІ без необхідності централізованого збору даних.The publication investigates the integration of Federated Learning (FL) with on-device prompt engineering to enhance the performance of decentralized language models. It explores strategies for local model fine-tuning where personal data remains on the edge device, ensuring high levels of privacy and data security. The effectiveness of various "context-aware" prompting techniques is compared to determine how specialized instructions can compensate for the reduced parameter count of quantized, mobile-tier models. Furthermore, the study highlights the influence of local user behaviour and environmental data on the personalization of AI responses without the need for centralized data collection.