A sequential decision framework for Bayesian A/B Tests: Reconciling interval precision, practical significance, and resource constraints

Abstract

The study aimed to justify an approach to the planning and completion of Bayesian A/B tests, within which interval certainty criteria are combined with threshold requirements for a practically significant effect and an assessment of the economic feasibility of further data collection. The methodology was based on methods of analytical synthesis, structural-logical classification, logical-algorithmic formalisation, and illustrative case analysis. The study established that in Bayesian A/B tests, “interval precision” has two dimensions: informativeness (the narrowness and stability of the credible interval for supporting an engineering decision) and calibratedness (the proximity of actual coverage to the nominal level, which may deviate for small samples). The study demonstrated that uncertainty decreases with increasing n but with diminishing returns; therefore, further narrowing of intervals requires disproportionately greater expenditure of time and computational or experimental resources and is justified only when such costs are warranted, with the required n depending on the metric and the scale of the effect. The volume of data can be reduced by incorporating prior information into the prior distribution or by defining “sufficiency” based on criteria of evidence or the probability of achieving the objective, as high variability of engineering metrics, rare events, low baseline event rates, strict accuracy requirements, and a small effect increase the required n and the duration of the test. To reduce the required volume of data, a sequential framework for concluding a Bayesian A/B test has been proposed, combining an information component, a target component, and an economic feasibility check: “ estimates → check threshold → check interval → weigh up the benefits and costs of continuing”. The practical applicability of this approach was confirmed by engineering studies, Bayesian methods reduced resource consumption by 66.6%, 36.7%, and 26.9% in stream computing and achieved up to 25% energy savings, 15% greater energy efficiency, and about 10 ms tighter latency guarantees in edge computing. The practical significance of the results lies in their applicability to researchers and analysts involved in engineering experiments when making decisions regarding the termination of the experiment and the implementation of the proposed changes.

Дослідження мало на меті обґрунтувати підхід до планування та проведення баєсівських A/B-тестів, у рамках якого критерії інтервальної достовірності поєднуються з пороговими вимогами для практично значущого ефекту та оцінкою економічної доцільності подальшого збору даних. Методологія базувалася на методах аналітичного синтезу, структурно-логічної класифікації, логіко-алгоритмічної формалізації та ілюстративного аналізу випадків. У дослідженні було встановлено, що в баєсівських A/B-тестах «інтервальна точність» має два виміри: інформативність (вузькість та стабільність достовірного інтервалу для підтримки інженерного рішення) та каліброваність (близькість фактичного покриття до номінального рівня, який може відхилятися для малих вибірок). Дослідження продемонструвало, що невизначеність зменшується зі збільшенням n, але зі зменшенням віддачі; тому подальше звуження інтервалів вимагає непропорційно більших витрат часу та обчислювальних або експериментальних ресурсів і виправдане лише тоді, коли такі витрати є виправданими, причому необхідне n залежить від метрики та масштабу ефекту. Обсяг даних можна зменшити, включивши апріорну інформацію до апріорного розподілу або визначивши «достатність» на основі критеріїв доказів або ймовірності досягнення мети, тоді як висока мінливість інженерних метрик, рідкісні події, низькі базові показники подій, суворі вимоги до точності та невеликий ефект збільшують необхідне n та тривалість тесту. Щоб зменшити необхідний обсяг даних, було запропоновано послідовну структуру для завершення байєсівського A/B-тесту, що поєднує інформаційний компонент, цільовий компонент та перевірку економічної доцільності: «оновлення оцінок → поріг перевірки → інтервал перевірки → зважте переваги та витрати на продовження». Практичну застосовність цього підходу підтвердили інженерні дослідження, де байєсівські методи зменшили споживання ресурсів на 66,6 %, 36,7 % та 26,9 % у потокових обчисленнях та досягли економії енергії до 25 %, більшої енергоефективності на 15 % та приблизно на 10 мс менших гарантій затримки в периферійних обчисленнях. Практичне значення результатів полягає в їх застосовності дослідниками та аналітиками, які беруть участь у інженерних експериментах, під час прийняття рішень щодо завершення експерименту та впровадження запропонованих змін.