AUT-0696· Знання та ШІ
Розгляд зміни вхідних даних робочої моделі машинного навчання
Власник моделі перевіряє зміну робочих даних відносно погодженої бази й обирає обґрунтовану дію.
Чернетка · Оцінка потребує перевірки
01 / Проблема
Модель продовжує видавати прогнози після зміни поведінки покупців або складу даних. Технічна доступність приховує непридатність старих умов, а сигнал зміни помилково вважають доказом поганої точності.
02 / Результат
Для підтвердженої зміни є пояснений вплив, відповідальний і рішення: продовжити спостереження, виправити джерело або окремо перевірити модель.
03 / Процес
ТригерРегулярний моніторинг виявив перевищення погодженого порогу зміни вхідних даних робочої моделі.
Зберегти версію моделі, дозволені ознаки, редакцію порівняльної бази, часові вікна й погоджені пороги.
Перевірити повноту збору, схему й достатність робочих даних; збій надходження відокремити від зміни розподілу.
Отримати показники зміни для зіставних вікон; повторний сигнал одного спостереження прив’язати до чинної справи.
Фахівець перевіряє внесок ознак і бізнес-контекст; статистична зміна сама по собі не доводить погіршення точності.
Погодити власника та конкретну дію; нову базу, перенавчання або зупинку моделі не застосовувати автоматично лише за сигналом.
На наступному вікні звірити виконання дії та факти; зміну бази зберегти окремою редакцією без стирання попередніх сигналів.
04 / Реалізація1 варіант
Приклад · Контроль із підтвердженням результату
У робочих заявках змінився склад категорій покупців. Фахівець підтвердив сезонний контекст і погодив спостереження, не запускаючи навчання за одним сигналом.
Спосіб реалізації
- Вести сигнали моніторингу з редакціями бази й рішеннями фахівців.
- Зіставляти результати системи статистичного моніторингу з модельними версіями та бізнес-періодами.
Що потрібно для реалізації
- Є табличні входи робочої моделі та погоджений знімок бази порівняння.
- Є предметний фахівець і дозволений збір даних для статистичного моніторингу.
Обмеження
- Azure Machine Learning описує порівняння розподілів, метрики, пороги та вибір часових вікон для табличних моделей.
- Автоматизація веде рішення за сигналами, а не розробляє модель. Точність потребує фактичних результатів; перенавчання, сховище й перенос можливостей на генеративний ШІ оцінюються окремо.
- Права й можливості цільового середовища перевіряють на аудиті; години попередні.
Що потрібно уточнити (2)
- Чи треба налагодити збір входів із зовнішнього середовища моделі?
Визначте доступні ознаки, затримку та дозволений обсяг збору.
- Чи потрібні окремі бази або вікна для груп даних?
Погодьте зіставність, достатність і власників перегляду.