AUT-0341· Знання та ШІ
Погодження розмітки даних між виконавцями
Розбіжні мітки одного прикладу проходять перегляд за чинною інструкцією перед включенням до навчального набору.
Чернетка · Оцінка потребує перевірки
01 / Проблема
Двоє виконавців присвоюють різні мітки одному прикладу, але команда включає обидва результати до навчання без рішення.
02 / Результат
Приклад має погоджену розмітку, автора рішення й редакцію інструкції; невирішені розбіжності залишаються поза погодженим експортом.
03 / Процес
ТригерОтримано різні завершені розмітки одного прикладу або приклад відібрано для перевірки якості.
Зафіксувати приклад, його редакцію, окремі ID розміток, авторів і чинну інструкцію; перевірити дозволений доступ до даних.
Зіставити завершені результати; відокремити чернетки й різні редакції прикладу від справжньої розбіжності.
Передати рецензенту первинний приклад та всі відповідні мітки; зафіксувати причину вибору.
Прийняти, виправити або відхилити конкретну розмітку; за погодженими правилами повернути виконавцю чи призначити іншого.
Повторно перевірити доопрацьований результат і зберегти попередні рішення; нова інструкція потребує оцінки застосовності старої розмітки.
Передати до погодженого набору лише прийняті результати потрібної редакції; невирішені випадки залишити в черзі.
04 / Реалізація1 варіант
Приклад · Перегляд розбіжностей із рішенням рецензента
Один виконавець позначив лист як затримку оплати, інший — як повернення коштів. Рецензент прочитав оригінал, погодив повернення та пояснив рішення. Неприйнята мітка не потрапила в погоджений експорт.
Спосіб реалізації
- Гіпотеза для аудиту PlanFix: приклад, окремі результати, черга перегляду та рішення. Розмітку виконують у погодженому інструменті; його права й контракт перевіряють перед інтеграцією.
Що потрібно для реалізації
- Є інструкція розмітки з прикладами, правила розбіжностей і відповідальний рецензент.
- Приклади та результати мають окремі ідентифікатори, редакції й дозволи на використання.
- Інструкція та рецензент погоджені.
Обмеження
- Згода більшості не гарантує правильності мітки; неоднозначність може потребувати перегляду інструкції.
- Описаний вбудований маршрут перегляду Label Studio доступний в Enterprise; можливості іншої редакції перевіряють окремо.
- Система контролює рішення, але не виконує фахову розмітку замість працівників.
- Години попередні; розмітка масиву, ліцензії й навчання моделі оцінюються окремо.
- Не вважає більшість голосів доказом правильності.
Що потрібно уточнити (2)
- Чи потрібно отримувати розмітки та рішення із зовнішнього інструмента?
Перевірте ID прикладу й анотації, доступи, редакцію сервісу та формат результату; стан подання не дорівнює прийняттю.
- Чи потрібне повернення на доопрацювання з повторним переглядом?
Збережіть первинний результат, нового виконавця та рішення кожного проходу; повторне подання не закриває перевірку.