Къде е мястото на човешкия преглед, когато AI подготвя документи

„Човек проверява всичко“ е обичайният отговор на въпроса как AI процес за документи остава безопасен. Звучи отговорно. На практика често означава един уморен служител, който в края на деня чете готова чернова, без да може да види откъде идва всяко изречение. Той проверява текста, а не работата.

Прегледът работи по-добре, когато предварително решите къде се случва, какво гледа проверяващият и какво има право да промени. Тази статия е за това къде да поставите тези точки в работа като сравнение на доставчици, обобщение на оферти, доклади и отговори, подготвени от вашите собствени документи.

Какво всъщност може да хване проверяващият

Езиковият модел може да напише гладко изречение, което не се подкрепя от нито един източник. Може да пренесе вярното число в грешния ред, да изпусне единственото условие, което има значение, или да запълни празнина с правдоподобно предположение. Нищо от това не личи в изгладена чернова. Вижда се само когато сравните твърдението с източника му.

Затова първото правило е просто. Проверяващият може да провери само това, което може да проследи. Ако черновата не показва от кой документ идва всяка цифра и всяко твърдение, прегледът може да потвърди тона и правописа, и почти нищо друго.

Второто правило е, че хората, които цял ден одобряват добре изглеждащ резултат, започват да му вярват. Европейският акт за изкуствения интелект го казва директно: за високорисковите AI системи член 14 изисква хората, които ги надзирават, да разбират ограниченията на системата, да имат предвид склонността да се разчита прекомерно на резултатите ѝ (т.нар. automation bias) и да могат да решат да не я използват, да отменят резултата или да я спрат. Повечето процеси с документи в малкия бизнес не са високорискови системи по смисъла на регламента. Но членът добре описва как изглежда истинският надзор, а човешката склонност е същата и при обобщение на оферта.

Четири места за проверка

Не всеки документ има нужда и от четирите. Решете кои важат, преди да се изгради каквото и да е.

1. Преди да се използват източниците. Някой потвърждава от кои документи може да черпи процесът: ценоразписът за това тримесечие, не за миналата година; подписаните условия, не чернова. Грешен източник обезсмисля всяка следваща проверка, защото черновата ще съвпада вярно с грешните данни.
2. Когато системата отбележи нещо. Липсваща информация, твърдение без намерен източник, два документа, които си противоречат. Процесът трябва да спре и да определи отговорник, вместо да гадае. Това е най-евтиният преглед: човек гледа един отбелязан въпрос, а не целия документ.
3. Преди нещо да излезе от фирмата. Отговор до клиент, препоръка до мениджър, обобщение към доставчик. Проверяващият вижда черновата до източниците ѝ и може да я редактира, върне или одобри.
4. Преди решение с последствия. Избор на доставчик, приемане на рекламация, отказ по искане. Тук резултатът от AI е материал за решението на човек, а самото решение и причината за него се записват на негово име.

Втората точка върши най-много практическа работа. Процес, който умее да казва „това не го знам“, прави всеки друг преглед по-кратък.

Съобразете дълбочината на прегледа с риска

Задайте два въпроса за всеки резултат: излиза ли извън фирмата и може ли грешка да струва пари, отношения с клиент или нечии права? Отговорите дават начална дълбочина.

• Вътрешно и лесно за поправяне, например етикетиране на входящи документи или първо вътрешно обобщение. Проверявайте извадка всяка седмица и поправяйте правилата, когато една и съща грешка се повтаря.
• Вътрешно, но използвано за решение, например сравнение на доставчици или обобщение на договорни условия. Проверете всеки отбелязан въпрос и проследете ключовите цифри до източника, преди да се реши.
• Изпраща се извън фирмата, например отговор до клиент, обобщение на оферта или запитване към доставчик. Прочетете цялата чернова спрямо източниците, преди да тръгне.
• Решение за човек, например приемане или отказ на рекламация, заявление или жалба. Решението взема и записва човек; AI само подготвя материала.

Последното ниво има и правна страна. Според член 22 от GDPR хората имат право да не бъдат обект на решение, основано единствено на автоматизирано обработване, което има правни последствия за тях или ги засяга по подобен начин в значителна степен. Изключенията са ограничени, а когато се използват, човекът запазва поне правото на човешка намеса, да изрази гледната си точка и да оспори решението. Ако процесът ви засяга такива решения, вградете човешкото решение от самото начало и се консултирайте с този, който отговаря за защитата на данните във фирмата ви.

Приемете нивата като отправна точка, а не като правило. Дълбочината може да намалее, след като сте измерили колко често проверяващите реално променят нещо. Трябва да се увеличи още първия път, когато грешка мине незабелязано.

Пример (измислен)

Примерът е измислен, за да покаже метода. Не е клиент или проект на VoxTraffic.

Оперативен мениджър трябва да поръча 2000 кутии с печат и има оферти от трима доставчици в три различни формата. AI процес чете офертите и подготвя препоръка. Ето къде са проверките:

• Източници. Мениджърът прикачва трите оферти и вътрешната спецификация. Нищо друго не е в обхвата, затова черновата не може да вземе цена от стар имейл.
• Отбелязани въпроси. Черновата твърди, че доставчик Б „включва доставката“. Процесът не намира това в офертата на Б и отбелязва твърдението като неподкрепено. В офертата на доставчик В липсват цена за транспорт и дата на пристигане. И двете остават видимо открити, а не запълнени с оценки.
• Решаване. Мениджърът пита доставчик В за транспорта и датата. Когато отговорът дойде, той се добавя като нов източник, а препоръката се обновява с видима бележка какво се е променило.
• Решение. Мениджърът чете текущата версия до източниците ѝ, премахва неподкрепеното твърдение за доставката и одобрява избора. В записа остават одобрената версия, кой я е одобрил и кога.

Проверяващият не е трябвало да препрочита трите оферти от нулата. Проверил е едно отбелязано твърдение, една липса и една промяна, а после е взел решението, за което така или иначе отговаря.

Нашият концепт за избор на доставчик е интерактивен пример за такъв процес с измислени оферти и симулиран отговор от доставчик. Създаден е като демонстрация, а не за клиент, и не е свързан с реален доставчик или AI услуга. Самото приложение е на английски.

Признаци, че прегледът се е превърнал в печат

Прегледът се проваля тихо. Внимавайте за следното:

• Одобрение за секунди. Ако дълги чернови се одобряват по-бързо, отколкото някой би прочел източниците им, стъпката е клик, а не проверка.
• Седмици без нито една корекция. Или резултатът вече е много добър, или никой не гледа. От време на време вкарайте нарочно грешка и вижте дали ще бъде хваната.
• Проверяващият не вижда източниците. Тогава може да прецени само дали черновата звучи правилно.
• Никой не може да върне чернова. Ако бутоните са само „одобри“ и „редактирай“, проблемите се кърпят на ръка и процесът така и не разбира защо.
• Прегледът е десетото задължение на някого. Определете проверяващ за всеки резултат и му предвидете време за това.

Какво да записвате при всяка проверка

Малко, но всеки път:

• коя версия на черновата е прегледана и кои източници е използвала;
• какво е отбелязано и как е решен всеки въпрос;
• кой е одобрил, върнал или редактирал и кога;
• при решенията — причината в един ред.

Този запис ви позволява по-късно да намалите прегледа с доказателства, а след шест месеца да отговорите на въпроса „защо изпратихме това?“.

Преди да изградите процеса, решете следното

• От кои документи може да черпи процесът и кой ги поддържа актуални.
• Какво системата трябва да отбележи, вместо да гадае.
• Кои резултати излизат извън фирмата и кой одобрява всеки от тях.
• Кои решения остават при конкретен човек, каквото и да предлага AI.
• Какво вижда проверяващият на екрана: черновата, източниците и отбелязаните въпроси заедно.
• Как ще разберете, че прегледът все още хваща грешки.

Ако още избирате коя задача да автоматизирате първа, в какво може AI автоматизацията за малкия бизнес има начин да оцените кандидатите, а AI агенти срещу чатботове обяснява какво бива да прави една система сама. За самия процес добро първо упражнение е да го начертаете стъпка по стъпка.

Нашите AI процеси са изградени около тези проверки: системата подготвя работата от одобрена информация, спира при липсващи данни, а конкретен човек одобрява всичко, което има значение. Ако имате предвид задача с много документи, опишете ни я и ще ви кажем къде трябва да са проверките и дали AI изобщо има място в нея.