Изследвания · Модел Jev

ИИ да взема бизнес решения и те да могат да бъдат проверени

В основата на PROSuite сървърът VAILS и неговият език VVL обединяват две семейства изкуствен интелект: езиковите модели, които разбират текста, и символното разсъждение, което прилага правила точно и проверимо. Тази страница представя нашите избори при моделирането и първите ни измервания.

  • 60 % верни отговори за езиков модел сам по себе си, когато трябва да се свържат шест правила
  • 100 % за символния двигател на VAILS върху същите факти
  • ≈ 0,4 s за решение, взето от модела за решения Jev
  • 2 800 въпроса в нашия тестов набор

Защо езиков модел сам по себе си не е достатъчен за управление на бизнес

Да поверите на ИИ част от управлението означава да му поверите хиляди малки решения всеки ден: насочване на запитване, квалифициране на клиент, проверка на документ, прилагане на цена. Голям езиков модел, използван самостоятелно, не е създаден за това.

Правдоподобно не означава вярно

Езиковият модел предвижда най-вероятния текст. Той не проверява нищо. Щом трябва да се свържат няколко правила, процентът на грешките му рязко нараства.

Никаква степен на сигурност

Той дава отговор, но никога използваема вероятност. А точно от нея процесът има нужда, за да реши сам, да поиска проверка или да предаде на човек.

Цена за всяко решение

Всяко насочване или проверка се превръща в бавно и платено извикване. В мащаба на една компания закъснението и цената стават първата пречка.

Невидими правила

Когато бизнес правилото е скрито в инструкция, написана на естествен език, никой не може да го одитира, да го версионира или да докаже, че е било приложено.

Нашият принцип: моделът предлага, символният слой решава

Невро-символният ИИ съчетава невронна мрежа, която носи разбирането на езика, със символен слой, който носи логиката, структурата и доказателството. Във VAILS това съчетание следва четири слоя.

  • Разбиране

    Езиковият модел чете конкретния случай

    Запитване, оферта, CV или фактура се пренасят в схемата на компанията: типизирани полета, задължителни стойности, затворени списъци. Моделът пренася, той не разсъждава.

  • Моделиране

    Онтологията съдържа общото знание

    Категориите, правилата, изключенията и типовите профили на компанията се записват веднъж, изрично, в онтология, компилирана в логически правила.

  • Решение

    Правило, после Jev, после езиков модел, после човек

    Всяко решение отива към най-простия двигател, способен да го вземе с достатъчна увереност. Несигурността се ескалира, вместо да се скрива.

  • Проверка и проследяване

    Договори, доказателства и дневник на решенията

    Резултат се приема само ако спазва изрични договори. Всяко решение оставя следа: кой двигател е решил, с каква увереност и въз основа на кое правило.

Смисълът като стойност на езика VVL

В повечето инструменти извикванията към ИИ се добавят върху класически език за програмиране. Във VAILS самият език, VVL, умее да работи със смисъла.

По подразбиране стойност във VVL се държи като обикновена стойност: текст, число, списък. Програмата остава детерминирана и бърза. Когато стойност е отбелязана като семантична, обичайните оператори започват да преценяват по смисъл: равенството става еквивалентност по смисъл, принадлежността става включване между понятия, редът става сравнение по ранг.

[semanticMode "jev"]
[print ([§ "a baby penguin"] == [§ "a young penguin"])]           # 1
[print ([§ "a salmon"] in [§ "freshwater and saltwater fish"])]   # 1
[print ([§ "a colonel"] < [§ "a captain"])]                       # 0

Това разделение е ключов избор при проектирането: непредсказуемата част от системата остава малка, видима и локализирана. VVL има 21 такива оператора, инструкция, която избира разклонение по смисъл, таблици за решения, проекции върху подредена скала и степени на размита логика, измерени върху текст.

Jev: бърз модел за решения с измерена увереност

Jev е модел за решения, който не пише текст: той решава. Подават му се текст и типизирани въпроси от три вида: да или не, избор между варианти, позиция върху скала. Той отговаря с едно преминаване, с калибрирана вероятност за всеки отговор.

Използваме го като това, което когнитивната психология нарича Система 1: бърз и икономичен начин на вземане на решения. Големият езиков модел играе ролята на Система 2, по-бавна и по-скъпа, която се извиква само когато Jev се колебае.

Нека p е вероятността, дадена от Jev, а τ е прагът, избран от бизнеса, по подразбиране 0,8.

Ако p ≥ τ, отговорът е да. Ако p ≤ 1 − τ, отговорът е не. Между двете въпросът отива към езиковия модел, а след това към човек, ако съмнението остава.

  1. Бизнес правило
  2. Jev
  3. Езиков модел
  4. Човек

Така прагът става управленска настройка: колкото е по-висок, толкова повече деликатни случаи се ескалират към езиковия модел или към човек. Няколко въпроса за един и същ текст се изпращат с едно извикване. Всяко решение се записва в дневник с двигателя, който го е взел, вероятността му и времето за отговор.

Измерено решениеРезултат
Време за едно решение на Jevот 0,35 до 0,45 s, от които 2 ms обработка във VAILS
Класифициране на въпросите, изпратени до маршрутизатора16 от 16 верни, увереност 0,99 или повече
Референтни сценарии за маршрутизиране11 от 13 решени от Jev, всички верни; 2-та умишлено двусмислени случая са оставени на езиковия модел
Съдия за край на задача на агент10 от 10, около 0,4 s
Три решения за един и същ тикет, предварително заредени1 извикване вместо 3, 0,5 s вместо 1,1 s

Измервания при разработката върху малки извадки. Те ще бъдат разширени до няколкостотин случая за всеки вид решение.

Моделиране вместо гадаене

Основното правило на нашия подход се побира в едно изречение: всяко знание има своето място. Общото знание на компанията се записва в онтология; езиковият модел само пренася конкретния случай в тази онтология; разсъждението се поверява на символния двигател.

Онтологии, компилирани в логика

Онтология във VAILS описва класове, типизирани атрибути и връзки. Тя автоматично се превежда в логически клаузи, изпълнявани от вграден в сървъра двигател от типа на Prolog. Наследяването става правило: всичко, което е оферта за строителен обект, е и оферта. Връзка, обявена за транзитивна, като „се намира в“, се изчислява чрез затваряне, което помни вече посетените елементи, и така гарантира, че приключва дори когато данните съдържат цикли.

rel(X, r, Z)    :- tc(X, r, Z, [X]).
tc(X, r, Z, _)  :- dedge(X, r, Z).
tc(X, r, Z, V)  :- dedge(X, r, Y), not(member(Y, V)), tc(Y, r, Z, [Y|V]).

Правилата с изключения се записват при предположението за затворен свят: това, което нито е заявено, нито може да се изведе, се смята за невярно. Правило като „допустим клиент, който не е блокиран, получава офертата“ тогава се прилага еднозначно чрез отрицание като неуспех.

Типови профили: абстрактните обекти

За да представи профил, архетип или норма, VAILS се опира на теорията за абстрактните обекти на логика Едуард Залта. Конкретният обект притежава свойства; абстрактният обект кодира свойствата, които го определят. Профил „опитна разработчичка“ кодира умение, начин на работа и ниво. Два профила, които кодират точно едни и същи свойства, са един и същ профил.

Сравняването на кандидат, клиент или досие с профил дава степен на съответствие между 0 и 1: делът на кодираните свойства, които екземплярът притежава. Еднаквите стойности и числовите прагове се сравняват символно; останалите двойки стойности се сравняват по смисъл, първо от Jev, а от езиковия модел само за двойките, при които Jev се колебае.

[semanticMode "jev"]
$rh = [ontology:define rh
    [ontology:class Candidat [attributes
        [nom String] [competence String] [remote String] [niveau String]]]
    [ontology:abstract ProfilDevConfirme : Candidat
        [encode competence "ingenieure logicielle"]
        [encode remote "teletravail complet"]
        [encode niveau "confirmee"]]]
$bob = [new Candidat [nom "Bob"] [competence "boulanger"]
                     [remote "sur site uniquement"] [niveau "apprenti"]]
[print ($bob ~~ "ProfilDevConfirme")]      # ~0.04

Договори и доказателства

Взет от софтуерното инженерство на критичните системи, договорът определя какво трябва да е вярно преди и след дадена операция. VVL позволява да се пишат предусловия и следусловия, проверявани символно. Онтологичният договор приема извличане от езиковия модел само ако то съответства на онтологията над определен праг; в противен случай извличането се повтаря с установената грешка и след това се отхвърля коректно. При съждителната логика езиковият модел може да предложи доказателство, но малко проверяващо ядро го приема или отхвърля.

Прецизни сме относно това, което дава: договорът не прави модела непогрешим. Той гарантира, че това, което преминава, е проверено спрямо изрични правила.

Измерване: нашият тестов набор

За да сравним стриктно езиков модел сам по себе си с невро-символното моделиране, създадохме генератор на малки светове: факти, правила, отвличащи елементи и въпрос с отговор да или не. Имената са измислени, за да не може никакво предварително знание на модела да му помогне.

  • Три семейства разсъждения: транзитивни връзки със или без цикли, принадлежност към вложени категории, вериги от правила със или без изключения.
  • Дълбочина k от 1 до 6: броят изречения, които трябва да се свържат, за да се отговори.
  • Референтни отговори, изчислени от независим от VAILS разсъждаващ механизъм и проверени с второ изчисление.
  • Един и същ езиков модел, gpt-4.1, с нулева температура, при всички условия.
Дълбочина kСамо модел, пряк отговорСамо модел, разсъждение стъпка по стъпкаДвигател VAILS, точни факти
197 %99 %100 %
287 %95 %100 %
375 %88 %100 %
469 %86 %100 %
564 %84 %100 %
660 %82 %100 %
Общо74 %88 %100 %

2 800 въпроса за модела сам по себе си. Двигател VAILS: 332 свята, от които 280 повторени в две едновременни сесии на работещ сървър VAILS.

Правилата с изключения са най-слабото място на модела сам по себе си: дори при разсъждение стъпка по стъпка той отговаря вярно само на 72 % от тези въпроси. Цитира правилните изречения, а след това заключава, че не може да се знае, вместо да приложи предположението за затворен свят, посочено в текста.

При пълната верига, в която езиковият модел извлича фактите, а VAILS разсъждава, първи пилотен тест с 52 въпроса дава 98 % верни отговора срещу 65 % и 87 % за модела сам по себе си при същите въпроси. Всички останали грешки идват от извличането и се измерват отделно. Пълната кампания е в ход.

Какво научихме

Когато общото знание остане в текста, изпратен до модела за извличане, моделът започва да разсъждава вместо двигателя. Информиран, че дадена връзка е транзитивна, нашият извличащ модел направи 369 непоискани извода в 52 случая, въпреки изричната инструкция да не извежда нищо. Премахването на това знание от текста и поставянето му в онтологията премахна проблема. Това е основният аргумент в полза на моделирането: всяко знание има своето място и на езиковия модел не му остава нищо за измисляне.

Същият тестов набор, повторен в едновременни сесии, ни помогна също да открием и отстраним дефект в изолацията между сесиите в сървъра. Измерването не е само доказване: то е и най-добрият начин системата да стане надеждна.

Какво променя това за управлението на бизнеса

Бизнес правило, написано на VVL, остава четимо за бизнеса. Ето маршрутизатор на клиентски запитвания: три типизирани решения, поверени на Jev с едно извикване, и разклонение за ескалация към човек, когато нищо не съвпада.

[semanticMode "jev"]
$route = [match [§ $ticket]
    `[[§ "urgent, time-critical"]  [§ "Payments, invoicing, refunds"]]  "on-call billing"
    `[[§ "urgent, time-critical"]  [§ "Bugs, outages, integrations"]]   "on-call technical"
    `[_                            ?team]                               ("queue " + $__team)
    "human escalation"]

Отношения с клиенти

Маршрутизиране на запитвания, спешност, настроение на клиента, откриване на спам и измами, ескалация.

Документи

Извличане, водено от схема, класифициране, проверка за съгласуваност преди всякаква обработка.

Оферти и цени

Точно прилагане на ценовите правила, моделирани в онтология, върху стотици оферти.

Квалифициране

Сравняване на кандидати, клиенти или досиета с типови профили, със степен на съответствие.

Ограничения и текуща работа

Предпочитаме да кажем точно докъде сме стигнали.

  • Суверенитет: езиковият модел днес се извиква при външен доставчик, а Jev се обслужва от Cloudflare. Работим по това двата слоя да могат да се изпълняват в периметъра на клиента.
  • Проследимост от край до край: всяко решение се записва в дневник, но пълният път от източника до заключението и до правилото, което го обосновава, тепърва трябва да бъде сглобен.
  • По-широки измервания: пълната кампания на невро-символната верига и по-големи извадки за Jev са в ход.
  • Явни откази: когато външен двигател не отговаря, решението трябва да се провали видимо, вместо да връща подвеждаща оценка.

Литература

  • Kahneman, D. Thinking, Fast and Slow, 2011.
  • Zalta, E. N. Abstract Objects: An Introduction to Axiomatic Metaphysics, 1983.
  • Meyer, B. Applying Design by Contract, IEEE Computer, 1992.
  • Garcez, A. d'A. и Lamb, L. C. Neurosymbolic AI: the 3rd wave, Artificial Intelligence Review, 2023.
  • Dinu, M.-C. et al. SymbolicAI: a framework for logic-based approaches combining generative models and solvers, CoLLAs 2024.
  • Регламент (ЕС) 2024/1689 относно изкуствения интелект, членове 12 до 14.

Да приложим тази работа към вашите процеси?

Диагностиката тръгва от реалния начин, по който работите, и определя решенията, които могат да бъдат поверени на ИИ.

Свържете се с нас в WhatsApp