Локальная нейросеть для компании

Нейросеть не обязательно брать в аренду у облака: её можно поставить на серверы компании, и тогда договоры, данные клиентов и учёт не покидают вашу сеть. Rule 90 разворачивает локальную нейросеть внутри вашего контура, на серверах под управлением компании. Данные его не покидают, каждое обращение записывается в журнал, суммы и остатки считает учётная система, а точность модели проверяется приёмочными тестами ещё до запуска. Первый этап — обследование примерно на две недели.

Когда компании нужна локальная нейросеть

Локальная модель нужна, когда в запросы попадает то, что нельзя выносить за пределы компании: персональные данные клиентов, коммерческая тайна, финансы и учёт. Второй повод — требования собственной службы безопасности, которая не согласует отправку документов в облачный сервис.

Если же в модель пойдут только общие тексты или данные, из которых заранее убрали имена и реквизиты, облачная модель обойдётся проще. Как очищают текст перед отправкой наружу, разобрано в статье об обезличивании данных, а зарубежную подписку, российское облако и свою модель мы сравнили в статье о корпоративном ChatGPT.

Что входит в закрытый контур

Поставить модель на сервер — меньшая часть работы. Контур вокруг неё собирается из шести частей:

• модель и поиск по документам работают на ваших серверах, и запросы наружу не уходят;
• журнал хранит каждое обращение: автора, время, ответ и источники, по которым он собран;
• числа модель не считает, она разбирает вопрос и подбирает запрос к учётной системе, а та возвращает сумму, остаток или дату;
• сотрудник получает ответ только по тем документам и данным, к которым у него уже есть доступ;
• регламент объясняет сотрудникам, что можно отправлять в ИИ и что не покидает контур;
• приёмочные тесты с метрикой точности, о которой договорились до разработки.

Куда уходит вопрос сотрудника

Юрист страховой компании спрашивает, в каких договорах с агентами срок уведомления о расторжении меньше 30 дней. Поиск проходит по договорам на сервере компании, и юрист получает список с номерами пунктов и ссылками на файлы. Вопрос, ответ и имя юриста попадают в журнал.

В тот же день руководитель продаж спрашивает, сколько премий собрал агент за квартал. Модель число не придумывает и не складывает: она выбирает запрос к учётной системе, получает сумму и пересказывает её вместе со ссылкой на отчёт. Если через месяц служба безопасности захочет проверить, кто и что спрашивал про этого агента, ответ будет в журнале.

«Наша служба безопасности всё равно будет против»

Безопасность проще убедить, когда она участвует с самого начала, поэтому мы зовём её на обследование. Там мы разбираем категории данных, место обработки, хранение запросов и права доступа и отдаём документ, по которому видно, что куда идёт и где хранится. Он же становится исходными данными для оценки рисков.

Формулировка у нас инженерная: данные не покидают ваш контур, и это видно по журналу. Аттестацию информационной системы и другие лицензируемые работы по защите информации выполняет лицензиат, ваш или партнёр, а мы строим контур так, чтобы ему было что проверять.

От чего зависит выбор модели и сервера

Это зависит от задачи. Помощнику по регламентам для одного отдела хватает компактной модели на одной видеокарте. Разбор длинных договоров, когда одновременно работают десятки сотрудников, требует модели крупнее и сервера мощнее. Сколько памяти нужно под разные модели и во что обходится железо, мы посчитали в статье о стоимости локальной нейросети.

Модель выбираем по вашим вопросам, а не по рейтингам. На обследовании прогоняем набор реальных задач через несколько открытых моделей и берём самую компактную, которая держит нужную точность, потому что от её размера зависит цена сервера.

От обследования до приёмочных тестов

Обследование длится около двух недель. По его итогам в договоре закрепляются цена и сроки следующих этапов, а новые функции мы обсуждаем отдельно. Дальше каждую неделю мы показываем, что готово. Перед запуском контур проходит приёмочные тесты. Три месяца гарантии включены в стоимость, а код, документация и доступы к серверу остаются за компанией.

Вопросы о развёртывании нейросети в компании