Я немного подсел на идею разработки корпоративных Retrieval-Augmented Generation (RAG) приложений и решил до конца года провести несколько виртуальных встреч книжного клуба по книжке Тайлера Суарда Enterprise RAG. Scaling Retrieval Augmented Generation (книжка неоднозначная, может придется её дополнить и другими текстами, к тому же она пока не дописана и распространяется по программе Manning Early Access Program, но должна появиться уже в декабре 2025-го; на текущий момент завершены 6 из 10 глав; в общем, все как мы любим).
В двух словах, о чем речь:
Уверен, что многие уже сталкивались с классификацией вариантов адаптации больших языковых моделей к потребностям конкретных пользователей из статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey, опубликованной в декабре 2023, и точно видели соответствующую картинку:
Перевод статьи в четырех частях можно посмотреть здесь Обзор подходов RAG (ссылки на другие части внизу первой части).
Судя по всему, на текущий момент обоснованным использованием больших языковых моделей в корпоративной среде является левый верхний квадрант этой картинки. Картинка не только визуализирует преимущества RAG перед Prompt Engineering и Fine-tuning, но поясняет нам что подход этот хоть и выгодный, но не простой. Так что развиваться RAG будет еще лет этак несколько прежде, чем выйдет на плато. В общем корпоративным айтишникам будет чем заняться. Как бы развивая предложенную классификацию авторы книжки (а на самом деле там их двое) выдумали термин Enterprise RAG, который мне нравится и который я использовал в заголовке этого поста (Впрочем, этот термин мог быть придуман кем-то другим. Может быть Ринатом Абдулиным, запустившим Enterprise RAG Challenge или кем-то еще). Они даже персонажа изобрели AI-agent-а Реджинальда (правда пишется его имя не через ‘e’, а через ‘a’, но ведь от слова RAG). Но сначала несколько слов о том зачем нам вообще нужны какие-то RAG-и
Корпоративные ИТ за долгие годы своего существования не раз повторяли один и тот же паттерн. При появлении новой технологии они сначала немного терялись. Если что-то не надо делать прямо сейчас, если что-то нельзя разработать в ближайшем спринте, то значит и погружение в эту тему можно отложить на потом. Да и ИБ всегда и на все скажет, что этого они точно не разрешат. Так было с мобильными приложениями, вебом (внешним и внутренним), нереляционными базами данных, реляционными базами данных, CMS-ами, социальными сетями, поисковыми движками, объектными хранилищами aka S3, да чем угодно.
Затем, по мере продвижения технологии по кривой диффузии инновации Эверетта Роджерса (или Джеффри Мура, как вам больше нравится) к ранним последователям, кто-то в ИТ начинает с ней разбираться. А как это делают настоящие айтишники? Правильно, они на пару недель или больший срок уходят в себя и закрывают дверь, чтоб никто не мешал. Тем временем намного менее защищенные от агрессивной технологической рекламы слои населения, а именно простые сотрудники, т.е. пользователи так же начинают интересовать технологией. А как тут устоишь, ведь их каждого утюга пугают скорым увольнением. Единственный способ сохранить работу в том, чтоб овладеть компьютерной грамотностью освоить AI. Того и гляди вызовут в отдел кадров и с пристрастием поинтересуются – а есть ли у тебя подписка на Chat GPT? В общем, по аналогии с терминами прошлых волн сегодня принято говорить о Shadow AI или Bring Your Own AI (посмотрите ссылки и видео у меня в телеграм). Пока это безобразие развивается и особо тревожные пользователи купили уже по три подписки, айтишники продолжают изучать технологию (кому-то даже нравится, но большинство настроены скептически, не в первый раз, так сказать… ) ИТ-руководители уже нервничают и на всякий случай бюджетируют приобретение и развертывание какой-нибудь «маленькой LLM-ки» (многие это сделали как раз в планах на 2025 год). Зачем она – потом разберемся, в случае чего отдадим в контакт-центр, люди там подолгу не задерживаются, а ИИ, может быть и приживется)
В некоторый момент времени дверь в ИТ-мастерскую приоткрывается. Из неё выходят первые просветленные и начинают, сначала очень дозировано, рассказывать, что следует делать. Сейчас наступил этот самый момент для систем построенных на искусственном интеллекте. Вообще говоря, подобные откровения не сильно зависят от технологии. Ну, или по крайней мере в них можно выделить много общего, обычно говорят так:
- Пользователи сами не справятся с
SQL запросами,рисованием в BPMN нотации, построением правильных запросов к системам искусственного интеллекта - Да и небезопасно это могут
базу положитьконфиденциальные данные слить или попросить ИИ вирус написать для атаки на нашу бухгалтерию - К тому же пользователей много, а денег мало; надо как-то reuse-ать подписки, ресурсы и пр.
Могу от себя добавить более редкие варианты откровений, например о том, что секрет productivity не в квалификации отдельного сотрудника, а в организации скоординированной совместной работы, специализации и разделении труда, общих контекстах и пр.
В общем, после всех этих слов стратегия исправления ситуации требует разработки нового приложения. Приложения между пользователем и технологией, которое будет писать за него SQL-запросы предоставлять эффективный контролируемый доступ к внешним или внутренним LLM-кам, обогащать промты нашими корпоративными данными, контролировать результаты, кэшировать, протоколировать, визуализировать, анализировать… В общем, что делают приложения вы знаете не хуже меня. Разработка приложений – универсальная стратегия корпоративного айтишника. Не знаешь что делать – разрабатывай систему. Если можешь, то дорабатывай старую. Если не можешь или не хочешь – пиши новую. И айтишника никто пока не уволит. Потому как программировать за людей LLM-ки научились, а вот в RAG они пока не очень. Здесь и с текущими системами надо проинтегрироваться и понять приоритеты и чаяния нашего конкретного пользователя и LLM-ки своевременно обновлять, внешние или внутренние – не важно и руководству свою незаменимость демонстрировать и в корпоративную политику чуть-чуть и … В общем, массовые сокращения в корпоративных ИТ откладываются лет на 5-7. Даже Enterprise Architect найдет себе место в этой новой реальности. Будет потребности бизнес-подразделений в части ИИ-фикации приоритизировать. Кто больше value пообещает тому и разрабатываем приложения в первую очередь
Я не буду рассказывать про то, как сейчас (осенью 2025-го) устроены RAG. Собственно в обсуждаемой книжке про это и написано. Вторая ей глава про evals, третья про векторные базы, чанки и эмбеддинги (на самом деле — нет), четвертая про гибридные стратегии поиска, пятая про агентов
Что мы будем делать в книжном клубе:
- Разбирать по главам ключевые концепции, которые автор[ы] раскрывают в своей книге.
- Сравнивать теорию из книги с реальными кейсами и практиками внедрения. Вот в 3-ей главе непременно про эмбеддинги поговорим, да и вообще, про «традиционный» RAG
- Делиться опытом и отвечать на вопросы друг друга.
- Сформируем сообщество единомышленников, заинтересованных в развитии корпоративного AI.
Содержание книжки (выбирайте главы, которые вы готовы пересказать):
1. Intro to enterprise RAG
1.1 A brief intro to RAG
1.2 The difference between naive RAG and
1.3 Why businesses need enterprise RAG
1.4 Example use cases
1.5 Building a RAG system
enterprise RAG
2. Nothing happens until someone writes an eval
3. Search service ingestion
4. Retrieval using AutoGen agents
5. Hosting, scaling, and load testing
6. Communication strategies: Disclaimers, feedback, and prompt tuning
Я привел разделы первой главы подробней, т.к. думаю на её обсуждение потратить не одну, а 2-3 встречи. Перед 3 главой хорошо бы пообсуждать Naive RAG и Advanced RAG. У кого есть опыт или просто желание собрать введение в эту тему из других источников — welcome
Как присоединиться? Вступите в тг-группу: https://t.me/+mP2xZ5aL-v42MDFi (капча 4 цифры, надеюсь все справятся, если что — пишите) Напишите хотите ли вы прочитать и рассказать ту или иную главу или просто послушать и поучаствовать в обсуждении. Возможно, вы хотите рассказать что-то еще про RAG — не стесняйтесь.
Готовы ли вы познакомиться с вашей будущей ИТ стратегией? Начните с обсуждения Enterprise RAG в компании коллег – ждем вас в книжном клубе
PS: После того, как наберется 100 человек я буду вынужден остановить регистрацию. Подписка на zoom у меня маленькая
просто послушать