Доступная генерация: как IT-разработчики могут сэкономить?

В мире активно увеличивается количество проектов на основе искусственного интеллекта. По прогнозам ООН, мировой объем рынка ИИ вырастет примерно в 25 раз и приблизится к 4,8 трлн долларов. Для генерации таких проектов требуются внушительные мощности видеокарт, спрос на которые только растет. «IT-гиганты, развивающие ИИ-направление, строят собственные дата-центры – это огромные инфраструктурные комплексы, которые занимают гектары площади. Такая архитектура требует колоссальных затрат и доступна лишь ограниченному числу игроков», - подчеркивает сооснователь проекта AVM.AI Алибек Абдеков. Совместно с партнерами он разработал программу, позволяющую объединять разрозненные видеокарты по всему миру. Сейчас команда имеет соглашения с дата-центрами из Малайзии, ОАЭ, Германии, США и так далее. Сколько стартаперы инвестировали в свой проект, насколько выгодна виртуальная аренда мощностей видеокарт и почему за этой технологией будущее Алибек рассказал корреспонденту центра деловой информации Kapital.kz.

Мощностей не хватало

Алибека Абдекова всегда привлекали технологии. И в 2017 году он поступил в МГУ на факультет «Вычислительная математика и кибернетика». Там он встретил близких по духу людей и успел реализовать множество разноплановых IT-проектов.

«В МГУ мы и познакомились с Мансуром Такташевым и Валерием Пономаревым, с которыми учились на том же факультете, жили в одной комнате в общежитии. Уже к третьему курсу взялись за собственные IT-проекты: сначала делали сайты и простые сервисы, а позже стали работать над решениями с использованием машинного обучения, в том числе для корпоративных заказчиков», - вспоминает стартапер.

Окончив бакалавриат в 2021 году, Алибек вместе с Валерием поступил в магистратуру того же факультета. Валерий продолжил обучение по PhD-программе и стал научным сотрудником МГУ.

«Два года проработал в финансовом отделе Beeline Казахстан: мы занимались оптимизацией всех бизнес-процессов компании. Я специально выбрал это направление, чтобы прокачать бизнес-навыки. Еще во время учебы мы параллельно запускали несколько проектов для рынков Казахстана и России, и в 2021-м один из них потерпел фиаско. Мы умели делать качественные решения, но не могли грамотно выстраивать процессы. Опыт в телеком-секторе помог подтянуть знания именно в управлении бизнес-процессами», - рассказывает Алибек.

Взамен ангару с серверами

В августе 2024 года стартаперы решили поучаствовать в акселерационной программе Astana Hub. Еще на этапе идеи они хотели создать не просто продукт на основе существующих ИИ-решений, а что-то, что работает вокруг них.

«Мы исходили из логики: «продавать кирки во время золотой лихорадки». И именно тогда пришла мысль превратить нашу студенческую наработку в полноценный продукт. Во время учебы мы постоянно сталкивались с тем, что для выполнения задач, связанных с искусственным интеллектом, требовались компьютеры с мощными видеокартами. Наши ноутбуки просто не справлялись: иногда возникали ошибки, из-за которых весь процесс приходилось запускать заново. Пока модель обучалась, компьютер был полностью занят – по сути, превращался в «тыкву» на всю ночь. Использовать его еще для чего-либо было невозможно. Эту проблему нужно было как-то решать: купить мощные компьютеры или арендовать дорогостоящие серверы. Но нужной суммы у нас, конечно, не было», - вспоминает собеседник. 

Тогда однокурсники написали программу, которая позволяла объединять вычислительные мощности нескольких ноутбуков.

«Благодаря этому мы могли распределять нагрузку и использовать ресурсы сразу трех компьютеров, чтобы быстрее решать задачи и сдавать домашние работы. Это и стало первым прототипом нашего нынешнего проекта», - вспоминает стартапер.

Он подчеркивает, сейчас проекты на базе искусственного интеллекта активно развиваются как в мире, так и в Казахстане. И для их запуска требуются серьезные вычислительные ресурсы, и доступ к ним есть не у всех.

«Наше решение позволяет объединять такие мощности и эффективно их распределять. Поэтому мы решили доработать нашу разработку и начать ее масштабирование», - рассказывает Алибек.

В Astana Hub проект разработчиков выиграл грант – 5 млн тенге. Также стартаперы вложили в проект 3 млн тенге личных средств.

«На все эти ресурсы мы проверяли различные гипотезы, а в начале сентября 2024 года запустили MVP-версию проекта (продукт, обладающий минимальными функциями – Ред.). Это заняло примерно 1-1,5 недели – очень быстро», - подчеркивает разработчик. 

Собеседник поясняет, для решения задач с использованием искусственного интеллекта необходима соответствующая инфраструктура, в первую очередь, видеокарты. Именно на них производятся вычисления – они способны обрабатывать большие объемы данных параллельно.

«Раньше в мире активно производились пользовательские видеокарты – в основном они были востребованы у геймеров. Потом их начали массово скупать майнеры. А теперь, с ростом интереса к ИИ, видеокарты стали ключевым инструментом для разработчиков, работающих с искусственным интеллектом. При этом дефицит таких устройств на рынке остается, и со временем ситуация лишь ухудшается», - отмечает собеседник.

Программное обеспечение стартаперов позволяет онлайн объединять мощности разрозненных видеокарт, которые расположены в различных локациях. Это могут быть видеокарты самых разных типов – и промышленные, и обычные пользовательские.

«Например, IT-гиганты, развивающие ИИ-направление, строят собственные дата-центры – это огромные инфраструктурные комплексы, которые занимают гектары площади. Такая архитектура требует колоссальных затрат и доступна лишь ограниченному числу игроков. Большинство компаний, особенно небольших, просто не могут себе этого позволить – речь идет о вложениях в сотни миллионов или даже миллиарды долларов. Даже те, кто располагает серьезной инфраструктурой, сталкиваются с дефицитом мощностей. Один из крупнейших производителей видеокарт NVIDIA задолго до конца 2024 года распродал весь доступный объем. Из-за высокого спроса получить оборудование напрямую даже через крупные партнерства или с привлечением госструктур оказалось непросто. В большинстве случаев все сводилось к ожиданию своей очереди. Мы же предлагаем альтернативу: объединяем неиспользуемые или частично загруженные видеокарты, открывая доступ к вычислительным мощностям для разработчиков, компаний и даже целых государств», - отмечает Алибек.

Как работает решение AVM.AI?

«Когда ИИ-модель, например ChatGPT, получает задачу, она отправляется на обработку в дата-центр. В нашем случае все устроено иначе: когда система получает ИИ-задачу, мы разбиваем ее на несколько частей и распределяем между разными видеокартами – в разных точках мира. Каждая часть обрабатывается отдельно, затем результаты возвращаются на наш основной сервер, где мы их собираем и формируем финальный ответ. Так работает наша технология распределенных вычислений», - поясняет собеседник.

«Подключение» к дата-центрам Германии, Франции, США

Изначально стартаперы решили сосредоточиться на локальном рынке, используя пользовательские мощности в Казахстане. Ведь на рынке практически не было игроков, предоставляющих доступ к видеокартам.

«В нашем поле были устройства майнеров и геймеров, чьи компьютеры могли простаивать в ночное время. Мы стали связываться с такими пользователями через olx, которые выставляли объявления о продаже видеокарт. Например, майнеров мы так и нашли, для них майнинг из-за изменений правил игры на рынке оказался нерентабельным. Мы предложили им зарабатывать на обработке ИИ-задач, не продавая видеокарты. И они согласились. Установив им на компьютеры свое программное обеспечение, мы смогли объединять видеокарты с помощью нашей программы», - отмечает стартапер.

Мощностей пользовательских видеокарт оказалось недостаточно, и стартаперы в ноябре 2024 года стали выходить на дата-центры с промышленными видеокартами.

«Мы не хотели ограничиваться одним сегментом, понимая, что основные наши потребители – это крупные компании. А у них есть потребность именно в бОльших мощностях. И мы начали «подключать» к обработке объемных ИИ-задач дата-центры. Например, запускать разные локальные языковые модели. На пользовательских видеокартах мы обслуживали небольшие, локальные задачи», - рассказывает Алибек.

Изначально разработчикам удалось договориться о временном экспериментальном сотрудничестве с дата-центрами из Франции, США. Они согласились предоставить свои свободные мощности бесплатно. Физическая аренда промышленных видеокарт «обошлась бы очень дорого».

«Для нашего эксперимента нам потребовалось 18 таких видеокарт на несколько дней. Если бы мы их арендовали, то на эти цели нам потребовалось бы несколько тысяч долларов. Для начинающего стартапа это очень дорогая цена для эксперимента. С помощью мощностей дата-центров нам удалось дообучить языковую модель LLaMA на 1 млрд параметров. Этот процесс занял больше времени, чем мы предполагали, из-за нескольких недаучных запусков», - отмечает собеседник.

Сейчас команда имеет коммерческие соглашения с дата-центрами по всему миру: из Малайзии, ОАЭ, Германии, Ирландии, Франции и США. Они предоставляют невостребованную мощность.

«Мы стараемся подыскивать дата-центры, которые были бы расположены близко к нашим пользователям. Например, если пользователь дислоцируется в Европе, то мы подыскиваем ему дата-центр в Германии или Франции. Это важно для скорости передачи данных. В настоящее время мы ведем переговоры с дата-центрами из шести стран», - поясняет Алибек.

Сейчас постоянно решением стратаперов пользуется 35 B2C-клиентов и пять компаний. Среди них разработчики искусственного интеллекта, AI-энтузиасты, которые развивают Pet-проекты, студии разработки. Также есть потребители, которые используют мощности видеокарт для реализации «разовых задач», например криптографы.

«Наши услуги по виртуальной аренде мощностей видеокарт обойдутся до 30% дешевле, чем в крупных дата-центрах. Например, аренда 10 видеокарт у таких мировых гигантов, как Google с Microsoft будет стоить несколько десятков тысяч долларов в месяц», - рассказывает собеседник.

Конкурентное поле поделили двух крупных игроков

На мировом рынке есть два крупных игрока, которые предлагают аналогичные решения, как и у казахстанского стартапа AVM.AI. Это французский стартап Prime Intellect и российская «РОЙ 9»  - проект телеком-компании МТС. По словам Алибека, Prime Intellect привлекла 6 млн долларов от одного из основателей американской компании в области ИИ - Hugging Face. Эта структура также занимается объединением мощностей разрозненных видеокарт дата-центров.

«Она работает на территории Европы, имеет большую команду. Этот проект был запущен  1-1,5 года назад», - уточняет собеседник.

Российская «РОЙ 9» также занимается распределительными вычислениями, объединяя мощности разрозненных видеокарт дата-центров. Компания была запущена весной 2024 года.

«Пока она не начала обслуживать внешних клиентов, работает только в закрытом режиме. Ее команда насчитывает 15 человек», - поясняет разработчик.

«Основное наше отличие от этих игроков рынка – мы используем абсолютно разные подходы для вычислений. В целом в мире наблюдается гонка за качеством такого сервиса, как у нас. Также важна скорость вычислений. Если вычисления неправильно настроены, то какие-то данные могут потеряться. Поэтому каждый участник рынка работает над улучшением этих параметров», - отмечает Алибек.

По его словам, два проекта, о которых он упомянул, пока неприбыльны.

«Они находятся в стадии активного роста: получают инвестиции и направляют ресурсы не на извлечение дохода, а на развитие технологии. Это стандартная модель для deep tech-стартапов, где на первом этапе важнее проработать фундаментальные решения, чем выйти в плюс. Мы тоже работаем в таком формате – развиваем проект как R&D-направление. Конечно, в будущем хотелось бы перейти к коммерциализации, но сейчас для нас приоритет – проверка гипотез и глубокое технологическое исследование», - поясняет он.

Дефицит видеокарт будет только расти

В мире производителей видеокарт немного. Топ-3 из них - AMD, NVIDIA и Intel. А того объема видеокарт, который производится, недостаточно. Главные причины – капиталоемкость производства таких устройств, монополия производителей видеокарт и политические ограничения.

«Например, в Россию и Китай официально запрещен ввоз видеокарт из США. Считаю, что дефицит видеокарт на рынке будет только расти, так как для запуска производства таких устройств потребуются много инвестиций и высококвалифицированные специалисты. Постепенно на этот рынок пробуют заходить стартапы. Например, компания Cerebras – по ряду характеристик их решения даже превосходят продукты NVIDIA. Однако за весь 2022 год они продали лишь около десяти видеокарт, а в первой половине 2023 года – всего одну. Чтобы появился еще один крупный игрок, который запустит масштабное производство видеокарт, потребуется несколько лет», - отмечает собеседник.

Игра вдолгую

После запуска проекта команда изначально рассматривала путь быстрой коммерциализации, но вскоре изменила подход. Пообщавшись с участниками рынка и оценив текущий этап развития технологии, основатели приняли решение временно отказаться от монетизации в пользу системной проработки продукта. Их цель – довести проект до технологически зрелого уровня, чтобы повысить его оценку, привлечь стратегические инвестиции и усилить команду.

«Мы обсудили ситуацию с партнерами и пришли к выводу, что путь к устойчивой прибыли в нашем сегменте займет несколько лет. Поэтому решили сфокусироваться на технологической глубине. Сейчас для нас важно, чтобы система стабильно и эффективно справлялась с разными типами ИИ-задач. Мы продолжаем тестировать гипотезы, дорабатывать архитектуру и проводить эксперименты. После того как во время акселерационной программы получили сильную обратную связь от трекеров, мы поняли: пора идти ва-банк. Сначала с основной работы ушел мой партнер Мансур, а в ноябре 2024-го и я, чтобы заняться проектом полноценно», - рассказывает Алибек.

Чтобы обеспечить финансирование основного проекта на раннем этапе, команда запустила параллельно еще один продукт – ИИ-агентов. Изначально он задумывался как вспомогательное направление, но со временем превратился в самостоятельный проект, который сегодня приносит стабильный доход.

«ИИ-агенты – это цифровые сотрудники на базе искусственного интеллекта. Они способны брать на себя отдельные функции внутри команды или бизнеса: обрабатывать информацию, взаимодействовать с пользователями, поддерживать внутренние процессы. Они делают это автономно, без участия человека в рутинных задачах», - резюмирует стартапер.