Inferact официально превратил проект vLLM в коммерческую компанию, собрав $150 млн в раунде посева. Оценка стартапа составила $800 млн, а главными инвесторами стали Andreessen Horowitz и Lightspeed Venture Partners, как сообщил TechCrunch.
Что произошло
Получившееся финансирование поможет ускорить развитие технологии ускоренного инференса — ключевого этапа создания ИИ‑приложений. Генеральный директор Simon Mo, один из создателей проекта, сказал Bloomberg, что уже используют vLLM облачная платформа Amazon и популярное торговое приложение.
Почему это важно
Технология vLLM и аналогичный проект SGLang из лаборатории Университета Калифорнии в Беркли, где работает сооснователь Databricks Ion Stoica, позволяют запускать большие языковые модели быстрее и дешевле. Инвестиции показывают, что отрасль смещается от обучения моделей к их массовому внедрению в конечные сервисы.
Сигнал: Усиленное финансирование инференс‑технологий ускорит конкуренцию между облачными провайдерами и откроет новые возможности для компаний, которые хотят интегрировать ИИ в свои продукты.