Юбей Чен, основатель Aizip — компании, создающей самые маленькие и эффективные AI-модели в мире, одновременно занимает должность доцента на кафедре электроники и вычислительной техники в Калифорнийском университете в Дэвисе. Его научные исследования находятся на пересечении вычислительной нейробиологии и глубокого обучения без учителя, что способствует лучшему пониманию вычислительных принципов, управляющих формированием представлений как в мозге, так и в машинах.
Путь от научных исследований к практическим решениям
В Беркли исследования Юбея были сосредоточены на научных изысканиях и математической строгости. Его докторская работа объединяла электротехнику, компьютерные науки и вычислительную нейробиологию, фокусируясь на понимании систем искусственного интеллекта с точки зрения “белого ящика”. Он разрабатывал интерпретируемые высокопроизводительные AI-модели и методы визуализации, помогающие раскрыть работу черных ящиков AI-систем.
Позже, в Meta FAIR, акцент сместился на инженерные аспекты создания высокопроизводительных AI-систем. Имея доступ к вычислительным ресурсам мирового класса, Юбей исследовал пределы обучения без учителя и внес вклад в разработку “мировых моделей” — AI-систем, которые учатся на данных и могут представлять возможные среды.
Этот двойной опыт — научное понимание в Беркли и инженерное масштабирование в Meta — дал ему комплексное представление о разработке искусственного интеллекта, подчеркивая важность как теоретического понимания, так и практической реализации при создании AI-решений для реальных приложений.
Влияние нейробиологии на разработку AI-моделей
В вычислительной нейробиологии изучается, как мозг обрабатывает информацию путем измерения его реакций на различные стимулы, подобно тому, как исследуются AI-модели для понимания их внутренних механизмов. В начале своей карьеры Юбей разрабатывал методы визуализации для анализа векторных представлений слов, разбивая такие слова, как “яблоко”, на составляющие семантические элементы: “фрукт” и “технология”. Позже этот подход был расширен до более сложных AI-моделей, таких как трансформеры и большие языковые модели.
Эти методы параллельны техникам в нейробиологии, таким как использование электродов или МРТ для изучения активности мозга. Исследование внутренних представлений AI-модели позволяет понять ее стратегии рассуждения и обнаружить возникающие свойства, например, “нейроны концепций”, которые активируются для конкретных идей. Этот подход сейчас широко применяется в индустрии, поскольку он обеспечивает как интерпретируемость, так и практические вмешательства, устраняя предвзятость моделей.
Создание Aizip и фокус на малых моделях
Будучи фундаментальным исследователем AI, Юбей хотел преодолеть разрыв между исследованиями и реальными приложениями. Он основал Aizip, чтобы внедрить передовые инновации искусственного интеллекта в практическое использование, особенно в условиях ограниченных ресурсов. Вместо создания крупных базовых моделей компания сосредоточилась на разработке самых маленьких и эффективных AI-моделей, оптимизированных для периферийных устройств.
Индустрия AI в значительной степени ориентировалась на увеличение масштаба моделей, но реальные приложения часто требуют противоположного — высокой эффективности, низкого энергопотребления и минимальной задержки. Многие современные AI-модели слишком требовательны к вычислительным ресурсам для развертывания на малых встраиваемых устройствах. Aizip заполняет этот пробел на рынке, предлагая AI-решения, способные обеспечить высокую производительность при жестких ограничениях ресурсов.
Малые языковые модели (SLM) в сравнении с крупными
Малые языковые модели (SLM) и крупные модели, такие как GPT-4, не обязательно конкурируют напрямую, так как они обслуживают разные потребности. Более крупные модели мощны с точки зрения обобщения и глубокого рассуждения, но требуют существенных вычислительных ресурсов. SLM разработаны для эффективности и развертывания на периферийных устройствах с низким энергопотреблением.
Они дополняют крупные модели, обеспечивая AI-возможности в реальных приложениях, где важны вычислительная мощность, задержка и стоимость, например, в устройствах IoT, носимых устройствах и промышленной автоматизации. По мере роста внедрения AI формируется гибридный подход, где крупные облачные модели обрабатывают сложные запросы, а SLM предоставляют локализованный интеллект на периферии в режиме реального времени.
Технические вызовы в создании эффективных AI-моделей
Одной из фундаментальных проблем является отсутствие полного теоретического понимания работы AI-моделей. Без четкого теоретического фундамента усилия по оптимизации часто носят эмпирический характер, ограничивая прирост эффективности. Кроме того, человеческое обучение происходит разнообразными способами, которые текущие парадигмы машинного обучения полностью не охватывают, что затрудняет проектирование моделей, имитирующих человеческую эффективность.
С инженерной точки зрения, для работы AI в условиях экстремальных ограничений требуются инновационные решения в области сжатия моделей, квантования и проектирования архитектуры. Еще одной проблемой является создание AI-моделей, способных адаптироваться к различным устройствам и средам при сохранении надежности.
AI-нанофабрика и автоматизация разработки
AI-нанофабрика — это внутренний конвейер автоматизации проектирования AI, вдохновленный автоматизацией электронного проектирования (EDA) в производстве полупроводников. Ранняя разработка в любой развивающейся технологической области требует много ручного труда, поэтому автоматизация становится ключом к ускорению прогресса и масштабированию решений по мере созревания отрасли.
Вместо простого использования AI для ускорения других отраслей, Aizip задались вопросом: может ли AI ускорить собственное развитие? AI-нанофабрика автоматизирует каждый этап разработки AI-модели: от обработки данных до проектирования архитектуры, выбора модели, обучения, квантования, развертывания и отладки.
Используя AI для оптимизации самого себя, компании удалось сократить время разработки новых моделей в среднем в 10 раз, а в некоторых случаях — более чем в 1000 раз. Это означает, что модель, на разработку которой раньше требовался год, теперь можно создать всего за несколько часов.
Если вы заинтересованы в создании собственного умного AI-ассистента и хотите углубиться в понимание работы AI агентов, обратите внимание на специализированные курсы, которые помогут вам освоить эту технологию.
Будущее периферийного AI в ближайшие пять лет
Периферийный AI обещает трансформировать наше взаимодействие с технологиями, подобно тому, как смартфоны революционизировали доступ в интернет. Большинство AI-приложений сегодня работают в облаке, но эта тенденция начинает меняться, поскольку AI перемещается ближе к датчикам и устройствам, взаимодействующим с физическим миром.
В ближайшие пять лет ожидается, что периферийный AI обеспечит более естественное взаимодействие человека с компьютером, такое как распознавание голоса и жестов, устраняя зависимость от традиционных интерфейсов вроде клавиатур и сенсорных экранов. AI также станет более встроенным в повседневную среду, например, умные дома или промышленную автоматизацию, обеспечивая принятие решений в реальном времени с минимальной задержкой.
Ключевой тенденцией будет растущая автономность периферийных AI-систем. AI-модели станут более самооптимизирующимися и адаптивными благодаря достижениям в автоматизации в стиле AI-нанофабрики, что снизит потребность в человеческом вмешательстве при развертывании и обслуживании.
Перспективные проекты Aizip
Компания работает над расширением возможностей своих моделей в новых отраслях, особенно перспективным является AI-агент для автомобильного сектора. Существует растущий импульс, особенно среди китайских автопроизводителей, к разработке голосовых помощников, работающих на языковых моделях, которые ощущаются как ChatGPT внутри салона автомобиля.
Серия сверхэффективных AI-агентов под названием Gizmo, работающих на SLM, разработана для понимания намерений более нюансированным образом. Выступая в качестве AI-агента транспортного средства, такой помощник может выполнять команды через разговорный, свободный язык. Например, агент мог бы регулировать температуру в салоне, если водитель просто сказал: “Мне холодно”.
Поскольку эти агенты работают локально и не зависят от облака, они продолжают функционировать в зонах без покрытия или в районах с плохим подключением, таких как туннели, горы или сельские дороги. Они также повышают безопасность, предоставляя водителям полный голосовой контроль, не отвлекая их внимания от дороги.
Такие решения, которые вносят значимые изменения в повседневную жизнь людей, являются самыми ценными достижениями компании.