Генеративный ИИ и физика: создание персонализированных объектов

Сочетание генеративного ИИ и физики для создания персонализированных предметов реального мира

Возникает ли у вас когда-нибудь идея чего-то, что выглядит круто, но на практике не сработает? Когда дело доходит до разработки таких вещей, как декор и личные аксессуары, генеративные модели искусственного интеллекта (genAI) могут это понять. Они способны создавать креативные и сложные 3D-дизайны, но при попытке воплотить эти чертежи в реальные объекты, они обычно не выдерживают повседневного использования.

Основная проблема заключается в том, что genAI-модели часто не имеют представления о физике. Инструменты, такие как система TRELLIS от Microsoft, могут создавать 3D-модель по текстовому запросу или изображению, но её дизайн стула, например, может быть неустойчивым или иметь разъединенные части. Модель недостаточно хорошо понимает, для чего предназначен ваш объект, поэтому, даже если ваше сиденье можно напечатать на 3D-принтере, оно, скорее всего, развалится под весом сидящего человека.

В попытке заставить эти дизайны работать в реальном мире, исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) при Массачусетском технологическом институте (MIT) дают генеративным моделям ИИ проверку на прочность. Их система "PhysiOpt" дополняет эти инструменты физическими симуляциями, позволяя создавать чертежи персональных предметов, таких как чашки, брелоки и подставки для книг, которые работают по назначению при 3D-печати. Она быстро проверяет, является ли структура вашей 3D-модели жизнеспособной, аккуратно изменяя небольшие формы, обеспечивая при этом сохранение общего внешнего вида и функциональности дизайна.

Вы можете просто ввести в PhysiOpt то, что вы хотите создать и для чего это будет использоваться, или загрузить изображение в пользовательский интерфейс системы, и примерно через полминуты вы получите реалистичный 3D-объект для изготовления. Например, исследователи CSAIL попросили её создать "стакан в форме фламинго для питья", который они напечатали на 3D-принтере в виде питьевого стакана с ручкой и основанием, напоминающим ногу тропической птицы. Во время создания дизайна PhysiOpt вносила небольшие коррективы, чтобы обеспечить структурную прочность.

"PhysiOpt сочетает в себе GenAI и оптимизацию формы на основе физики, помогая практически каждому создавать желаемые дизайны для уникальных аксессуаров и украшений", — говорит Сяо Шэн Чжан, аспирант и исследователь CSAIL, соавтор статьи, представляющей эту работу. "Это автоматическая система, которая позволяет сделать форму физически производимой, учитывая некоторые ограничения. PhysiOpt может итерировать свои творения столько раз, сколько вам нужно, без дополнительного обучения."

Этот подход позволяет создавать "умный дизайн", где ИИ-генератор создает ваш предмет на основе спецификаций пользователей, учитывая функциональность. Вы можете подключить свою любимую 3D-генеративную модель ИИ, и после ввода того, что вы хотите сгенерировать, вы указываете, какую силу или вес должен выдерживать объект. Это удобный способ смоделировать реальное использование, например, предсказать, будет ли крючок достаточно прочным, чтобы удержать ваше пальто. Пользователи также указывают, из каких материалов будет изготовлен предмет (например, из пластика или дерева) и как он поддерживается: например, чашка стоит на земле, а подставка для книг опирается на коллекцию книг.

Учитывая указанные параметры, PhysiOpt начинает итеративно оптимизировать объект. В основе системы используется физическая симуляция, называемая "анализом конечных элементов", для проведения стресс-теста конструкции. Это всестороннее сканирование предоставляет тепловую карту вашей 3D-модели, которая указывает, где ваш чертеж недостаточно поддерживается. Если вы создаете, скажем, скворечник, вы можете обнаружить, что опорные балки под домом окрашены в ярко-красный цвет, что означает, что дом развалится, если его не укрепить.

PhysiOpt может создавать даже более смелые предметы. Исследователи убедились в этой универсальности на практике, когда изготовили ключницу в стиле стимпанк с замысловатыми, похожими на роботов крючками, и "стол-жираф" с плоской спинкой, на которую можно положить вещи. Но как она узнала, что такое "стимпанк" или как должен выглядеть такой уникальный предмет мебели?

Удивительно, но ответ заключается не в обширном обучении, по крайней мере, не со стороны исследователей. Вместо этого PhysiOpt использует предварительно обученную модель, которая уже видела тысячи форм и объектов. "Существующие системы часто нуждаются в большом количестве дополнительного обучения, чтобы иметь семантическое понимание того, что вы хотите увидеть", — добавляет соавтор Клеман Жамбон, также аспирант и исследователь CSAIL. "Но мы используем модель, в которой это чувство того, что вы хотите создать, уже встроено, поэтому PhysiOpt не требует обучения."

Работая с предварительно обученной моделью, PhysiOpt может использовать "априорные знания о форме", или знания о том, как должны выглядеть формы, основываясь на предыдущем обучении, для создания того, что хотят видеть пользователи. Это похоже на художника, воссоздающего стиль известного живописца. Его опыт основан на тщательном изучении различных художественных подходов, поэтому он, вероятно, сможет воспроизвести эту конкретную эстетику. Аналогичным образом, знакомство предварительно обученной модели с формами помогает ей генерировать 3D-модели.

Исследователи CSAIL отметили, что PhysiOpt с помощью своего визуального понимания создаёт 3D-модели более эффективно, чем "DiffIPC", сопоставимый метод, который моделирует и оптимизирует формы. Когда обе системы были поставлены перед задачей создания 3D-дизайнов для таких предметов, как стулья, система CSAIL была почти в 10 раз быстрее на итерацию, создавая при этом более реалистичные объекты.

PhysiOpt представляет собой потенциальный мост между идеями и персонализированными предметами реального мира. То, что вам может показаться отличной идеей для кофейной кружки, например, вскоре может перейти с экрана вашего компьютера на ваш стол. И в то время как PhysiOpt уже проводит стресс-тесты для дизайнеров, в будущем она сможет предсказывать ограничения, такие как нагрузки и границы, без необходимости предоставления этих деталей пользователями. Такой более автономный, здравый подход может быть реализован за счёт интеграции моделей зрения и языка, которые сочетают в себе понимание человеческого языка с компьютерным зрением.

Кроме того, Чжан и Жамбон намерены устранить артефакты, или случайные фрагменты, которые иногда появляются в 3D-моделях PhysiOpt, сделав систему ещё более осведомлённой о физике. Ученые из MIT также рассматривают, как они могут смоделировать более сложные ограничения для различных методов изготовления, например, минимизировать нависающие компоненты для 3D-печати.

Чжан и Жамбон написали свою статью вместе с главным научным сотрудником лаборатории ИИ MIT-IBM Watson Кенни Нгом и двумя коллегами из CSAIL: исследователем младшего курса Эваном Томпсоном и доцентом Миной Конакович Лукович, который является ведущим исследователем в лаборатории.

Работа исследователей была частично поддержана лабораторией MIT-IBM Watson AI и корпорацией Wistron. Они представили ее в декабре на Конференции и выставке SIGGRAPH Ассоциации вычислительной техники по компьютерной графике и интерактивным технологиям в Азии.