За несколько дней до конференции Google I/O 2024 в сети появилась информация о новой модели искусственного интеллекта для генерации видео — Gemini Omni. Пользователь Reddit смог получить ранний доступ к этой разработке в приложении Gemini, описываемой как следующий шаг Google в создании видеоконтента с помощью ИИ.
Первые тесты и впечатления
Первые испытания новой модели Gemini Omni показали впечатляющие результаты, особенно в задачах, требующих логического мышления. Так, при запросе на создание видео, где профессор пишет математическое доказательство тригонометрических тождеств на доске, объясняя текущий шаг уравнения, система продемонстрировала высокую точность и реалистичность. Хотя видео не было идеальным — наблюдались небольшие расхождения между движением мела и появляющимся текстом, а мел иногда исчезал — общая правдоподобность и правильность рассуждений ИИ были оценены высоко.
Испытание сложных сценариев и ограничения
При попытке воспроизвести более сложный и известный тест «Уилл Смит ест спагетти», модель не смогла выдать результат, предположительно из-за встроенных механизмов безопасности и фильтров контента. Тем не менее, был успешно выполнен запрос на создание сцены с двумя мужчинами, обедающими за круглым столом в роскошном ресторане на открытой террасе. Итог оказался менее впечатляющим: спагетти появлялись из ниоткуда на пустых тарелках, а количество движений челюстью не соответствовало взятым порциям еды.
Для сравнения, подобный запрос, выполненный с помощью модели Seedance 2 от компании ByteDance, продемонстрировал более высокую степень согласованности в деталях, хотя и с некоторыми визуальными подёргиваниями.
Технические детали и лимиты использования
Пользователи, получившие доступ к Gemini Omni, также сообщают о жёстких ограничениях на использование. После всего лишь двух запросов на генерацию видео в рамках плана Google AI Pro, было израсходовано до 86% суточного лимита, что указывает на высокую ресурсоёмкость модели.
Данные, обнаруженные обозревателем Максом Вайнбахом в социальной сети X*, указывают на то, что Gemini Omni, по всей видимости, является расширением и улучшением уже существующей модели Google Veo. Ожидается, что более подробная информация о Gemini Omni и её возможностях будет представлена в ходе официального анонса от Google.
* — деятельность компании запрещена на территории РФ
