Помните игроков, у которых было сотни подростков, играющих в Axie Infinity, чтобы заработать Магические Любовные Зелья? Да, это было 4 года назад. Теперь вы можете просто обучить и запустить 100 Автономных Кодек Операторов, чтобы они играли за вас ...и монетизировать это и продавать другим ✅ ИИ x Робототехника Наратив ИИ x Робототехника действительно разогревается с моделями VLA ​ На этом этапе в экосистеме ИИ большинство протоколов и агентов используют текстовые LLM-движки или статические скриншоты для интерпретации данных ​ Но просто помните, что большая часть реального мира не имеет доступа к API, вам нужно видение, решения и действия. Реальный мир должен быть виден в пикселях, и здесь приходят модели VLA ​ @Codecopenflow позволяет автоматизировать программное обеспечение и робототехнику через видение, используя стек технологий, созданный с нуля ✅ Операторы CODEC ​ Операторы — это автономные программные агенты, которые могут выполнять задачи через цикл восприятия-рассуждения-действия. Возможность видеть экран (или видеопотоки с камер или данные датчиков) позволяет им принимать решения, которые LLM не смогли бы сделать ​ • Восприятие: захватывает скриншоты, видеопотоки с камер или данные датчиков • Рассуждение: обрабатывает наблюдения и инструкции, используя модели языка и видения • Действие: выполняет решения через взаимодействие с пользовательским интерфейсом или управление оборудованием ​ В непрерывном цикле Операторы могут работать на серверах с bare-metal, виртуальных машинах (на любой операционной системе) или даже на роботах. ​ Каждый оператор автоматически получает выделенную вычислительную машину (изолированную ВМ или контейнерный экземпляр) и может быть защищен TEE (аппаратная изоляция) для чувствительного кода и данных. ​ ✅ Уровень ИИ ​ Операторы могут быть настроены на использование одной или нескольких моделей (LLM или VLA), объединенных как их "мозг" ​ Например, сочетание недорогой языковой модели Mixtral-8×7B с открытой моделью видения CogVLM позволяет Операторам читать текст на экране и интерпретировать живые видеопотоки с экрана или камеры - все это за небольшую часть стоимости GPT-4. ​ Модель VLA (Видение-Язык-Действие) позволяет агенту интерпретировать визуальный ввод, а затем принимать решение о действии на основе того, что он видит ✅ Примеры использования ​ 🔹 Автоматизация рабочего стола ​ Может автоматизировать повторяющиеся офисные задачи, управляя GUI. Например, заполнение таблиц, обновление календарей или другие задачи, требующие взаимодействия с GUI ​ Может обрабатывать обновления UI, так как на самом деле видит, что делает ​ 🔹 Игровые агенты ​ Операторы могут управлять игроками или тестировать видеоигры. Агенты транслируют экран и могут выполнять действия на основе того, что они видят, отправляя команды клавиатуры или мыши в игру. ​ Может использоваться для тестирования качества, или даже для создания продвинутых NPC-соперников или автоматизации игр web3 ​ 🔹 Робототехника ​ Операторы могут управлять физическими роботами. Машинный уровень будет подключаться к аппаратному обеспечению робота с датчиками и актуаторами, и агент может отправлять команды для движения руки или навигации. ​ Например, он может захватывать видеопоток объектов, движущихся по конвейерной ленте, и выполнять действия на основе движения. Если на пути есть препятствие, Оператор может его увидеть и управлять роботом, чтобы избежать его ​ ✅ Сбор данных и безопасность на блокчейне ​ Перенос информации Операторов на блокчейн Solana позволяет им предлагать неизменяемые журналы действий от всех выполненных действий ​ В будущем мы можем увидеть момент, когда компаниям по производству роботов потребуется ставить токены, чтобы гарантировать, что их Операторы не заставят робота вступать в физический контакт с человеком с силой выше определенного уровня. Если они нарушат это, их накажут за часть ставленного токена (как EigenLayer / Symbiotic restaking) ​ ✅ Учебная среда для робототехники ​ С Codec не обученные виртуальные модели могут быть развернуты в динамичной, высококачественной учебной среде, без необходимости в физическом роботе. ​ Симулируйте, обучайте и уточняйте сложные поведения в облачном масштабе, а затем с уверенностью переносите эти политики на реальное оборудование. Учебные среды могут быть быстро развернуты для всех типов Операторов (Программные, Игровые или Робототехнические) ​ ✅ Codec SDK ​ Полный SDK и API были разработаны, чтобы разработчики могли легко развертывать своих Операторов ​ ✅ Рынок Операторов ​ Операторы могут (в будущем) продаваться на специализированном рынке. ​ Будет разделение доходов, чтобы вы могли отправлять и монетизировать своего VLA оператора, что означает, что если вы обучите эффективных Операторов, вы сможете получить дополнительные источники дохода ​ ✅ Заключительные мысли ​ Я думаю, что в следующем году мы увидим массовые разработки в области VLA. Мы видели, как быстро развиваются LLM, всего несколько лет назад был запущен GPT-1. Робототехника и модели видения, вероятно, станут горячей темой в какой-то момент этого цикла, и мне нравится быть на ранней стадии ​ О, и упомянул ли я, что соучредитель из Hugging Face и Elixir games 👀 ​ Примечание: Slappjakke имеет большие пакеты $CODEC, и это один из тех случаев, когда я стал еще более оптимистичным, пока писал эту тему и добавил еще больше ​ Как всегда, это не финансовый совет и высокорисковая инвестиция, поэтому проводите собственное исследование.