Gdy flagowe modele trzech gigantów AI – OpenAI, Anthropic i Google – stają do walki na jednej scenie, który z nich lepiej steruje robotami?
20 października RoboColiseum, arena embodied AI współzałożona przez blisko 20 uczelni, firm i instytutów badawczych z całego świata, w tym Mifeng Technology, Hugging Face, NVIDIA i Uniwersytet Tsinghua, ogłosiła wyniki bieżącej rundy ewaluacji: Claude Opus 5.5 zajął pierwsze miejsce w klasyfikacji ogólnej wśród czterech flagowych modeli, a GPT-6 Astra uplasował się tuż za nim.
W podziale na kategorie, wśród czterech flagowych modeli GPT-6 Astra prowadzi w zakresie podążania za instrukcjami i ogólnej adaptacji do zaburzeń, osiągając wynik 99,35 w podążaniu za instrukcjami; Opus lepiej radzi sobie w rozumieniu przestrzennym i operacjach ogólnych, a dzięki najmniejszemu zużyciu tokenów w pełnej rundzie ewaluacji zdobył pierwsze miejsce w grupie flagowej. W testach z zaburzonymi zakłóceniami jakości obrazu GPT-6.1 Sol wyraźnie ustępował pozostałym trzem modelom, co pokazuje różnice w stabilności modeli wobec zmian informacji wizualnych.
Jednak dwa pierwsze miejsca w klasyfikacji ogólnej tej rundy nadal zajmują modele strategii embodied, zachowując przewagę szczególnie w wymiarze operacji ogólnych.
Ta wspólna rywalizacja daje branży bezpośredni punkt odniesienia do dostrzeżenia mocnych stron i słabości ogólnych dużych modeli oraz modeli strategii embodied.
RoboColiseum wokół podążania za instrukcjami, rozumienia przestrzennego, adaptacji do zaburzeń i operacji ogólnych uruchomił cztery podrankingi kompetencji i 78 zadań ewaluacyjnych w wysokiej wierności symulacji, prezentując zarówno wyniki cząstkowe modeli, jak i rejestrując kroki wykonania zadań oraz miejsca niepowodzeń, co pomaga deweloperom szybko zlokalizować słabe punkty modeli.
Jako współzałożyciel Mifeng dostarcza RoboColiseum wysokowierne zasoby obiektów i scenariusze symulacyjne, wspierając budowę środowisk ewaluacyjnych dla złożonych zadań manipulacji robotami oraz zapewniając podstawowe zasoby do testowania zdolności modeli w różnych interakcjach z obiektami, układach przestrzennych i warunkach środowiskowych.
Czy wyniki modeli w symulacji odzwierciedlają rzeczywiste osiągi operacyjne, jest również kluczowym elementem ewaluacji. Według wyników testów opublikowanych przez platformę korelacja między ewaluacją symulacyjną RoboColiseum a wdrożeniem na rzeczywistym robocie osiąga 89,5%, a różnica w ewaluacji tego samego modelu między symulacją a światem rzeczywistym wynosi mniej niż 10%, co może służyć deweloperom jako punkt odniesienia przy selekcji modeli i lokalizowaniu problemów przed przejściem do testów na rzeczywistym robocie.
Mifeng Technology zapewnia „kompletny, dobry i szybki” system dostarczania danych, obejmujący trzy paradygmaty danych: rzeczywisty robot, symulację i bez ciała. W zakresie symulacji Mifeng dostarcza dwa rodzaje zasobów – zasoby obiektów i zasoby środowiskowe – obejmujące różnorodne przedmioty codziennego użytku i sceny wnętrz, a także oferuje możliwości rekonstrukcji scen, pozyskiwania danych trajektorii eksperckich i wizualizacji wyników ewaluacji, pomagając zespołom modelowym w prowadzeniu zróżnicowanego treningu i ewaluacji.
Coliseum pierwotnie oznaczało starożytny rzymski amfiteatr; RoboColiseum czerpie z tej metafory, budując wielowymiarowy system ewaluacji i tworząc dla modeli embodied AI publiczną, neutralną i powtarzalną „arenę” i „plac treningowy” dzięki ewaluacji symulacyjnej wysoce zgodnej z rzeczywistymi osiągami robota. Każda uczelnia, instytut badawczy lub deweloper korporacyjny może zgłosić swój model i poddać go standardowemu „egzaminowi”. Od uruchomienia w sierpniu ponad 100 zespołów z kraju i zagranicy prowadzi na platformie trening i ewaluację modeli.
RoboColiseum jest już otwarte dla deweloperów na całym świecie; zespoły modelowe są zaproszone do udziału w ewaluacji.
