Когда кажется, что нейросети научились всему – от живописи до управления автомобилем – вдруг выясняется, что они не могут… узнать время. Точнее, не могут правильно прочитать стрелки на самых обычных аналоговых часах, прямо как зумеры.
Как пишет научный журнал IEEE Spectrum, учёные из Университета Политехника Мадрида совместно с коллегами из Италии и Испании протестировали четыре современных мультимодальных языковых модели (MLLM). Им показали более 43 тысяч изображений часов с разным временем – и в большинстве случаев модели провалились.
В чём проблема?
ИИ неплохо справляется с задачами, на которых его тренировали. Но когда в дело вступает “нечто новое” – например, нестандартная форма циферблата или стрелки с маленькими стрелочками на концах – модели теряются. Они путаются в пространственном положении стрелок, не могут правильно соотнести углы и направления, и делают банальные ошибки.
Хуже того: если модель ошибается в распознавании стрелок, это вызывает цепную реакцию – все дальнейшие выводы становятся ещё менее точными. Что уж говорить о сложных задачах вроде диагностики по медизображениям или ориентации на дороге.
Почему это важно?
Провал на часах – звоночек. Если система не справляется с простой визуальной задачей, ей может быть небезопасно доверять более критичные сценарии. Исследование подчёркивает важность обучения на разнообразных данных и тестирования в “диких” условиях, а не только в лабораторных.
“Чтение времени – не такое уж простое задание, как кажется. Модель должна распознать стрелки, определить их ориентацию и сопоставить всё это с временными значениями”, – говорит профессор Хавьер Конде.
