Нейросеть научили готовить по фотографиям еды
Исследователи из Массачусетского технологического института создали нейронную сеть, которая умеет составлять список ингредиентов и даже рецепт приготовления блюда только по его фотографии. Система еще требует тонкой настройки, но в конечном итоге алгоритм позволит научиться готовить, посчитать калории и отслеживать свои вкусовые привычки только по фотографии из смартфона.
В независимых тестах система смогла дать правильный рецепт в 65% случаев — такой показатель успеха можно считать высоким, если учесть сложность приготовления некоторых блюд.
Чтобы заставить нейронную сеть работать, исследовательская группа собирала данные с крупных сайтов по готовке, в базу алгоритма вошло больше миллиона рецептов. Все они были аннотированы информацией об ингредиентах, найденных в широком ассортименте блюд. Нейронную сеть освободили от этих знаний и заставили искать связь между изображениями и ингредиентами с рецептами.
Система получила название Pic2Recipe. Как отмечает один из ее разработчиков, программа не является реверсивным поиском по картинкам, она идет напрямую от картинки к рецепту, а не выдает рецепт к блюду, наиболее похожему внешне на снимок пользователя. Сеть обучали таким образом, чтобы оперировать технологическими операциями на кухне (жарка, варение, запекание и т. п.). Из Pic2Recipe собираются сделать «помощника по ужину» — сеть сможет придумывать блюда исходя из доступных дома продуктов и пищевых ограничений (например, аллергия или ненависть к луку) пользователя.
