Facebook最新AI技術:拍食物照片就能剖析食譜

除了食譜,之後可能還能識別卡路里。

Facebook最新研究,使用AI技術,只需要一張食物的圖片就可以洞悉它的烹飪方法。

該系統通過新穎的架構預測成分作為集合,在不強加任何順序的情況下對其依賴性進行建模,然後通過同時處理圖像及其推斷成分來生成烹飪指令。

一眼就知道这道菜怎么做的

一份優秀的菜譜不僅能夠寫清楚配料,還要有清晰的烹飪步驟,例如大火爆炒幾分鐘,小火慢燉幾分鐘,是切絲還是切塊等等。

之前,傳統的做法是將圖片轉圖譜問題看做一種“檢索任務”,即根據圖片的相似度從食譜譜數據集中匹配烹飪方案。

這類系統的性能在很大程度上取決於數據集的大小和多樣性,以及圖片的質量。如果數據集中壓根沒有圖片對應食譜的時候,顯然這個系統非常失敗。

將圖片到食譜看成條件生成問題可以很好的解決傳統系統的難題。換句話說,與直接的圖片匹配不同,後者更多的是預測配料的成分,然後根據配料和其對應的美食圖片生成烹飪步驟。

除了食譜,之後可能還能識別卡路里

從食品圖片到菜譜,需要獲得超越僅僅是可見的圖片之外的信息,這對於當前的計算機視覺系統無疑是一個巨大挑戰。

與單純理解自然圖像相比,視覺成分預測需要的還有高級推理和先驗知識,例如,羊角麵包中含有黃油。因為食品具有比較高的類別內可變性 intra-class variability,食物的形態在烹飪過程中發生改變,一道煮熟的菜餚和生的原料的樣子可能天差地別。

逆烹飪的實現是邁向更廣泛的食品理解系統的第一步,接下來也許就可以通過照片實現系統對於食物的卡路里估算和自動創建食譜。

(Visited 56 times, 1 visits today)