2 月 17 日消息，Meta 首席AI科學家 Yann LeCun在2022年推出了 JEPA（Joint Embedding Predictive Architectures）模型架構，次年基于 JEPA 架構開發(fā)了一款“I-JEPA”圖片預測模型，目前又推出了一款名為“V-JEPA”的視頻預測模型。

　　據介紹，相關 JEPA 架構及 I-JEPA / V-JPA 模型主打“預測能力”，號稱可以以“人類理解”的方式，利用抽象性高效預測生成圖片 / 視頻中被遮蔽的部分。

　　IT之家注意到，研究人員使用一系列經過遮蔽處理的特定視頻訓練 I-JEPA / V-JEPA 模型，研究人員要求模型利用“抽象方式”填充視頻中缺失的內容，從而讓模型在填充間學習場景，進一步預測未來的事件或動作，進而達到對世界更深層次的理解。

　　▲ 圖源Meta 官方新聞稿（下同）

　　研究人員表示，這種訓練方法能夠讓模型專注于影片的高層次概念，而“不會鉆牛角尖處理下游任務不重要的細節(jié)”，研究人員舉例“人類觀看內含樹木的影片時，不會特別關心樹葉的運動方式”，因此采用這種抽象概念的模型，相對于業(yè)界競品效率更佳。

　　研究人員同時提到，V-JEPA 采用一種名為“Frozen Evaluations”的設計結構，即“模型在預訓練之后，核心部分不會再改變”，因此只需要在模型之上添加小型專門層即可適應新任務，具有更高普適性。