8月8日 消息:加州大學伯克利分校研究人員推出了一種名為 Dynalang 的智能體，這是一種通過在線體驗獲取世界語言和視覺模型的智能體，并利用該模型來理解人類行為。

由于世界建模與動作不同，Dynalang 可以在單一模式（純文本或純視頻數(shù)據(jù)）上進行預訓練，而無需活動或任務獎勵。此外，語言生成的框架可能是統(tǒng)一的:代理的感知可以影響其語言模型(即，其對未來標記的預測)，從而允許其通過在動作空間中生成語言來交流環(huán)境。他們在具有不同語言環(huán)境的廣泛領域中測試 Dynalang。Dynalang 學習利用有關未來觀察、環(huán)境動態(tài)和糾正的語言線索，以便在多任務房屋清潔環(huán)境中更快地完成家務。

論文地址：https://arxiv.org/abs/2308.01399

Dynalang 通過使用未來預測來將語言與視覺體驗相連接，能夠理解各種形式的語言以完成不同的任務。它在多任務的家庭清潔環(huán)境中學會使用語言提示來更快地完成任務，并且在 Messenger 基準測試中表現(xiàn)優(yōu)于其他算法。Dynalang 還可以在視覺語言導航中接收復雜的指令，并展示了超越其他算法和任務特定架構的能力。

本文來源于站長之家，如有侵權請聯(lián)系刪除