迎賓機器人的大腦需要具備的能力：實時交互 多模態(tài)感知

目前迎賓機器人“大腦”技術以大模型為核心，為迎賓機器人提供 任務級交互、環(huán)境感知、任務規(guī)劃和決策控制能力。在任務交互方面， 基于大模型的語言/視覺運行處理方式可為迎賓機器人提供任務級交 互入口。在環(huán)境感知方面，大模型通過對多模態(tài)信息的統(tǒng)一處理與靈 活轉(zhuǎn)換，推動多模態(tài)感知泛化。在任務規(guī)劃方面，大模型潛在的真實 世界知識學習能力、強大的思考、推理和生成能力為“大腦”的任務規(guī) 劃提供基礎。在決策控制方面，迎賓機器人基于大模型技術并優(yōu)化獎 勵策略，通過整合環(huán)境、運動等多樣化信息，實現(xiàn)決策控制功能。

從功能需求角度出發(fā)，迎賓機器人的“大腦”需要具備以下能力：

1 實時交互能力

迎賓機器人需要具備與人類實時的任務級交互能力，快速理解人類通過語言、手勢等方式給出的指令，并有效執(zhí)行。
當出現(xiàn)指令理解不清或任務執(zhí)行完畢后，可以與人類進行進一步的多 輪交互。

2 多模態(tài)感知能力

為了在復雜環(huán)境中做出正確決策，迎賓機器人需要能夠通過視覺、聽覺、觸覺等多種感官獲取信息。大模型需要整 合這些多模態(tài)感知數(shù)據(jù)，以實現(xiàn)對環(huán)境的全面理解。

3 自主可靠決策能力

迎賓機器人在執(zhí)行任務時，需要能夠理解任 務的復雜性，并將其分解為一系列可執(zhí)行的子任務。這要求大模型具 備強大的語言理解能力和對物理世界的深刻理解。例如，機器人可能 需要理解“清理房間”這一任務，包括識別哪些物品需要移動，哪些需 要丟棄。

4 涌現(xiàn)和泛化能力

除了在訓練數(shù)據(jù)上的表現(xiàn)，大模型還應具備超 出訓練范圍的執(zhí)行能力。具體表現(xiàn)為迎賓機器人能夠在未見過的新環(huán) 境中執(zhí)行任務，適應新的、未知的情況。面對新挑戰(zhàn)時，展現(xiàn)出創(chuàng)新 性的解決方案。