| 項目編號: | ITP/067/23LP |
| 項目標題: | 基於大語言模型的語音控製移動機械手 |
| 研發單位: | LSCM研發中心 |
| 概要: | 社會上獨居長者的數量日益增長，使得用於長者照料的機器人的需求愈加龐大。這個種子 項目旨在使用人類的自然語言去控制移動機械手，完成移動和抓取多種物品等操作，使得 傳統的機器人具備理解自然語言指令的能力，增強對機器人的控制併擴展其用途。研發方 法涉及自然語言處理、計算機視覺和多模態、視覺導航、機器人抓取等技術的綜合運用。 人類的自然語言指令將通過大語言模型進行理解和分析，將其轉換為機器人可以具體執行 的低級動作指令和代碼。計算機視覺和多模態技術將使用視覺語言模型，獲取機器人周遭 的物品、位置等環境信息，作為分解自然語言指令的外部信息輸入。視覺導航用於識別目 標物品的空間位置併引導機器人行駛至目標位置。基於視覺的機器人抓取用於定位目標物 體併控制機械手進行目標抓取。這項研發工作可以極大提升現有的對機器人的控制方式， 使其更加廣泛地應用於居家、樂齡/殘障人士照顧、物流等行業。 |
| 項目統籌員: | 羅軍博士 |
| 資助金額: | 港幣二百七十九萬 |
| 項目週期: | 2024年3月1日 - 2025年8月31日 |
