馬來西亞伺服器
|
中國伺服器 (2018-08-01)
|
香港伺服器
|
海外加速伺服器
|
歐洲加速伺服器
繁體
註冊
登錄
論壇
搜索
幫助
導航
公仔箱論壇
»
Apple討論區
» 無需聯網本地就運行,iPhone 或電腦 AI 聊天機器人 MLC LLM
返回列表
回復
發帖
發新話題
發佈投票
發佈懸賞
發佈辯論
發佈活動
發佈視頻
發佈商品
sun7005
發短消息
加為好友
sun7005
當前在線
版主
1
#
打印
字體大小:
t
T
發表於 2023-5-8 05:49 PM
|
只看該作者
[其它]
無需聯網本地就運行,iPhone 或電腦 AI 聊天機器人 MLC LLM
目前 AI 聊天機器人基本都需要連接到雲端進行處理,而可以本地運行的機器人對配置的要求卻極高。好在近期出現了輕量化且無需聯網的聊天機器人。
一款名為 MLC LLM 的全新開源項目已在 GitHub 上線,並且可以完全本地運行無需聯網。該項目對硬件配置的要求也較低,集顯老電腦,甚至是 iPhone 都可以運行。
MLC LLM 項目介紹稱「MLC LLM 是一種通用解決方案,它允許將任何語言模型本地部署在一組不同的硬件後端和本地應用程式上,此外還有一個高效的框架,供每個人進一步優化自己用例的模型性能。一切都在本地運行,無需伺服器支援,並通過手機和筆記型電腦上的本地 GPU 加速。我們的使命是讓每個人都能在裝置上直接開發、優化和部署 AI 模型。」
該項目開發者來自卡內基梅隆大學的 Catalyst 計劃、SAMPL 機器學習研究小組以及華盛頓大學、上海交通大學和 OctoML 等。
MLC LLM 使用 Vicuna-7B-V1.1 搭建,雖然是基於 Meta 的 LLaMA 的輕量級 LLM,表現不如 GPT3.5 或 GPT4,但其體積和對性能的要求較低。
據外媒 tomshardware 的測試,目前 6GB RAM 的 Apple iPhone 14 Pro Max 和 iPhone 12 Pro Max 手機可成功運行 MLC LLM,安裝大小為 3GB。但 4GB RAM 的 Apple iPhone 11 Pro Max 就無法運行 MLC LLM 了。
當前 MLC LLM 可在 Windows、Linux、macOS 和 iOS 平台上安裝運行,暫時沒有發布適用於 Android 的版本。
值得一提的是,ThinkPad X1 Carbon(第6 代,搭載 i7-8550U 處理器 + Intel UHD 620 GPU)能成功安裝運行 MLC LLM,但在對話時需要將近30秒才能回覆,且幾乎沒有連續對話能力,期待後續改進。
收藏
分享
評分
https://mobile.uwants.com/space. ... &uid=1787121###
回復
引用
訂閱
TOP
返回列表
疑難排除
其他手機討論區
版塊跳轉
NEW!! 生活點滴分享 (流動用戶專用區)
歡迎新手
新手提問區
新手教學區
VIP 會所
有傾有講吹水區
家庭吹水區
劇集綜合吹水區
音樂娛樂吹水區
電影娛樂吹水區
戀愛物語
婚禮甜品屋
海外生活版
打工仔樂園
虛擬寵物討論區
提問及教學區
裝備物品交易區
師徒家族討論區
TVB積分獵人區
TVB積分獵人(網絡任務區)
任務完成
笑出新天地
笑笑小電影
挑戰IQ 200
接龍遊戲區
超自然科學及詭異怪談區
恐怖貼圖區
驚嚇短片
野生自然生態區
世界動物日
寵物交流區
寵物貼圖區
寵物領養/轉讓區
釣魚樂
DIY手工藝
花苑園藝
模型分享專區
魔術幻影
Photoshop專區
攝影天地
攝影教學專區
家居生活
影音器材
閃字創作區
茶香四溢
車迷討論區
車迷改修俱樂部
車迷賽車資訊
車迷資源區
名車貼圖區
健康工房
旅遊好介紹
識飲識食
食經薈萃
飲食發問區
潮流屋
每日一篇好文
會員原創專欄
散文詩意
冷知識及生活小百科
其他手機討論區
Apple討論區
iPhone Apps
iPad Apps
手機鈴聲區
夢幻自貼街
明星貼圖分享
偶像粉絲會
Cosplay自貼街
穿幫鏡頭逐個捉
俊男貼圖區
寵物貼圖區
寵物領養/轉讓區
自然風景貼圖區
名車貼圖區
車迷討論區
軍事貼圖區
桌布天地
動漫貼圖區
趣怪貼圖區
足球天地
英格蘭超級聯賽
利物浦俱樂部
曼聯俱樂部
阿仙奴俱樂部
車路士俱樂部
西班牙甲組聯賽
意大利甲組聯賽
NBA 天地
NBA遊戲區
侯斯頓火箭俱樂部
洛杉磯湖人俱樂部
麥可喬丹專區
體育世界
體育節目分享
馬迷世界討論區
武術聯盟討論區
摔角專區
電台節目分享
商台專區
其他電台節目專區
廣播劇專區
經典重溫
中文電影專區
歐美電影專區
空間分享 - 電視劇集
空間分享-求檔區
高清世界-劇集分享
高清綜藝節目區
香港 TV 劇集專區
ViuTV & HKTV 劇集專區
粵語配音連續劇
台灣 TV 劇集專區
中國大陸 TV 劇集專區
其它 TV 劇集專區
日本 TV 劇集專區
韓國 TV 劇集專區
英語 TV 劇集專區
英語TV 劇集完季區
香港綜藝節目專區
香港時事節目專區
ViuTV & 奇妙電視 & ATV 綜藝分享區
收費電視綜藝分享區
日韓綜藝節目專區
台灣綜藝節目專區
(每週)台灣綜藝節目
BT Sport
空間下載分享
音樂求檔區
歲月留聲機
音樂唱作區
伴奏音樂區
求譜區
樂譜交流區
電腦資訊 [最新]
電腦硬體 [問題/討論/交流]
砌機組合
疑難排除
電腦軟體 [問題/討論]
BT研討區 [討論/教學/FAQ]
防駭/防毒專區
作業系統 [問題/討論]
Flash Game遊戲分享區
TV 遊戲下載區
新手教學區
NEW!! 生活點滴分享 (流動用戶專用區)
歡迎新手
新手提問區
新手教學區
生活資訊區
VIP 會所
有傾有講吹水區
家庭吹水區
劇集綜合吹水區
音樂娛樂吹水區
電影娛樂吹水區
戀愛物語
婚禮甜品屋
海外生活版
打工仔樂園
論壇虛擬社區
虛擬寵物討論區
提問及教學區
裝備物品交易區
師徒家族討論區
理想精選
TVB積分獵人區
TVB積分獵人(網絡任務區)
任務完成
笑出新天地
笑笑小電影
挑戰IQ 200
接龍遊戲區
超自然科學及詭異怪談區
恐怖貼圖區
驚嚇短片
野生自然生態區
世界動物日
寵物交流區
寵物貼圖區
寵物領養/轉讓區
理想創意
釣魚樂
DIY手工藝
花苑園藝
模型分享專區
魔術幻影
Photoshop專區
攝影天地
攝影教學專區
家居生活
影音器材
閃字創作區
健康生活台
茶香四溢
車迷討論區
車迷改修俱樂部
車迷賽車資訊
車迷資源區
名車貼圖區
健康工房
旅遊好介紹
識飲識食
食經薈萃
飲食發問區
潮流屋
知識新人類
每日一篇好文
會員原創專欄
散文詩意
冷知識及生活小百科
手機區
其他手機討論區
Apple討論區
iPhone Apps
iPad Apps
手機鈴聲區
貼圖區
夢幻自貼街
明星貼圖分享
偶像粉絲會
Cosplay自貼街
穿幫鏡頭逐個捉
俊男貼圖區
寵物貼圖區
寵物領養/轉讓區
自然風景貼圖區
名車貼圖區
車迷討論區
軍事貼圖區
桌布天地
動漫貼圖區
趣怪貼圖區
體育資訊台
足球天地
英格蘭超級聯賽
利物浦俱樂部
曼聯俱樂部
阿仙奴俱樂部
車路士俱樂部
西班牙甲組聯賽
意大利甲組聯賽
NBA 天地
NBA遊戲區
侯斯頓火箭俱樂部
洛杉磯湖人俱樂部
麥可喬丹專區
體育世界
體育節目分享
馬迷世界討論區
武術聯盟討論區
摔角專區
娛樂分享區
電台節目分享
商台專區
其他電台節目專區
廣播劇專區
經典重溫
BT電影分享區
中文電影專區
歐美電影專區
空間分享專區
空間分享 - 電視劇集
空間分享-求檔區
TV分享地帶
高清世界-劇集分享
高清綜藝節目區
香港 TV 劇集專區
ViuTV & HKTV 劇集專區
粵語配音連續劇
台灣 TV 劇集專區
中國大陸 TV 劇集專區
其它 TV 劇集專區
日本 TV 劇集專區
韓國 TV 劇集專區
英語 TV 劇集專區
英語TV 劇集完季區
香港綜藝節目專區
香港時事節目專區
ViuTV & 奇妙電視 & ATV 綜藝分享區
收費電視綜藝分享區
日韓綜藝節目專區
台灣綜藝節目專區
(每週)台灣綜藝節目
BT Sport
空間下載分享
音樂專區
音樂求檔區
歲月留聲機
音樂唱作區
伴奏音樂區
求譜區
樂譜交流區
電腦區
電腦資訊 [最新]
電腦硬體 [問題/討論/交流]
砌機組合
疑難排除
電腦軟體 [問題/討論]
BT研討區 [討論/教學/FAQ]
防駭/防毒專區
作業系統 [問題/討論]
遊戲資訊區
Flash Game遊戲分享區
TV 遊戲下載區
成人區
系統討論區
版主內務區