国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

【compshare】UCloud優刻得GPU租用平臺推薦

UCloud小助手 / 762人閱讀

【compshare】推薦一個GPU按小時租的平臺，使用實體機部署，可以方便快速的部署xinf推理框架并提供web展示，部署qwen大模型，特別方便


UCloud(優刻得)是中國知名的中立云計算服務商，科創板上市(股票代碼：688158)，中國云計算第一股，專注于提供可靠的企業級云服務，包括云服務器、云主機、云數據庫、混合云、CDN、人工智能等服務。


compshare算力共享平臺：

專注于提供高性價比算力資源，海量GPU，一鍵部署，即算即用，讓AI訓練、深度學習、科研計算效率翻倍。

————————————————                        

原文鏈接：https://blog.csdn.net/freewebsys/article/details/139188230

image.png

1、需要選擇 ubuntu 版本，可以支持最高 12.4 的cuda驅動。

然后就可以通過webshell登陸了：

image.png

但是界面啟動后需要等待下驅動安裝。

2、直接使用帳號遠程登陸


端口使用8888

ssh root@117.50.xxx.xxx

輸入密碼就可以操作了


因為沒有設置環境變量所以需要執行：


export PATH=${PATH}:/home/ubuntu/.local/bin
export HF_ENDPOINT=https://hf-mirror.com
export XINFERENCE_MODEL_SRC=modelscope
export XINFERENCE_HOME=/home/ubuntu/xinf-data
xinference-local --host 0.0.0.0 --port 8888

image.png

模型之能運行一個，重啟再運行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

模型之能運行一個，重啟再運行即可。

  File "xoscar/core.pyx", line 284, in __pyx_actor_method_wrapper
    async with lock:
  File "xoscar/core.pyx", line 287, in xoscar.core.__pyx_actor_method_wrapper
    result = await result
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/utils.py", line 45, in wrapped
    ret = await func(*args, **kwargs)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 629, in launch_builtin_model
    subpool_address, devices = await self._create_subpool(
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 467, in _create_subpool
    else self.allocate_devices(model_uid=model_uid, n_gpu=gpu_cnt)
  File "/home/ubuntu/.local/lib/python3.10/site-packages/xinference/core/worker.py", line 365, in allocate_devices
    raise RuntimeError("No available slot found for the model")
RuntimeError: [address=0.0.0.0:62972, pid=27149] No available slot found for the model

3、調用接口

可以成功調用接口。測試qwen 大模型速度。

curl -X 'POST' 'http://0.0.0.0:8888/v1/chat/completions' -H 'Content-Type: application/json' -d '{
    "model": "qwen1.5-chat","stream": true,
    "messages": [
        {
            "role": "user",
            "content": "北京景點?"
        }
    ],
    "max_tokens": 512,
    "temperature": 0.7
}'

4、特別注意，不使用需要刪除應用

因為運行的方式不一樣，不使用了需要刪除應用。
否則還是會產生費用。
是獨享的模型創建的。

  • 推薦使用NVIDIA RTX 40 顯卡做模型推理，購買地址如下：

http://m.specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo

https://www.compshare.cn/?ytag=seo

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/131108.html

相關文章

  • GPU算力平臺哪家好

    Compshare是一個專注于提供高性價比算力資源的平臺，它為AI訓練、深度學習、科研計算等場景提供強大的支持。平臺的核心優勢在于其高效的GPU算力資源，用戶可以根據自己的需求，靈活選擇不同的GPU配置，實現一鍵部署和即算即用，從而顯著提升工作效率。100% GPU性能Compshare平臺通過GPU顯卡直通技術，確保用戶能夠充分利用GPU的性能，相比傳統的容器形式，性能損耗降低了30%。這意味著...

    UCloud小助手 評論0 收藏0

  • 新加坡云服務器多少錢?新加坡云服務器租用優勢及價格

    摘要：新加坡云服務器多少錢新加坡云服務器多少錢新加坡云服務器新加坡云服務器怎么樣新加坡云服務器機房都位于亞洲的金融中心之一的新加坡。下面，云服務器網小編詳細介紹一下新加坡云服務器租用優勢及價格。新加坡云服務器多少錢?新加坡云服務器怎么樣?新加坡云服務器機房都位于亞洲的金融中心之一的新加坡。新加坡云服務器國際帶寬充足，機房管理十分規范。完善的法律與機房充分保證了新加坡云服務器的高速穩定。ucloud...

    番茄西紅柿 評論0 收藏2637

  • 為什么選擇租用UCloud金翼物理機？UCloud金翼物理機優勢、標準型及定制型介紹

    摘要：簽約方式金翼物理機支持按月付款標準機型協議期限支持個月個月個月個月個月個月定制型協議期限僅支持個月個月個月租用個月后，服務器產權歸用戶所有。UCloud金翼物理機匯集UCloud多年硬件選型和運維經驗，以獨享物理機包年包月的形式租用給用戶，滿足用戶多層次的計算資源需求。金翼物理機作為UCloud公有云計算資源的有效補充，結合UCloud數據中心產品和網絡產品，為用戶提供完整的混合云解決方案。...

    Tecode 評論0 收藏0

  • Llama3來襲！如何通過4090GPU云主機快速部署？

    2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標志著開源大型語言模型（LLM）領域的又一重大突破。Llama3以其卓越的性能和廣泛的應用前景，或將推動人工智能技術快速邁進新紀元。為方便AI應用企業及個人AI開發者快速體驗Llama3的超高性能，近期優刻得GPU云主機上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發環境。為客戶提供開...

    UCloud小助手 評論0 收藏0

發表評論

0條評論

最新活動
閱讀需要支付1元查看
<