資訊專欄INFORMATION COLUMN
ollama介紹
在本地啟動并運行大型語言模型。運行Llama 3、Phi 3、Mistral、Gemma和其他型號。
Llama 3
Meta Llama 3 是 Meta Inc. 開發的一系列最先進的模型，提供8B和70B參數大小（預訓練或指令調整）。
Llama 3 指令調整模型針對對話/聊天用例進行了微調和優化，并且在常見基準測試中優于許多可用的開源聊天模型。
安裝
pip install ollama
用法
import ollamaresponse = ollama.chat(model='llama2', messages=[ { 'role': 'user', 'content': 'Why is the sky blue?', },])print(response['message']['content'])流式響應
可以通過設置stream=True、修改函數調用以返回 Python 生成器來啟用響應流，其中每個部分都是流中的一個對象。
import ollama
stream = ollama.chat(
model='llama2',
messages=[{'role': 'user', 'content': 'Why is the sky blue?'}],
stream=True,
)
for chunk in stream:
print(chunk['message']['content'], end='', flush=True)應用程序編程接口
Ollama Python 庫的 API 是圍繞Ollama REST API設計的
聊天
ollama.chat(model='llama2', messages=[{'role': 'user', 'content': 'Why is the sky blue?'}])新增
ollama.generate(model='llama2', prompt='Why is the sky blue?')
列表
ollama.list()
展示
ollama.show('llama2')
創建
modelfile=''' FROM llama2 SYSTEM You are mario from super mario bros. ''' ollama.create(model='example', modelfile=modelfile)
復制
ollama.copy('llama2', 'user/llama2')刪除
ollama.delete('llama2')
Pull
ollama.pull('llama2')
push
ollama.push('user/llama2')嵌入
ollama.embeddings(model='llama2', prompt='The sky is blue because of rayleigh scattering')
定制客戶端
可以使用以下字段創建自定義客戶端：
host：要連接的 Ollama 主機
timeout: 請求超時時間
from ollama import Client
client = Client(host='http://localhost:11434')
response = client.chat(model='llama2', messages=[
{
'role': 'user',
'content': 'Why is the sky blue?',
},
])異步客戶端
import asyncio
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': 'Why is the sky blue?'}
response = await AsyncClient().chat(model='llama2', messages=[message])
asyncio.run(chat())設置stream=True修改函數以返回 Python 異步生成器：
import asyncio
from ollama import AsyncClient
async def chat():
message = {'role': 'user', 'content': 'Why is the sky blue?'}
async for part in await AsyncClient().chat(model='llama2', messages=[message], stream=True):
print(part['message']['content'], end='', flush=True)
asyncio.run(chat())錯誤
如果請求返回錯誤狀態或在流式傳輸時檢測到錯誤，則會引發錯誤。
model = 'does-not-yet-exist'try: ollama.chat(model)except ollama.ResponseError as e: print('Error:', e.error)if e.status_code == 404: ollama.pull(model) 附高性能NVIDIA RTX 40 系列云服務器購買：
http://m.specialneedsforspecialkids.com/site/active/gpu.html?ytag=seo
https://www.compshare.cn/?ytag=seo
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/131088.html
2024年4月18日，Meta AI正式宣布推出開源大模型Llama3，這標志著開源大型語言模型（LLM）領域的又一重大突破。Llama3以其卓越的性能和廣泛的應用前景，或將推動人工智能技術快速邁進新紀元。為方便AI應用企業及個人AI開發者快速體驗Llama3的超高性能，近期優刻得GPU云主機上線Llama3-8B-Instruct-Chinese鏡像，一鍵配置，快速部署模型開發環境。為客戶提供開...
在很長一段時間內，占據大模型評測榜單最前列的大多是一些閉源模型，直到Meta再次發布了最新的開源模型。就在近日，Meta和OpenAI打響了硅谷 AI 大模型保衛戰。美國當地時間7月23日，Meta正式發布Llama 3.1。其包含8B、70B 和405B三個規模，最大上下文提升到了128k。Llama是目前開源領域中用戶最多、性能最強的大型模型系列之一。Meta 表示，他們將通過提供更多與模型協...
Llama3-8B-Chinese-Chat 是基于 Meta-Llama-3-8B-Instruct 模型通過 ORPO進行微調的中文聊天模型。與原始的 Meta-Llama-3-8B-Instruct 模型相比，此模型顯著減少了中文問題英文回答"和混合中英文回答的問題。此外，相較于原模型，新模型在回答中大量減少了表情符號的使用，使得回應更加正式。與 Llama-3-8B-nsturc...
Llama3 中文聊天項目綜合資源庫，該文檔集合了與Lama3 模型相關的各種中文資料，包括微調版本、有趣的權重、訓練、推理、評測和部署的教程視頻與文檔。1. 多版本支持與創新：該倉庫提供了多個版本的Lama3 模型，包括基于不同技術和偏好的微調版本，如直接中文SFT版、Instruct偏好強化學習版、趣味版等。此外，還有Phi3模型中文資料倉庫的鏈接，和性能超越了8b版本的Llama3。2. 部...
閱讀 4525·2025-01-02 11:25
閱讀 454·2024-12-10 11:51
閱讀 441·2024-11-07 17:59
閱讀 380·2024-09-27 16:59
閱讀 520·2024-09-23 10:37
閱讀 605·2024-09-14 16:58
閱讀 378·2024-09-14 16:58
閱讀 598·2024-08-29 18:47
