第一天

Ollama、Huggingface和魔塔社區(qū)平臺使用

大語言模型簡介

大模型發(fā)展歷程

國內(nèi)和國外大模型廠商和產(chǎn)品

大模型分類和使用

業(yè)務(wù)本地化部署大模型應(yīng)用

部署本地化大模型的意義

本地化部署還是租用算力服務(wù)器

如何進行成本測算

Ollama簡介

Ollama安裝和常用參數(shù)配置

Ollama大模型介紹

Ollama部署deepseek和Qwen

管理和部署本地大模型

基于Ollama的Web構(gòu)建

ChatBox安裝和使用

huggingface簡介

注冊和安裝、模型探索

下載模型、模型推理和使用

Modelscope簡介

學(xué)習(xí)使用Modelscope提供的免費算力服務(wù)器

搭建python開發(fā)環(huán)境

模型下載和推理使用

Ollama、Modelscope和Huggingface對比和選擇

理解模型規(guī)模、GPU選型和服務(wù)器選型

第二天

vLLM部署和大模型理論基礎(chǔ)

租用AUTODL算力服務(wù)器

大模型模型選擇和服務(wù)器/顯卡選擇

搭建python環(huán)境

實現(xiàn)大模型推理

Transformers安裝和使用:模型推理、Pipeline和文本生成

vLLM 簡介和和安裝

使用vLLM實現(xiàn)模型推理

使用vllm實現(xiàn)部署模型(deepseek-r1和Qwen3和嵌入模型等)

OpenWebUI搭建大模型聊天應(yīng)用

下載和安裝

大模型的常用配置

實現(xiàn)聊天應(yīng)用

理解大模型原理基礎(chǔ)

大模型是如何訓(xùn)練的？

理解注意力機制

理解Transformer架構(gòu)

生成語言基礎(chǔ)模型GPT

理解強化學(xué)習(xí)RLHF流程與思想

什么是模型微調(diào)

微調(diào)的概念和流程

理解LoRA工作原理

LoRA微調(diào)流程

第三天

使用LLaMA-Factory實現(xiàn)模型微調(diào)和量化

LLaMA-Factory框架簡介

安裝LLaMA-Factory框架并搭建微調(diào)環(huán)境

基座模型選擇和下載：根據(jù)微調(diào)任務(wù)選擇不同的基座模型

微調(diào)數(shù)據(jù)集準備

理解identity.json認知數(shù)據(jù)集

微調(diào)數(shù)據(jù)集的結(jié)構(gòu)解析

使用deepseek和知識庫生成微調(diào)數(shù)據(jù)集

開始使用LoRA訓(xùn)練模型

使用訓(xùn)練模型進行聊天測試

理解模型訓(xùn)練之超參數(shù)調(diào)優(yōu)

合并和導(dǎo)出模型

使用訓(xùn)練后模型進行測試

理解量化理論機制

什么是模型量化

模型量化機制探討

實現(xiàn)將Lora模型進行量化

將導(dǎo)出模型轉(zhuǎn)成Ollama,實現(xiàn)部署

使用vLLM部署微調(diào)模型

搭建和使用LLaMA-Factory WebUI

使用WEBUI實現(xiàn)模型Lora微調(diào)、合并和導(dǎo)出

使用代碼方式使用Lora模型微調(diào)

使用代碼方式實現(xiàn)Lora模型合并和導(dǎo)出