大模型是指網(wǎng)絡(luò)規(guī)模龐大的深度學(xué)習(xí)模型，其參數(shù)量通常在千億級(jí)別。

學(xué)習(xí)大模型需要具備計(jì)算機(jī)基礎(chǔ)，這一點(diǎn)非常重要！

要系統(tǒng)地入門大模型，首先需要學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)知識(shí)，包括神經(jīng)網(wǎng)絡(luò)（NN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）等。

在學(xué)習(xí)完基礎(chǔ)知識(shí)后，你可以借助開源算法來學(xué)習(xí)如何使用大模型進(jìn)行自然語言處理任務(wù)。目前有很多大模型開源算法可供學(xué)習(xí)和使用。你可以選擇一些經(jīng)典的大模型算法，如BERT、GPT-2和Transformer等，通過閱讀相關(guān)的論文和代碼實(shí)現(xiàn)來深入了解它們的工作原理和應(yīng)用場(chǎng)景。

學(xué)習(xí)路徑

本文分為四個(gè)章節(jié)，各章節(jié)的學(xué)習(xí)目標(biāo)如下。請(qǐng)注意本文主要是面向工程界撰寫，學(xué)術(shù)部分較少。

入門篇

• 了解大語言模型的基礎(chǔ)知識(shí)和常見術(shù)語。

• 學(xué)會(huì)使用編程語言訪問 OpenAI API 等常見大語言模型接口。

提高篇

• 了解機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、NLP 的基礎(chǔ)知識(shí)。

• 了解 Transformer 以及典型 Decoder-only 語言模型的基礎(chǔ)結(jié)構(gòu)和簡(jiǎn)單原理。

• 了解大語言模型發(fā)展歷史，以及業(yè)界主流模型（含開源模型）進(jìn)展。

應(yīng)用篇

• 可以在本地環(huán)境搭建開源模型的推理環(huán)境。Prompt 工程。

• 使用已有框架（如Langchain）或自行開發(fā)，結(jié)合大語言模型結(jié)果，開發(fā)生產(chǎn)應(yīng)用。

深入篇（本文涉及少量資料）

• 掌握 Continue Pre-train、Fine-tuning 已有開源模型的能力。

• 掌握 Lora、QLora 等低資源高效模型訓(xùn)練的能力。

• 掌握大語言模型微調(diào)以及預(yù)訓(xùn)練數(shù)據(jù)準(zhǔn)備的能力。

• 深入了解大模型背后的技術(shù)原理。

• 了解生產(chǎn)環(huán)境部署大模型的相關(guān)技術(shù)點(diǎn)。

讀者可以根據(jù)自己需要選擇對(duì)應(yīng)的章節(jié)，如對(duì)大語言模型的原理不感興趣，可只關(guān)注入門篇和應(yīng)用篇?？紤]到閱讀背景，本文盡可能提供中文資料或有中文翻譯的資料。

入門篇

在入門之前，請(qǐng)申請(qǐng) OpenAI API，并具備良好的國際互聯(lián)網(wǎng)訪問條件。

大語言模型綜述 大語言模型迄今為止最好的學(xué)術(shù)向中文綜述。中文版本：LLM_Survey_Chinese_0418.pdf 作為入門資料偏難，看不懂的部分可以等到后面章節(jié)再回頭重看。ChatGPT Prompt Engineering for Developers 雖然是 Prompt 工程，但是內(nèi)容比較簡(jiǎn)單，適合入門者。

中英雙語字幕：https://github.com/GitHubDaily/ChatGPT-Prompt-Engineering-for-Developers-in-Chinese OpenAI Quickstart OpenAI 官方 Quickstart 文檔。以及 API Reference State of GPT：GPT 聯(lián)合創(chuàng)始人做的演示，極好的總結(jié)了 GPT 的訓(xùn)練和應(yīng)用。

視頻：https://www..com/watch?v=bZQun8Y4L2A PPT：https://karpathy.ai/stateofgpt.pdf

提高篇

清華大模型公開課：從NLP到大模型的綜合課程，挑選感興趣的了解。

深度學(xué)習(xí)：大學(xué)李宏毅：大學(xué)李宏毅，國語教程里最好的，講的很清楚，也比較有趣。Understanding large language models ：理解大語言模型。The Illustrated GPT-2 (Visualizing Transformer Language Models)：圖解 GPT2 中文翻譯：https://zhuanlan.zhihu.com/p/139840113

InstructGPT: Training language models to follow instructions with human feedback：著名的 InstructGPT 論文。另外一篇中文介紹：https://huggingface.co/blog/zh/rlhf Huggingface NLP Course：NLP 入門課程 0x30 應(yīng)用篇 Building Systems with the ChatGPT API 中文字幕：https://www.bilibili.com/video/BV1gj411X72B/ Langchain Langchain 是大語言模型最火的應(yīng)用框架。即使不使用，也可以借鑒。

LangChain for LLM Application Development 中文字幕：https://www.bilibili.com/video/BV1Ku411x78m/ GPT best practices：OpenAI 官方出的最佳實(shí)踐。openai-cookbook：OpenAI 官方 Cookbook。Brex’s Prompt Engineering Guide：Prompt 工程簡(jiǎn)介

深入篇

Huggingface Transformer 文檔：Transformer 官方文檔

復(fù)雜推理：大語言模型的北極星能力 ：略學(xué)術(shù)，解釋大語言模型能力的來源。

GPT，GPT-2，GPT-3 論文精讀：視頻精讀。Building LLM applications for production：在生產(chǎn)環(huán)境中構(gòu)建 LLM 應(yīng)用。

一、全套AGI大模型學(xué)習(xí)路線

AI大模型時(shí)代的學(xué)習(xí)之旅：從基礎(chǔ)到前沿，掌握人工智能的核心技能！

二、0套AI大模型報(bào)告合集

這套包含0份報(bào)告的合集，涵蓋了AI大模型的理論研究、技術(shù)實(shí)現(xiàn)、行業(yè)應(yīng)用等多個(gè)方面。無論您是科研人員、工程師，還是對(duì)AI大模型感興趣的愛好者，這套報(bào)告合集都將為您提供寶貴的信息和啟示。

三、AI大模型經(jīng)典PDF籍

隨著人工智能技術(shù)的飛速發(fā)展，AI大模型已經(jīng)成為了當(dāng)今科技領(lǐng)域的一大熱點(diǎn)。這些大型預(yù)訓(xùn)練模型，如GPT-3、BERT、XLNet等，以其強(qiáng)大的語言理解和生成能力，正在改變我們對(duì)人工智能的認(rèn)識(shí)。 那以下這些PDF籍就是非常不錯(cuò)的學(xué)習(xí)資源。

四、AI大模型商業(yè)化落地方案

作為普通人，入局大模型時(shí)代需要持續(xù)學(xué)習(xí)和實(shí)踐，不斷提高自己的技能和認(rèn)知水平，同時(shí)也需要有責(zé)任感和倫理意識(shí)，為人工智能的健康發(fā)展貢獻(xiàn)力量。

第一階段（10天）：初階應(yīng)用

該階段讓大家對(duì)大模型 AI有一個(gè)最前沿的認(rèn)識(shí)，對(duì)大模型 AI 的理解超過 95% 的人，可以在相關(guān)討論時(shí)發(fā)表高級(jí)、不跟風(fēng)、又接地氣的見解，別人只會(huì)和 AI 聊天，而你能調(diào)教 AI，并能用代碼將大模型和業(yè)務(wù)銜接。

• 大模型 AI 能干什么？
• 大模型是怎樣獲得「智能」的？
• 用好 AI 的核心心法
• 大模型應(yīng)用業(yè)務(wù)架構(gòu)
• 大模型應(yīng)用技術(shù)架構(gòu)
• 代碼示例：向 GPT-3.5 灌入新知識(shí)
• 提示工程的意義和核心思想
• Prompt 典型構(gòu)成
• 指令調(diào)優(yōu)方
• 思維鏈和思維樹
• Prompt 攻擊和防范
• …

第二階段（30天）：高階應(yīng)用

該階段我們正式進(jìn)入大模型 AI 進(jìn)階實(shí)戰(zhàn)學(xué)習(xí)，學(xué)會(huì)構(gòu)造私有知識(shí)庫，擴(kuò)展 AI 的能力?？焖匍_發(fā)一個(gè)完整的基于 agent 對(duì)話機(jī)器人。掌握功能最強(qiáng)的大模型開發(fā)框架，抓住最新的技術(shù)進(jìn)展，適合 Python 和 JavaScript 程序員。

• 為什么要做 RAG
• 搭建一個(gè)簡(jiǎn)單的 ChatPDF
• 檢索的基礎(chǔ)概念
• 什么是向量表示（Embeddings）
• 向量數(shù)據(jù)庫與向量檢索
• 基于向量檢索的 RAG
• 搭建 RAG 系統(tǒng)的擴(kuò)展知識(shí)
• 混合檢索與 RAG-Fusion 簡(jiǎn)介
• 向量模型本地部署
• …

第三階段（30天）：模型訓(xùn)練

恭喜你，如果學(xué)到這里，你基本可以找到一份大模型 AI相關(guān)的工作，自己也能訓(xùn)練 GPT 了！通過微調(diào)，訓(xùn)練自己的垂直大模型，能訓(xùn)練開源多模態(tài)大模型，掌握更多技術(shù)方案。

到此為止，大概2個(gè)月的時(shí)間。你已經(jīng)成為了一名“AI小子”。那么你還想往下探索嗎？

• 為什么要做 RAG
• 什么是模型
• 什么是模型訓(xùn)練
• 求解器 & 損失函數(shù)簡(jiǎn)介
• 小實(shí)驗(yàn)2：手寫一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)并訓(xùn)練它
• 什么是訓(xùn)練/預(yù)訓(xùn)練/微調(diào)/輕量化微調(diào)
• Transformer結(jié)構(gòu)簡(jiǎn)介
• 輕量化微調(diào)
• 實(shí)驗(yàn)數(shù)據(jù)集的構(gòu)建
• …

第四階段（20天）：商業(yè)閉環(huán)

對(duì)全球大模型從性能、吞吐量、成本等方面有一定的認(rèn)知，可以在云端和本地等多種環(huán)境下部署大模型，找到適合自己的項(xiàng)目/創(chuàng)業(yè)方向，做一名被 AI 武裝的產(chǎn)品經(jīng)理。

• 硬件選型
• 帶你了解全球大模型
• 使用國產(chǎn)大模型服務(wù)
• 搭建 OpenAI 代理
• 熱身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地計(jì)算機(jī)運(yùn)行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何優(yōu)雅地在阿里云私有部署開源大模型
• 部署一套開源 LLM 項(xiàng)目
• 內(nèi)容安全
• 互聯(lián)息服務(wù)算法備案
• …

學(xué)習(xí)是一個(gè)過程，只要學(xué)習(xí)就會(huì)有挑戰(zhàn)。天道酬勤，你越努力，就會(huì)成為越優(yōu)秀的自己。

如果你能在15天內(nèi)完成所有的任務(wù)，那你堪稱天才。然而，如果你能完成 60-70% 的內(nèi)容，你就已經(jīng)開始具備成為一名大模型 AI 的正確特征了。

這份完整版的大模型 AI 學(xué)習(xí)資料已經(jīng)上傳CSDN，朋友們?nèi)绻枰梢晕⑿艗呙柘路紺SDN官方認(rèn)證二維碼免費(fèi)領(lǐng)取【保證100%免費(fèi)】