這是用戶在 2025-7-15 4:33 為 https://www.facebook.com/story.php?story_fbid=122171585084571654&id=61567149623703 保存的雙語快照頁面,由 沉浸式翻譯 提供雙語支持。了解如何保存?
󰟙

Myllm.tw 的貼文

Myllm.tw
‎6天‎󰞋󱙷
󰟝
Context Engineering:LLM 沒說錯,是你沒給對上下文? 還記得我們剛開始玩 ChatGPT 時,大家都在比誰的 prompt 寫得好? 但隨著 AI Agent 與多工具鏈(toolchains)興起,我們越來越意 識到:真正決定任務成功與否的,早已不是一 段提示,而是整體「上下文」的設計能力。這 就是為什麼 最近討論的焦點,已從 Prompt Engineering(提示工程)逐漸轉向 一個更廣泛、更關鍵的概念 Context Engineering(上下文工程)! 什麼是 Context Engineering? 最早提到此概念的,可能是 [12-factor-agents 的 Own your context window](https://github. com/humanlayer/12-factor- agents/blob/main/content/factor-03-own- your-context-window.md) 一文。作者 Dex 提到:在任一時刻,LLM 接收到的輸入可以被視為「這是目前為止發生 的事,下一步該怎麼辦?」——一切的關鍵, 在於上下文工程。 [Tobi Lutke](https://x. com/tobi/status/1935533422589399127)(Sh opify 執行長)表示:「我更喜歡 'context engineering' 這個詞,而非 'prompt engineering'。它更貼切地描述了這項核心技能 :為任務提供完整上下文,讓 LLM 能夠合理解決問題的藝術。」 LangChain 也在其官方部落格中指出,Context Engineering 是一種 動態系統設計方法,目標是在正確的時間、用 正確的格式,提供正確的資訊與工具給 LLM,協助它完成任務。 🔍 什麼是上下文(Context)? 在 LLM 的世界裡,「上下文」不只是那一行 prompt,而是: - 系統說明(System Prompt):定義模型角色與規則 - 使用者輸入:任務需求、問題描述 - 對話歷史:前幾輪的互動記錄 - 長期記憶:模型對你偏好或任務背景的認知 - 可用工具:模型可以調用的 API/功能(如查庫存、寄信) - 外部知識:檢索增強生成(RAG)拉取的即時資 訊 - 結構化格式:明確規定回答格式(如 JSON) 這一整包資訊,就是你給 LLM 的「作業環境」——設計得好,它就能產出驚 人結果;設計不好,再強的模型也難以發揮。 🔧 四種 Context Engineering 核心策略: LangChain 核心開發者—Lance Martin,將 Context Engineering 的做法分為四種: 1. 寫入(Write):將資訊寫入 context 之外的記憶模組或便箋簿(Scratchpad),如 Claude 的 think tool 2. 選擇(Select):從記憶、工具、RAG 等來源中挑選當前最 relevant 的片段送入 context 3. 壓縮(Compress):摘要或修剪過長的上下文 ,確保 token 效率最大化(Claude 就內建自動壓縮機制) 4. 隔離(Isolate):將上下文分拆到多個子代理 中處理,或透過 sandbox 執行並回傳結果 這些方法讓我們能夠打造「記憶型、可調用、 具推理力」的 AI Agent。 隨著 AI Agent 的興起,「在有限的工作記憶中該載入哪些資 訊」變得格外重要。事實上,影響 Agent 成敗的核心關鍵,往往不是模型能力,而是所 提供的上下文品質。今天,許多代理任務的失 敗,已不再是模型錯誤,而是上下文工程的不 足。難怪越來越多企業與開發者,開始把「Con text Designer」當作未來重要職能來看待! 💬 你目前是怎麼設計 LLM 的上下文?歡迎在留言區分享你的實作經驗, 讓我們一起打造更聰明的 AI 系統! 參考資料: https://www.philschmid.de/context- engineering https://blog.langchain.com/context- engineering-for-agents/ https://www.llamaindex.ai/blog/context- engineering-what-it-is-and-techniques-to- consider https://medium.com/data-science-in-your- pocket/context-engineering-vs-prompt- engineering-379e9622e19d https://medium.com/ai-artistry/context- engineering-with-agents-using-langgraph-a- guide-for-modern-ai-development- 7434ffec3aa8 #ContextEngineering #AI工程 #LangChain #AIAgent #LLM應用 #RAG #Prompt
可能是藍圖和顯示的文字是「 P myPDA 上下文工程 CONTEXT ENGINEERING 上下文工程是一門設計與精建動態系統的學間 上下文工程是 旨在於正確的時間 時間、以正確的格式,提供正確的資訊與工具 以正確的格式 提供正確的資訊樂工具 使大型語言模型能夠有效完成任務 Instructions/ Instructions/SystemPrompt System Prompt Long-Term Long-TermMemory Long- Term Memory State/ History (Short-TermMemory) Retrieved RetrievedInformation Information (RAG) Available AvailableTools Tools UserPrompt User Prompt Structured StructuredOutput Output 」的圖形
可能是藍圖和顯示的文字是「 P myPDA LLM Context ContextWindow Window Knowledge Context Engineering Instructions ส eeman o Context Engineering for Agents Tools Tool Call Human LLM Tool Feedback LangChain 」的圖形
可能是顯示的文字是「 myPDA Write WriteContext Context Long-termmemories Long- Long-term -term memories ao (aarossagentsessions) adoss agent sessions) Select SelectContext Context Retrieverelevanttools Retrieve relevant tools 圖→ Scratchpad (withi agent vithnagentsession) session) Retrievefromscratchpad Retrieve from scratchpad Retrievelong-termmemories Retrieve long -term memories State (with agent (withinagentsession) session Retrieve relevant memories Compress Context Isolate Context Summarize context to retain relevant tokens Partition context in state → Summarize Hold in environment/sandbox Trim context to remove irrelevant tokens Partition across multi- multi-agent agent LLM LLM LanceMartin Lance Martin 」的圖形
17
17
󰍹
󰐑
󰍺 120
尚無留言
留言搶頭香!
󰝖
󰢉
󰙏
󱛅
󱛅