什麼是內建 AI
內建 AI 是指將人工智慧模型直接整合到網頁瀏覽器中，使網頁應用程式能夠在本地執行 AI 驅動的任務，而不需要伺服器端的 AI 部署。這種方法對於在現代桌上型和筆記型電腦上運行大型語言模型（LLM）及其他 AI 模型特別有利。
主要特點
- 本地 AI 模型執行：允許 AI 模型直接在瀏覽器中運行，改善延遲並減少對伺服器端處理的需求。
- 裝置優化：利用 GPU、NPU 或 CPU 等裝置能力以達到最佳性能。
- 隱私和安全：通過本地處理敏感數據來增強隱私。
內建 AI 的優勢
對於網頁開發者
- 部署方便：瀏覽器管理模型的分發和更新，消除了開發者處理大型模型下載和更新的需要。
- 硬體加速：利用可用硬體來提升性能。
對於終端用戶
- 本地數據處理：通過本地處理數據和端到端加密來改善隱私。
- 增強的用戶體驗：通過消除伺服器往返來提供更快速、更響應的 AI 功能。
- 離線功能：即使沒有網際網路連接也能啟用 AI 功能。
如何使用內建 AI
瀏覽器整合
- 任務 API：使用翻譯 API 或摘要 API 等 API 來執行特定任務與內建 AI 模型。
- 探索性 API：使用提示 API 等 API 進行自定義用例的實驗。
混合 AI 方法
- 客戶端和伺服器端：將本地 AI 處理與伺服器端支持結合起來，以支持大型模型或複雜任務。
- 彈性和備援：對不支持本地執行的裝置使用伺服器端 AI 作為備援。
實施
- Gemini 模型：使用後端支持或 Google AI 客戶端 SDK for Web 整合 Gemini Nano 或其他 Gemini 模型。
結論
瀏覽器中的內建 AI 在網頁上利用 AI 模型的方式上提供了重大進展，在部署便利性、隱私和用戶體驗方面帶來了好處。通過利用本地裝置的能力並通過混合方法保持靈活性，開發者可以創建強大且響應迅速的網頁應用程式，充分發揮 AI 技術的潛力。