在為其企業套件的 Copilot AI 智能產品宣布一系列更新一週後，Microsoft 正在推出新的 Copilot 功能，包括一個可以理解並回答關於您屏幕上內容的問題的工具。
今天開始推出更新的 Copilot 應用程序包括 iOS、Android、Windows 和網頁版本，所有版本都具有更“溫暖”和“獨特”的風格，正如 Microsoft 所描述。Microsoft 還將聊天機器人引入 WhatsApp，讓用戶可以通過 DM 與 Copilot 交談，這與在 Meta 的消息平台上與其他機器人交互的體驗相似。
Copilot Vision
Copilot Vision 可以查看您在 PC 上查看的內容 - 更具體地說，是查看您在 Microsoft Edge 上訪問的網站。位於 Copilot Labs 背後，這是一個針對實驗性 Copilot 功能的新功能，只適用於 Copilot Pro 會員，Copilot Vision 可以分析網頁上的文本和圖像，並回答關於它們的問題（例如：“這張圖中的食物食譜是什麼？”）。
Vision 可以通過在 Edge 的地址欄中輸入“@copilot”來啟動，這並不是一項技術奇蹟。Google 在 Android 上提供了類似的搜索技術，最近也將該技術的一些部分引入了 Chrome。
但 Microsoft 暗示 Copilot Vision 比以前的屏幕分析功能更強大，並且更加重視隱私。
Microsoft 在與 TechCrunch 分享的一篇博文中寫道：“Copilot Vision 可以...建議下一步行動，回答問題，幫助導航您想要做的任何事情，並在您用自然語言與它交談時協助執行任務。”“想象一下，您正在努力為新公寓配備家具。Copilot Vision 可以幫助您搜索家具，找到合適的色調，思考從地毯到毯子的各種選擇，甚至提出如何安排您正在查看的物品的建議。”
Microsoft 毫無疑問地希望避免再次因 AI 隱私問題而受到壞名聲。Microsoft 強調，Copilot Vision 設計成在對話結束後立即刪除數據。公司聲稱已處理的音頻、圖像或文本不會被存儲或用於訓練模型，至少在此預覽版本中不會。
Copilot Vision 在解釋網站類型方面也存在限制。目前，Microsoft 阻止此功能在付費和“敏感”內容上運作，將 Vision 限制在預先批准的“熱門”網站列表中。
“敏感”內容包括什麼？色情？暴力？Microsoft 在這個時候不願透露。
最近，有指控稱 Microsoft 以 AI 工具繞過付費墻而陷入法律困境。在一項持續進行的訴訟中，紐約時報指控 Microsoft 允許用戶通過 Bing 上的 Copilot 聊天機器人閱讀紐約時報的文章，以達到覆蓋付費文章的目的。根據紐約時報的說法，當以某種方式提出要求時，由 Microsoft 合作夥伴 OpenAI 模型提供動員（或非常接近動員）的付費故事片段。
Microsoft 表示，暫時只有美國可以使用 Copilot Vision，該功能將遵守站點對“AI 的機器可讀控制”的規定 - 例如禁止機器人為 AI 訓練抓取數據的規則。但公司尚未明確表示 Vision 將遵守哪些控制; 目前有幾種在使用中。 我們已經向 Microsoft 尋求澄清。
許多主要出版商已經選擇阻止 AI 工具在其網站上抓取內容，不僅出於對他們的數據未經許可使用的擔憂，還出於防止這些工具使其服務器成本飆升的原因。 如果目前的趨勢持續下去，Copilot Vision 可能無法在一些頂級新聞網站上運作。
Microsoft 表示，公司致力於“接受反饋”以消除擔憂。
“在我們廣泛推出之前，我們將繼續...完善我們的安全措施，並將隱私和責任置於所有我們所做的中心位置，”Microsoft 在博文中寫道。 “ Copilot 所瀏覽的網站內容沒有具體的處理，也沒有進行任何 AI 訓練 - Copilot Vision 只是與您一起首次讀取和解釋頁面上所見的圖像和文本。”
深入思考
與 Vision 一樣，Copilot 的新 Think Deeper 功能旨在使 Microsoft 的助手更加多功能。
Microsoft 表示，由於“推理模型”採用了需要更長時間才能提供步驟式答案的功能，Think Deeper 讓 Copilot 有能力思考更複雜的問題。
什麼樣的推理模型？當我詢問時，Microsoft 有點神秘，只說 Think Deeper 使用了“由 Microsoft 微調的 OpenAI 的最新模型”。通過字裏行間，我們可以肯定地說它們是 o1 模型的定制版本。
“我們設計了 Think Deeper 以幫助解決各種實際的日常挑戰，比如將兩個複雜選項進行對比，”Microsoft 在一篇博文中寫道。 “Think Deeper 可以幫助解決從解決難題到權衡管理家庭項目成本的所有事情。”
Microsoft 在其新聞資料中大力宣揚了 Think Deeper 的潛力。但是，假設底層模型是 o1，它在某些方面肯定會有所不足。我們很好奇 Microsoft 對基本模型進行了哪些增強，以及 Think Deeper 在限制方面有多坦率。
Think Deeper 將從今天開始提供給澳大利亞、加拿大、新西蘭、美國和英國的一小部分 Copilot Labs 用戶使用。
Copilot Voice
今天正式推出的新 Copilot 功能是 Copilot Voice（請勿與 GitHub 的 Copilot Voice 搞混）。Voice 以英語在紐西蘭、加拿大、澳大利亞、英國和美國首次推出，添加了四種合成聲音，讓您可以與 Copilot 對話，並讓其回答變成語音播放。
與 OpenAI 的 ChatGPT 的 Advanced Voice Mode 一樣，Copilot Voice 可以在對話期間捕捉到您的語氣並作出相應回應，而且您可以在 Copilot Voice 回答時任何時候插話。Microsoft 的一位發言人告訴我，該模式使用“最新的語音技術和經過微調的新模型用於 Copilot 應用程序”。 關於技術採用了什麼？哪些模型？對於具體細節，保持緘默。
需要注意的一點是，Copilot Voice 有一個基於時間的使用限制。 Copilot Pro 訂閱者獲得更多時間，但具體數字是“可變的”，Microsoft 告訴我，取決於需求。
個性化
Microsoft 表示，即將推出的新個性化設置將使 Copilot 更加符合您的喜好和偏好。
啟用這個設置時，Copilot 將根據您過去的互動和歷史，以及與其他 Microsoft 應用程序和服務的互動（Microsoft 將不會說明哪些）來推薦使用 Copilot 的方式。
“這有助於您開始，提供 Copilot 有用功能的便捷指南和交談開啟語句，”Microsoft 在博文中寫道。
Copilot 中的個性化設置可以在 Windows 的 Copilot 設置菜單中關閉，英國或歐盟暫不設定日期。但其他地區的用戶應該在今天下午開始看到這個設置。
就 AI 產品推出方面，微軟和歐盟之間的關係一直不和諧。今年五月，歐盟警告微軟，在公司未能回應關於其生成式 AI 工具的信息請求後，根據該區塊的在線治理制度數位服務法案將會面臨最高為其全球年營業額的 1% 罰款。
除 Microsoft 外，包括蘋果和 Meta 在內的多家科技巨頭，都對在歐盟推出 AI 工具採取謹慎的態度，避免觸犯該區塊有關數據隱私和模型部署的法律。
“對於歐洲經濟區（EEA）的用戶以及其他有限數量的國家/地區，我們正在評估提供這類 Copilot 個性化服務給這些用戶之前的選項，”一位 Microsoft 發言人告訴 TechCrunch。 “在一段時間內，一些功能在 EEA 將不可用。”
