北京時間周二凌晨1點，自年初“文生視頻模型”Sora后許久未給市場帶來驚喜的OpenAI舉行春季發布會。公司首席技術官米拉·穆拉蒂（Mira Murati）向外界展現了多項與ChatGPT有關的更新。簡要來說，OpenAI的發布會主要干了兩件事情：發布最新GPT-4o多模態大模型，相較于GPT-4 Trubo速度更快、價格也更便宜。
第二件事情就是宣布，ChatGPT的免費用戶也能用上最新發布的GPT-4o模型（更新前只能使用GPT-3.5），來進行數據分析、圖像分析、互聯網搜索、訪問應用商店等操作。這也意味著GPT應用商店的開發者，將面對海量的新增用戶。
當然，付費用戶將會獲得更高的消息限制（OpenAI說至少是5倍）。當免費用戶用完消息數量后，ChatGPT將自動切換到GPT-3.5。
另外，OpenAI將在未來1個月左右向Plus用戶推出基于GPT-4o改進的語音體驗，目前GPT-4o的API并不包含語音功能。蘋果電腦用戶將迎來一款為macOS設計的ChatGPT桌面應用，用戶可以通過快捷鍵“拍攝”桌面并向ChatGP提問，OpenAI表示，Windows版本將在今年晚些時候推出。
值得一提的是，米拉·穆拉蒂在一次直播活動中表示:“這是我們第一次在易用性方面真正向前邁出了一大步。”
圖片來源：視頻截圖
OpenAI由微軟支持，目前投資者對其估值已超過800億美元。該公司成立于2015年，目前正面臨在生成式AI市場保持領先地位的壓力，同時需要想方設法實現盈利，因為其在處理器和基礎設施建設上投入了大量資金，以構建和訓練其模型。
實時口譯、讀取用戶情緒等
米拉·穆拉蒂強調了GPT-4o在實時語音和音頻功能方面必要的安全性，稱OpenAI將繼續部署迭代，帶來所有的功能。
在演示中，OpenAI研究主管Mark Chen掏出手機打開ChatGPT，用語音模式Voice Mode現場演示，向GPT-4o支持的ChatGPT征詢建議。GPT的聲音聽起來像一位美國女性，當它聽到Chen過度呼氣時，它似乎從中察覺到了他的緊張。然后說“Mark，你不是吸塵器”，告訴Chen要放松呼吸。如果有些大變化，用戶可以中斷GPT，GPT-4o的延遲通常應該不會超過兩三秒。
圖片來源：視頻截圖
另一項演示中，OpenAI的后訓練團隊負責人Barret Zoph在白板上寫了一個方程式3x+1=4，ChatGPT給他提示，引導他完成每一步解答，識別他的書寫結果，幫助他解出了X的值。這個過程中，GPT充當了實時的數學老師。GPT能夠識別數學符號，甚至是一個心形。
圖片來源：視頻截圖
應社交媒體X的用戶請求，米拉·穆拉蒂現場對ChatGPT說起了意大利語。GPT則將她的話翻譯成英語，轉告Zoph和Chen。聽完米拉·穆拉蒂說的意大利語，GPT翻譯為英文告訴Chen：“Mark，她（米拉·穆拉蒂）想知道鯨魚會不會說話，它們會告訴我們什么？”
圖片來源：視頻截圖
OpenAI稱，GPT-4o還可以檢測人的情緒。在演示中，Zoph將手機舉到自己面前正對著臉，要求ChatGPT告訴他自己長什么樣子。最初，GPT參考了他之前分享的一張照片，將他識別為“木質表面”。經過第二次嘗試，GPT給出了更好的答案。
GPT注意到了Zoph臉上的微笑，對他說:“看起來你感覺非常快樂，喜笑顏開。”有評論稱，這個演示顯示，ChatGPT可以讀取人類的情緒，但讀取還有一點困難。
圖片來源：視頻截圖
OpenAI的高管表示，GPT-4o可以與代碼庫交互，并展示了它根據一些數據分析圖表，根據看到的內容對一張全球氣溫圖得出一些結論。OpenAI稱，基于GPT-4o的ChatGPT文本和圖像輸入功能將于本周一上線，語音和視頻選項將在未來幾周內推出。
據外媒援引PitchBook的數據，2023年，近700筆生成式AI交易共投入創紀錄的291億美元，較上一年增長逾260%。據預測，該市場將在未來十年內突破1萬億美元收入大關。業內一些人對于未經測試的新服務如此迅速地推向市場表示擔憂，而學術界和倫理學家則對這項技術傳播偏見的傾向感到憂慮。
ChatGPT自2022年11月推出以來，便打破了當時最快增長消費類應用的歷史記錄，如今每周活躍用戶已接近1億。OpenAI表示，超過92%的《財富》500強企業都在使用該平臺。
圖片來源：CNBC報道截圖
在周一的活動上，穆拉蒂表示，OpenAI希望“消除科技中的一些神秘感”。她還說，“未來幾周，我們將向所有人推出這些功能?！?span style="display:none">bv9速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
在直播活動結束時，穆拉蒂感謝了英偉達首席執行官黃仁勛及其公司提供的必要圖形處理單元（GPU），這些GPU為OpenAI的技術提供了動力。她說，“我只想感謝出色的OpenAI團隊，同時也要感謝黃仁勛和英偉達團隊為我們帶來最先進的GPU，讓今天的演示成為可能?！?span style="display:none">bv9速刷資訊——每天刷點最新資訊，了解這個世界多一點SUSHUAPOS.COM
最快232毫秒響應音頻輸入
OpenAI官網介紹，GPT-4o中的o代表意為全能的前綴omni，稱它向更自然的人機交互邁進了一步，因為它接受文本、音頻和圖像的任意組合作為輸入內容，并生成文本、音頻和圖像的任意組合輸出內容。
圖片來源：OpenAI官網截圖
除了API的速度更快、成本大幅下降，OpenAI還提到，GPT-4o可以在最快232毫秒的時間內響應音頻輸入，平均響應時間為320毫秒，這與人類在對話中的響應時間相似。它在英語文本和代碼方面的性能與GPT-4 Turbo的性能一致，并且在非英語文本方面的性能有了顯著提高。
OpenAI介紹，與現有模型相比，GPT-4o在視覺和音頻理解方面尤其出色。以前GPT-3.5和GPT-4用戶以語音模式Voice Mode與ChatGPT對話的平均延遲時間為2.8秒和5.4秒，因為OpenAI用了三個獨立的模型實現這類對話：一個模型將音頻轉錄為文本，一個模型接收并輸出文本，再有一個模型將該文本轉換回音頻。這個過程意味著，GPT丟失了大量信息，它無法直接觀察音調、多個說話者或背景噪音，也無法輸出笑聲、歌唱或表達情感。
而GPT-4o的語音對話是OpenAI跨文本、視覺和音頻端到端訓練一個新模型的產物，這意味著所有輸入和輸出都由同一神經網絡處理。OpenAI稱，GPT-4o是其第一個結合所有這些模式的模型，因此仍然只是淺嘗輒止地探索該模型的功能及其局限性。
上周曾有消息稱，OpenAI將發布基于AI的搜索產品，但上周五OpenAI的CEO Sam Altman否認了該消息，稱本周一演示的既不是GPT-5，也不是搜索引擎。這意味著OpenAI再一次沒有像市場爆料的時間線那樣推出AI搜索。此后有媒體稱，OpenAI的新產品可能是一個具備視覺和聽覺功能的全新多模態AI模型，且具有比目前聊天機器人更好的邏輯推理能力。
（來源：每日經濟新聞 作者：畢陸名）
本文鏈接：重磅！類人速度超快語音響應！OpenAI推出新旗艦模型GPT-4o，圖文音頻手機AI搞定http://www.sq15.cn/show-2-5861-0.html
聲明：本網站為非營利性網站，本網頁內容由互聯網博主自發貢獻，不代表本站觀點，本站不承擔任何法律責任。天上不會到餡餅，請大家謹防詐騙！若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。
上一篇： 游戲服務，何時長成虎牙的第二增長曲線？