AI 工具 GPT-4o 體驗記

AI 工具 GPT-4o 體驗記

語音更及時

即時傳譯

協助盲人

個人語音助理

協助診斷

全時家教

說明攝影照片內容

場景說明

英文對答截圖

中英文對答截圖

美國 OpenAI 科技公司於2024 年 5 月 13 日推出全方位生成式預訓轉換器 (Generative Pre-trained Transformer 4 Omni，GPT-4o)，它可以處理和生成文字、圖像和音訊。

GPT-4o（GPT-4 Omni）是由 OpenAI設計的多語言、多模態生成式預訓練 Transformer。該產品由 OpenAI首席技術長Mira Murati在 2024 年 5 月 13 日的直播演示中宣布，並於當天發布。 GPT-4o 是免費的，但Chat 的使用次數限制高出 5 倍。

GPT-4o 在語音、多語言和視覺基準方面取得了最先進的結果，創下了音訊語音辨識和翻譯的新記錄。與依賴其他模型處理聲音的 GPT-3.5 和 GPT-4 不同，GPT-4o 本身支援語音到語音，使得回應幾乎即時且無縫。Sam Altman 於 2024 年 5 月 15 日指出，GPT-4o 的語音轉語音功能尚未整合到 ChatGPT 中，並且仍在使用舊版本。

根據試用，GPT-4o 三大功能更新，包括語音交流、視覺互動以及圖像生成。
語音交流又分 AI 講故事、隨身口語教練/翻譯 (旅遊翻譯、學各種語言) 、AI 心理諮商和隨身夥伴、輔助面試等四項。
視覺互動分輔助代寫碼、分析解讀數據圖表、家教老師、輔助醫療診斷、看面相等五項。
圖像生成則分設計字體、圖像融合以及連環畫生成三項。

由於 OpenAI 並沒有將所有功能都開放給非專家使用，親身測試結果有落差，也可能是使用不得當。

以英語對話，甚為流利，且有內容，但僅限智慧手機版，桌上電腦版尚無法直接以語音提問。同時如以英語發問，請其以中文回答，也無障礙。另一方面，如以中文語音提問，則無法得到適當回應。

以英文直接對話:
User: I feel lonely and need your assistance
Chat AI:
I'm really glad you reached out. Loneliness can be tough, and it's important to find ways to connect and feel supported. Here are a few things we can discuss or do together:
Chat About Interests: What are some of your hobbies or interests? We can talk about those and maybe even discover some new ones.
Share Stories or Experiences: Sometimes sharing a story or experience can help alleviate feelings of loneliness. Is there something on your mind that you'd like to talk about?
Learn Something New: I can help you explore new topics or learn about new subjects. Is there something you've always wanted to know more about?
Guided Relaxation or Mindfulness: If you're interested, I can guide you through some mindfulness or relaxation exercises to help lift your spirits.
Music and Movies Recommendations: If you're looking for some entertainment, I can suggest some music, movies, or books based on your preferences.
Feel free to choose any of these options or let me know if there's something else on your mind. I'm here for you.

如以英文發問，請其以中文回答:
Chat AI: 您好！我是Chat AI，您專業、友善的虛擬助理。今天我能為您提供什麼幫助？
User: Can you answer my question in Chinese?
Chat AI: 是的，我可以用中文回答您的问题。请問您有什么問题可以为您解答？
User: How many languages do you understand?
Chat AI: 我可以理解多種語言，但主要還是以英語為主。我也可以使用如西班牙語、法語、德語、中文等多種語言溝通。您用任何一種語言都可以和我交流。有其他問題需要我幫忙嗎？
User: May I ask question other than in English?
它說可以，但似乎聽不懂我講的中文。

初試最令人驚豔的是可以用手機拍照，而請其說明顯示甚麼。

例一: 書架一隅
Chat AI:  這幅圖展示了一個木製書架，上面擺滿了各種各樣的書籍、獎項和其他物品。書籍被放置在多個架子上，有些是直立擺放，有些是橫放。這個收藏涵蓋了各種流派和主題，透過不同書籍封面的設計和顏色可以看出。
除了書籍，書架上還展示了幾個獎杯、銘板和裝飾物品，展示了成就和可能的重要紀念品。一些物品似乎是由水晶、金屬或木材製成的，為整個展示增添了各種材質和反射。
在書架前面，可以看到兩把椅子：一把有黑色坐墊和靠背，另一把則有綠色座位和白色靠背。整個場景暗示著一個個人辦公室或書房，具有有序和學術氛圍。

例二: 材料科技館外風景
Chat AI: 這張圖描繪了一個寧靜的戶外區域，可能是一個公園或綠地花園，位於居民建築附近。場景明亮而陽光充足，天空晴朗，有些雲。前景展示了一個維護良好的草坡，幾棵修剪整齊的灌木和球形小樹。向左偏移，一條紅磚步道伴隨著鬱鬱蔥蔥的草地，通往更密集樹木的區域，那裡有更大的樹木。周圍環繞著高聳的多層公寓建築，表明這片綠地是城市住宅區複合體的一部分。整體而言這個場景傳達了一種寧靜愉快的環境，融合了城市生活與自然美景。

由於說明除文字外，也以語音表達，一個應用是協助視障者在戶外活動。美中不足的是攝影不能調整場景大小 (如 IPhone15 可調整放大倍率 0.5X-25X) 。