AWS宣布推出Amazon Bedrock和Amazon Titan模型。這項新服務允許使用者透過API存取來自AI21 Labs、Anthropic、Stability AI和亞馬遜的基礎模型。Bedrock是客戶使用基礎模型建構和擴充生成式AI應用程式的最簡單方法，為所有開發者降低使用門檻。
在Bedrock上，用戶可以透過可擴充、可靠且安全的AWS託管服務，存取從文本到圖像的一系列強大的基礎模型，以及我們今天發布的Amazon Titan基礎模型。Amazon Titan基礎模型目前包括了兩個全新的大語言模型。憑藉Bedrock所帶來的無伺服器體驗，客戶可以輕鬆找到適合自身業務的模型，快速上手，在確保資料安全和隱私保護的前提下，使用自有資料基於基礎模型進行客製化，並使用他們已經熟悉的AWS工具和能力，將客製化模型整合並部署到他們的應用程式中，同時無需管理任何基礎設施。比如，客戶可以將基礎模型與Amazon SageMaker機器學習功能整合，使用Amazon SageMaker Experiments測試不同模型和使用Pipelines大規模管理基礎模型等。
客戶也可使用Bedrock存取一些目前最領先的可用基礎模型。這將包括AI21 Labs開發的Jurassic-2多語種大語言模型系列，能夠根據自然語言指令生成文本內容，目前支援西班牙語、法語、德語、葡萄牙語、義大利語和荷蘭語。還有Anthropic開發的大語言模型Claude，它是基於Anthropic對於訓練誠實和負責任的AI（responsible AI）系統的大量研究，能夠執行多種對話和文本處理任務。客戶還可以透過Bedrock輕鬆存取Stability AI開發的文生圖基礎模型Stable Diffusion，這是文生圖領域目前最流行的模型，能夠生成獨特、寫實、高品質的圖像、藝術作品、商標和其它設計圖。
Bedrock最重要的能力之一是極其容易客製化模型。客戶只需向Bedrock展示Amazon S3中的幾個標註好的資料範例，Bedrock就可以針對特定任務微調模型，最少僅需20個範例即可，且無需標註大量資料。假設一位時裝零售產業的內容行銷經理，想為即將推出的手提包新品系列開發新穎且使用者導向的廣告創意。他向Bedrock提供了一些表現最佳的過往行銷廣告示例，以及新品的相關描述，Bedrock將能自動為這些新品生成有效的社交媒體推文內容、展示廣告和產品網頁。沒有任何客戶資料被用於訓練底層模型，所有資料都進行了加密，且不會離開客戶的虛擬私有雲（Virtual Private Cloud，VPC），確保客戶的資料安全和隱私保護。
Bedrock目前提供有限預覽，Coda等客戶的開發團隊對使用Bedrock充滿期待。Coda的聯合創始人兼CEO Shishir Mehrotra表示：「作為AWS的長期客戶，我們對Amazon Bedrock帶來的高品質、可擴充性和效能充滿期待。我們所有的資料已經儲存在AWS上，我們能夠利用Bedrock快速採用生成式AI，並能充分保證我們資料的安全和隱私。目前，包括Uber、紐約時報、Square在內的成千上萬個團隊都在採用Coda，因此，可靠性與可擴充性十分重要。」
無論執行、建構還是客製化基礎模型，客戶都需要高效能、低成本且為機器學習專門建構的基礎設施。過去五年，AWS持續加大投入自研晶片，不斷突破效能和價格的極限，以支持對此有極高要求的機器學習訓練與推論等工作負載。AWS Trainium和Inferentia晶片可以提供在雲上訓練模型和執行推論的最低成本。正是因為AWS在成本和效能方面的優勢，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等領先的AI新創公司都選擇執行在AWS上。
由Trainium支援的Trn1執行個體與其他任何EC2執行個體相比，都可以節省高達50%的訓練成本，並經過優化，可以在與高達800Gbps的第二代EFA（彈性結構適配器）網路相連的多個伺服器上分發訓練任務。客戶可以在超大規模叢集（UltraClusters）中部署Trn1執行個體，數量可以擴充到在同一可用區中3萬個Trainium晶片，相當於超過6 exaflops的運算能力，並具有PB級網路。許多AWS客戶，包括Helixon、Money Forward和亞馬遜的搜尋團隊，都使用Trn1執行個體將訓練最大規模的深度學習模型所需的時間從幾個月縮短到幾周甚至幾天，並且降低了成本。800 Gbps的頻寬已經很大，但我們仍不斷創新、擴充頻寬。今天我們宣布全新的、網路優化型Trn1n執行個體正式可用，它可以提供1600 Gbps的網路頻寬，專為大型網路密集型模型設計，其效能比Trn1高出20%。
AWS Inferentia2提供支援的Inf2執行個體正式可用，這些執行個體專門針對執行數千億個參數模型的大規模生成式AI應用程式進行了優化。與上一代相比，Inf2執行個體不僅輸送量提高了4倍，延遲降低了10倍，還可實現加速器之間的超高速連接以支持大規模分散式推論。與同類Amazon EC2執行個體相比，這些能力將推論性價比提高了40%，並把雲中的推論成本降到最低。
與同類Amazon EC2執行個體相比，Runway等客戶有望利用Inf2將部分模型的輸送量提升至原來的兩倍。受益於高效能和低成本的推論，Runway能夠引入更多功能，部署更複雜的模型，並最終為自己的數百萬用戶提供更優質的體驗。
宣布Amazon CodeWhisperer正式可用 並針對個人開發者免費開放
生成式 AI 可以透過「編寫」大部分無差別的程式碼來大大減少這種繁重的工作，讓開發人員能夠更快地編寫程式碼，同時讓他們有時間專注在更具創造性的程式設計工作上。 因此，AWS去年宣布推出了 Amazon CodeWhisperer 預覽版，這是一款 AI 程式設計助手，透過內嵌的基礎模型，可以根據開發者用自然語言描述的注釋和整合式開發環境（IDE）中的既有程式碼即時生成程式碼建議，從而提升開發者的生產效率。
開發人員只需要向 CodeWhisperer 提出任務命令，例如「解析一個含有歌曲資訊的 CSV 字串」，並要求它回傳一個基於藝術家、標題和排行榜最高排名等資料的結構化清單，CodeWhisperer 就可以解析字串並回傳指定的清單，從而大幅提升工作效率。CodeWhisperer 預覽版發布後得到了開發者們的熱烈回應。 在預覽期間，AWS還進行了一項生產力測試，與未使用 CodeWhisperer 的參與者相比，使用 CodeWhisperer 的參與者完成任務的速度平均快57%，成功率高 27%。這是開發人員生產力的巨大飛躍。
Amazon CodeWhisperer在適用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 種開發語言。開發者可以透過在VS Code、IntelliJ IDEA、AWS Cloud9等整合式開發環境中的AWS Toolkit IDE外掛程式使用 CodeWhisperer。 CodeWhisperer 也可在AWS Lambda控制台中使用。除了從數十億行公開程式碼中學習之外，CodeWhisperer 也基於亞馬遜的程式碼進行了訓練。 相信 CodeWhisperer 是目前為AWS（包括 Amazon EC2、AWS Lambda和Amazon S3）生成程式碼的最準確、最快和最安全的方式。
CodeWhisperer將開放所有個人用戶免費使用，並不設任何次數或使用時間的限制！任何人都可以透過email帳戶在幾分鐘內註冊 CodeWhisperer進行使用，而無需具備AWS帳號。對於企業客戶，AWS則提供了CodeWhisperer 專業版，其中包括更多高級管理功能，如整合了AWS Identity and Access Management（IAM）身份與存取管理服務的單點登入（single sign-on，SSO），以及使用更高程度的安全掃描。
建構像 CodeWhisperer 這樣強大的應用程式，對開發人員和我們所有的客戶來說，都帶來巨大的變革性。我們還有更多創新的產品在規劃中，也期待更多的客戶和開發者在AWS上建構更加創新和顛覆性的生成式AI應用。我們的使命是，讓各種技能水準的開發人員和各種規模的組織都有機會使用生成式AI進行創新。AWS相信，新一波機器學習技術創新才剛剛開始、方興未艾，未來還有無限可能。