如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?

言鼎科技 2023-06-20 671

Amazon 簡單存儲服務 (S3) 是最常用的對象存儲服務之一,它具有可擴展性、安全性、性能和數據可用性。這意味著網站、移動應用程序、企業(yè)應用程序和物聯(lián)網設備等任何規(guī)模或行業(yè)的客戶都可以使用它來存儲任何數量的數據。

Amazon S3 提供易于使用的管理功能,因此您可以適當地組織數據以滿足您的業(yè)務需求。

我們中的許多人每天都在使用AWS s3 存儲桶;使用云存儲時面臨的最常見挑戰(zhàn)之一是同時同步或上傳多個對象。是的,我們可以在直接存儲桶頁面上拖放或上傳。就像下圖一樣。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?

但這種方法的問題是,如果您通過不穩(wěn)定的網絡上傳大型對象,如果發(fā)生網絡錯誤,您必須從頭開始重新上傳。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?

假設您正在上傳 2000 多個文件,并且您知道上傳失敗并且您在最近 1 小時內上傳這些文件,重新上傳已成為一個耗時的過程。因此,為了克服這個問題,我們有兩個解決方案,我們將在下一節(jié)中討論。

先決條件

  • AWS 賬戶

  • 安裝的 AWS CLI

使用分段上傳 API 上傳對象

分段上傳打開了將單個對象作為一組部分上傳的大門。考慮到可以以任何順序獨立上傳對象部分。

如果任何部分傳輸失敗,可以在不影響任何其他部分的情況下重傳該部分。因此,最好使用分段上傳而不是在單個操作中上傳對象。

使用分段上傳的優(yōu)點:

  • 提高吞吐量——提高上傳速度

  • 從任何網絡問題中快速恢復:無需從頭重新上傳

  • 恢復和暫停對象上傳

  • 可以在創(chuàng)建對象時上傳任何對象。

我們可以使用具有不同技術 SDK 或 REST API 的多部分文件上傳 API 以獲取更多詳細信息,請訪問

使用 Bacancy 管理 AWS 云服務!
停止為您的項目尋找 AWS 認證架構師,因為 Bacancy 就在這里!聯(lián)系最好!獲得最好的!立即聘請 AWS 開發(fā)人員!

使用 AWS S3 CLI 將文件復制到 AWS S3 存儲桶

安裝 AWS CLI

我們需要安裝 CLI。通過使用 AWS CLI,我們可以執(zhí)行 S3 復制操作。如果您不知道如何安裝 CLI,請遵循本指南:安裝 AWS CLI。

配置 AWS 配置文件

現(xiàn)在,是時候配置 AWS 配置文件了。為此,請使用“AWS configure”命令。您可以配置 AWS 憑據,在下面找到您的憑據IAM -> 用戶 -> security_credentials 選項卡在 AWS 控制臺上

我們完成了 AWS 配置文件的配置?,F(xiàn)在,您可以使用存儲桶命令下方的列表訪問您的 S3 存儲桶名稱“bacancy-s3-blog”

列出 S3 中所有現(xiàn)有的桶

使用以下命令列出所有現(xiàn)有存儲桶。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?
aws s3 ls

將單個文件復制到 AWS S3 存儲桶

使用以下命令將單個文件復制到 S3 存儲桶。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?
aws s3 cp file.txt s3://<您的存儲桶名稱>

AWS S3 復制多個文件

使用以下命令使用 AWS S3 將多個文件從一個目錄復制到另一個目錄。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?
aws s3 cp <您的目錄路徑> s3://<您的存儲桶名稱> –遞歸

注意:通過使用 aws s3 cp 遞歸標志來指示必須遞歸復制所有文件。

如何使用 AWS CLI 將多個文件從本地復制到 AWS S3 存儲桶?

正如您在上面的視頻中看到的那樣,即使我們的網絡連接丟失或在重新連接后連接上,該過程也會繼續(xù)進行而不會丟失任何文件。

結論

所以,這是關于如何使用 AWS CLI 將多個文件從本地復制到AWS S3 存儲桶。如需更多此類教程,請隨時訪問云教程頁面并開始學習!如果您有任何建議或反饋,請隨時與我們聯(lián)系。

言鼎科技主做軟件開發(fā),微信小程序,網站開發(fā),軟件外包,手機APP開發(fā)。如有需要記得聯(lián)系我們!

The End