ローカルのcsvファイルをPythonのGoogle Cloudストレージバケットにアップロードする必要があります。どのPythonライブラリを使用できますか?どんなサンプルコードでも大歓迎です。Pythonを使用してCSVファイルをGoogle Cloud Storageにアップロード
-1
A
答えて
0
ライブラリをインポートする必要はありません。 あなたは、メソッドの/ URIをアップロードし、例えばクエリパラメータ
uploadType=media
を追加するPOSTリクエストを作成することができます。
POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media
は、アップロードが関連付けられているリソースを識別するための名前のクエリパラメータを追加します。
たとえば、オブジェクトの名前がmyObjectというあることを指定します
POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject
がリクエストボディにファイルのデータを追加します。 次のHTTPヘッダーを追加します。
- Content-TypeアップロードされるオブジェクトのMIMEメディアタイプに設定します。
- コンテンツの長さ。アップロードするバイト数を設定します。チャンク転送符号化を使用している場合、この見出しは必要ありません。
例のアップロード:
POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject HTTP/1.1
Content-Type: [csv]
Content-Length: [NUMBER_OF_BYTES_IN_FILE]
Authorization: Bearer [YOUR_AUTH_TOKEN]
[DATA]
0
あなたはパンダのライブラリを使用することができます。次の例に従ってください:
import pandas as pd
tobq = pd.read_csv("local.csv")
pd.io.gbq(tobq, "big_query_table_name", "project_name", private_key="big_query_private_key.json")
2
google pythonクライアントAPIを使用してGoogle Cloudストレージにファイルをアップロードできます。
まず、次のようにapiクライアントをインストールします。
>pip install --upgrade google-api-python-client
次に、api認証を有効にして、アプリケーションのデフォルト認証情報を取得します。
>gcloud beta auth application-default login
以下は、アプリケーションのデフォルトの認証情報を使用してローカルファイルをGoogleクラウドストレージにアップロードするサンプルコードです。
from googleapiclient import discovery
from oauth2client.client import GoogleCredentials
credentials = GoogleCredentials.get_application_default()
service = discovery.build('storage', 'v1', credentials=credentials)
filename = 'C:\\MyFiles\\sample.csv'
bucket = 'my_bucket'
body = {'name': 'dest_file_name.csv'}
req = service.objects().insert(bucket=bucket, body=body, media_body=filename)
resp = req.execute()
これは、ファイルをmy_bucket内にアップロードします。アップロードされたファイルの完全なGoogleストレージURLは、gs://my_bucket/dest_file_name.csv
関連する問題
- 1. Pythonを使用したGoogle Cloud Storage
- 2. JavaScriptを使用してクライアントブラウザからGoogle Cloud Storageにアップロード
- 3. Pythonコードを使用してGoogle Cloud Storageに未処理のJSONデータをアップロード
- 4. Google Cloud Storage curl PHPアップロード
- 5. spring MVCを使用したGoogle Cloud Storageへのマルチパートリクエストによるファイルのアップロード
- 6. iOSを使用してGoogle Cloud Storageに画像をアップロードしますか?
- 7. get_serving_urlを使用したGoogle Cloud Storage
- 8. Google Cloud Storage for GAEアプリにファイルを直接アップロードする
- 9. 画像データをダウンロードしてからGoogle Cloud Storageにアップロード
- 10. Google Cloud Storage検索ファイル
- 11. javascriptを使用してGoogle Cloud Storageにリクエストをバッチアップロード
- 12. Javaを使用してGoogle Cloud Storageにファイルをアップロードするにはどうすればよいですか?
- 13. node.jsを使用してGoogle Cloud StorageにアップロードするファイルのContent-Typeを設定する方法
- 14. PythonがGoogle Cloud Storageにファイルを送信する
- 15. Google Cloud Storage - com.google.appengine.api.appidentity.AppIdentityServiceFailureException
- 16. Google Appengine Cloud Storage
- 17. Google Cloud Storage POSTを使用してHTMLからファイルをアップロードします。署名の問題
- 18. gsutilなしでGoogle Cloud Storageを使用しています
- 19. Javaクライアントライブラリを使用してGoogle Cloud Storageバケットを作成する
- 20. NodeJs sdkを使用してGoogle Cloud StorageでgetServingUrl()を生成
- 21. BlobKeyからGoogle Cloud Storageファイルを取得
- 22. Google Cloud Storageでファイルをマージする
- 23. テストベッドを使用しているnosetestsのgoogle-cloud-storageライブラリ
- 24. サービスアカウントを使用してスタンドアロンPythonスクリプトを使用してGoogle Cloud Storageに接続する
- 25. Google Cloud Storage create_upload_url - App Engine Flexible Python
- 26. Pythonを使用してMicrosoft AzureストレージアカウントにCSVファイルをアップロードする
- 27. Google Cloud StorageからAzure DatalakeストアにCsvファイルを転送する方法
- 28. Google Cloud StorageとSFTP
- 29. アンドロイドアプリのGoogle Cloud Storage
- 30. Google Cloud Storage Forceダウンロード