转至元数据结尾
转至元数据起始

正在查看旧版本。 查看 当前版本.

与当前比较 查看页面历史

版本 1 下一步 »

概述

经过差不多两周的迁移终于将AWS账号(576184071779)下的数据迁移到DigitalOcean，包含以下几个项目S3桶、前端项目、ES服务数据（main和barnard）、Postgresql数据库这几部分

s3迁移

存储服务一些文件的迁移，即从AWS的s3迁移到DigitalOcean上，使用工具 rclone （参考https://github.com/rclone/rclone ，该工具支持一些市面上一些主流的存储服务的相互迁移）

分为以下步骤

  1. 首先安装rclone成功后，进行配置，我们需要配置源和目标，有两种配置方法即通过命令行配置和配置文件（实际上命令行配置后也会写入到该配置文件，文件路径为~/.config/rclone/rclone.conf），文件内容如下

    # AWS 配置
[s3]
type = s3
provider = AWS
env_auth = false
access_key_id = XXXXXXXX 
secret_access_key = XXXXXXXX
region = ap-northeast-1
location_constraint = ap-northeast-1
acl = private

# DigitalOcean 配置
[spaces]
type = s3
provider = DigitalOcean
env_auth = false
access_key_id = XXXXXXXX
secret_access_key = XXXXXXXX
endpoint = sgp1.digitaloceanspaces.com
acl = private

  2. 执行以下同步命令，将开始同步指定的AWS s3桶，这里举例`flamegraph.starcoin.org`，需要开一个窗口等待执行完成（这里建议在远程机器或者在本地上面开一个可被detach的命令行，否则当前session会被锁定在这里直到同步执行完成），请确保在执行该命令前，DigitalOcean中Space中对应的桶已经存在

    # 同步s3 的 cw-to-feishu-westar  桶中的内容到 DigitalOcean中对应的桶
rclone --no-check-certificate sync s3:cw-to-feishu-westar spaces:cw-to-feishu-westar -vv

# 同步完成后执行该命令做检查
rclone check s3:cw-to-feishu-westar spaces:cw-to-feishu-westar -vv

ElasticSearch数据迁移

思路是新建

  • 无标签