Быстрая передача данных в Amazon S3 с помощью AWS Import Export


Если у вас дома есть сотни гигабайт или даже терабайт данных в локальной сети, вероятно, все они хранятся на компьютере, внешнем жестком диске или устройстве NAS (сетевое хранилище). Резервные копии данных чрезвычайно важны, но хранить их все в одном месте — не лучшая идея.

Я сам это понял, когда увидел, что на локальном NAS хранится более 2 ТБ фотографий, видео, резервных копий и т. д. Конечно, у него 4 жестких диска, и если один из них выйдет из строя, никакие мои данные не будут потеряны. Однако если мой дом сгорит или будет затоплен, все будет потеряно вместе с NAS. Поэтому я решил сохранить резервную копию данных в облаке.

Я проверил Dropbox, SkyDrive, Google Drive, CrashPlan, Amazon S3 и Glacier, прежде чем окончательно остановился на Amazon S3. Почему Амазон? Ну, у них есть классный сервис, где вы можете отправить внешний жесткий диск размером до 16 ТБ и загрузить его непосредственно на их серверы, тем самым минуя огромную проблему с попыткой загрузки этих данных через медленное подключение к Интернету.

aws

Поскольку поблизости находится AT&T, я получаю колоссальную скорость загрузки — 1,4 МБ/сек. Чтобы загрузить 2,5 ТБ данных, хранящихся на NAS, потребуется много месяцев. С помощью Amazon Import/Export вы можете заплатить комиссию за обслуживание в размере 80 долларов США, и они загрузят для вас все эти данные за один день. В итоге я создал видеоруководство, которое проведет вас через весь процесс: от регистрации в Amazon Web Services до упаковки жесткого диска и его отправки на Amazon.

Вот полная расшифровка видео:

Привет всем. Это Асим Кишор из Online Tech Tips. Сегодня я собираюсь сделать что-то новое. Я собираюсь сделать видеоурок по функциям импорта и экспорта Amazon Web Services. Так что же такое функция «Импорт-экспорт»? По сути, это способ поместить большой объем данных в корзину Amazon S3 или в хранилище Glacier. Amazon S3 и Glacier — это, по сути, два варианта хранения данных, которые у вас есть для резервного копирования и архивирования данных с помощью Amazon. Так зачем же вам использовать этот сервис Amazon?

По сути, это позволяет очень быстро перемещать большие объемы данных в облако. Если вы похожи на меня, возможно, у вас есть сотни гигабайт фотографий и видео, хранящихся локально на вашем компьютере или на внешнем жестком диске. Попытка загрузить 100 гигабайт, 500 гигабайт или даже терабайт данных в облако займет у вас недели, если не месяцы, при медленном соединении для загрузки. Вместо этого вы можете скопировать эти данные на внешний жесткий диск, размер которого может достигать 16 терабайт, и просто отправить их в Amazon, где они доставят их в свой центр обработки данных и загрузят прямо в вашу корзину или хранилище, а затем вы можете пойти дальше и получить к нему доступ через Интернет..

Итак, чтобы начать работу, первое, что вам нужно сделать, — это создать учетную запись Amazon Web Services. Для этого вам нужно зайти на aws.amazon.com и нажать кнопку «Зарегистрироваться». Введите свой адрес электронной почты, а затем выберите «Я новый пользователь», если у вас еще нет учетной записи Amazon. Если да, выберите «Я постоянный пользователь», и вы сможете использовать свою текущую учетную запись Amazon для регистрации в Amazon Web Services.

После создания учетной записи Amazon Web Services вам потребуется загрузить инструмент импорта и экспорта. Этот инструмент очень прост в использовании. Это требует небольшой настройки, которую я собираюсь объяснить. Но вы можете видеть на экране ссылку для загрузки, которую я собираюсь добавить в подпись внизу этого видео. Так что скачайте его, а затем распакуйте в каталог на своем компьютере.

Теперь, когда вы загрузили этот инструмент и распаковали его, у вас должен получиться вот такой каталог. На этом этапе нам нужно будет отредактировать файл под названием «Учетные данные AWS». Он содержит два значения: идентификатор ключа доступа и секретный ключ. По сути, это два значения, которые Amazon использует для привязки к вашей учетной записи. Вы можете получить эти два значения из своей учетной записи Amazon Web Services, перейдя по следующему адресу. Это aws.amazon.com/securitycredentials. На странице «Учетные данные безопасности» нажмите «Ключи доступа».

Здесь становится немного запутанно. Если вы уже использовали Amazon Web Services и уже создавали ключи в прошлом, вы не сможете увидеть здесь свой секретный ключ. Это своего рода новый интерфейс от Amazon. Чтобы увидеть существующие секретные ключи, вам нужно щелкнуть ссылку «Учетные данные безопасности», которая приведет вас на старую страницу устаревших версий.

Если вы только что создали новую учетную запись, вы сможете создать новый корневой ключ. Эта кнопка будет активной. На этом этапе вы получите идентификатор ключа доступа и секретный ключ, чтобы он давал вам оба значения. Это страница устаревшей безопасности, на которой вы можете получить доступ к своим секретным ключам, если вы уже создали идентификатор ключа доступа для веб-служб Amazon. Итак, как вы можете видеть здесь, у меня есть два ключа доступа, и если я хочу продолжить и увидеть свой секретный ключ, я могу нажать кнопку «Показать», а затем скопировать эти два значения в файл учетных данных AWS, который я показал. ты раньше. Итак, вы хотите вставить сюда ключ идентификатора доступа и сюда вставить секретный ключ..

На данном этапе, если вы запутались в идентификаторе ключа доступа и секретном ключе доступа, ничего страшного. Вам действительно не нужно знать, что они собой представляют, или вообще заботиться о них. Все, что вам нужно сделать, это подписать и получить значения, скопировать и вставить их в этот файл.

Следующее, что мы собираемся сделать, — это создать задание на импорт. Следующие две части — это две самые сложные части всей этой процедуры. Чтобы создать задание импорта для Amazon S3, мы продолжим и создадим файл манифеста. Этот файл манифеста в основном содержит некоторую информацию о вашем устройстве. Где бы вы ни хотели хранить данные и куда вы хотите отправить устройство обратно.

Хорошо то, что нам не нужно создавать этот файл манифеста самостоятельно. Он уже создан для нас, нам просто нужно его заполнить. Итак, что вам нужно сделать, так это зайти в каталог, где находится ваш инструмент импорта и экспорта, и нажать «Примеры». Здесь вы собираетесь открыть манифест импорта S3. Как вы можете видеть здесь, я уже заполнил информацию для своего задания по импорту. Итак, давайте продолжим и взглянем на это повнимательнее.

Как видите, первое, что вам нужно сделать, это еще раз ввести идентификатор ключа доступа. Вам нужно избавиться от скобок и просто вставить их сразу после двоеточия. Следующее, что вам нужно сделать, это ввести имя корзины. Вам нужно будет создать корзину, которую я собираюсь показать после этого, а пока продолжайте и введите любое имя, которое вы захотите, где будут находиться ваши данные. хранится. Поэтому, если вы создадите папку под названием «Резервное копирование», все, что у вас есть на вашем устройстве, любые папки или что-либо там, будет находиться под этим именем корзины.

Следующее, что вам нужно сделать, это ввести идентификатор вашего устройства. По сути, это уникальный идентификатор вашего внешнего жесткого диска. Это может быть серийный номер, указанный на задней стороне жесткого диска. Если у вас нет серийного номера, который указан на задней стороне жесткого диска, вы можете просто создать свой собственный номер или создать идентификатор. Просто напишите это на чем-нибудь, наклейке, которую можно будет приклеить на свое устройство, а затем просто введите это значение здесь. Просто это должно быть одно и то же на устройстве и в этом файле. Стереть устройство, для него уже установлено значение «Нет», поэтому вы можете оставить его. Вы можете оставить следующий. Уровень сервиса стандартный, можете оставить. И обратный адрес, вы должны заполнить свой адрес, как я это сделал здесь. В исходном файле есть несколько необязательных полей. Вам придется удалить их, если вы не собираетесь их использовать. Так что вы можете просто удалить эти строки..

Хорошо, следующее, что мы собираемся сделать после заполнения файла манифеста, — это сохранить его в соответствующем каталоге. Для этого мы продолжим и нажмем «Файл», «Сохранить как» и вернемся обратно в каталог инструмента веб-служб импорта и экспорта. Здесь также находится тот файл свойств точек, который мы заполнили ранее. Здесь вы можете дать своему файлу имя «мой импортный манифест.txt». «Поскольку тип сохранения как уже указан в формате txt, вам не нужно вводить его в имя файла. Нажмите «Сохранить».

Теперь, когда мы отредактировали файл учетных данных AWS и добавили файл My Import Manifest, мы можем продолжить и создать корзину в Amazon S3. Это очень просто сделать. Что вам нужно сделать, так это зайти на aws.amazon.com, нажать на консоль «Моя учетная запись», а затем нажать «Консоль управления AWS». После входа в систему вы должны увидеть экран, похожий на этот, со всеми различными веб-сервисами Amazon. На данный момент все, что нас волнует, — это Amazon S3, который находится здесь, внизу слева. Нажмите на нее, и начнется загрузка консоли S3. И, как вы можете видеть здесь, кроме ведер, в этом нет ничего особенного. Итак, у меня есть два сегмента, это моя резервная копия моего Synology Nas, который является устройством хранения сетевого типа.

Что вам нужно сделать, так это нажать «Создать сегмент» и подумать, что вы собираетесь дать своему сегменту имя. Вы также можете выбрать другой регион, но я предлагаю вам просто перейти в тот регион, который заполняется автоматически. Имя корзины может состоять только из точек и должно быть уникальным во всем регионе, где оно хранится. Поэтому, если у кого-то другого уже есть это имя корзины, вы получите сообщение об ошибке. Например, если я скажу nasbackup и скажу создать, мне выдаст ошибку, что запрошенное имя корзины недоступно. В этом случае вы можете использовать точки, чтобы вы могли поставить «точку» и все, что захотите, и нажать «Создать», и если это уникально, а затем он продолжит и создаст это имя корзины. Итак, вы можете создать корзину, то есть мы будем хранить данные на всем внешнем жестком диске.

На этом этапе вам может быть интересно, что еще нужно сделать. Итак, давайте посмотрим, что мы уже сделали. Мы подписались на сервис AWS. Мы загрузили и извлекли инструмент. Мы отредактировали файл и ключи редактора. Мы пошли дальше и создали файл манифеста, сохранили его в манифесте импорта в том же каталоге, что и файл учетных данных, и создали корзину на Amazon S3. Так что для этого осталось сделать еще пару вещей..

Следующее, что нам нужно сделать, — это создать запрос на задание с помощью инструмента командной строки Java. Это немного технично, и это, вероятно, самая техническая вещь, которую вам придется сделать, но на самом деле это не так уж и сложно. Теперь, чтобы создать этот запрос задания, нам нужно запустить команду Java в командной строке. Но для этого нам необходимо установить комплект разработки Java. Это отличается от среды выполнения Java, которая обычно устанавливается на большинстве компьютеров, но не позволяет запускать команды Java из командной строки.

Для этого вам нужно зайти в Google и просто выполнить поиск по запросу Java SE, а это Java Standard Edition. Нажмите на первую ссылку здесь, и вы попадете на эту страницу. Здесь вы можете прокрутить вниз и увидеть три варианта: сервер JDK, JRE и JRE. Нам не нужно беспокоиться об этих двоих здесь. Мы продолжим и загрузим JDK. На следующей странице нажмите «Принять лицензионное соглашение», после чего вы сможете загрузить файл, соответствующий спецификациям вашей системы. В моем случае я скачал исполняемый файл для 64-разрядной версии Windows.

Теперь, когда вы установили исполняемый пакет Java, мы можем продолжить и запустить команду Java, а вы можете продолжить и увидеть эту команду здесь, в документации, которую я выделил здесь. И, кстати, если вам нужно получить доступ к этой документации, самый простой способ — зайти в Google и выполнить поиск по запросу «Документация по импорту и экспорту AWS». Затем нажмите «Создать задание импорта», а затем нажмите «Создать первое задание импорта Amazon S3», и вы попадете на эту страницу.

Теперь мы можем запустить команду, перейдя в командную строку. Для этого нажимаем «Пуск», вводим CMD и нажимаем Enter. Теперь, когда у нас есть командная строка, нам нужно перейти в каталог, где находится инструмент импорта и экспорта Amazon. В нашем случае это «Загрузки», а затем папка под названием «Инструмент веб-службы импорта и экспорта». Итак, чтобы перемещаться по каталогам в командной строке, вы вводите «cd», затем я ввожу «загрузки», а затем снова ввожу «cd» и начинаю введите «инструмент веб-службы импорта и экспорта», который является именем каталога. Теперь, когда я нахожусь в этом каталоге, я просто скопирую эту команду и вставлю ее в командную строку..

Возможно, вы заметили, что в команде, которую мы только что скопировали и вставили, имя файла манифеста — My S3 Import Manifest.txt. Я думаю, что это проблема с документацией, потому что, когда я попытался запустить ее таким образом, я получил сообщение об ошибке, в котором говорилось, что файл должен называться My Import Manifest.txt. Поэтому просто переместите курсор и удалите часть S3, и вы сможете запустить команду. Я не собираюсь запускать команду прямо сейчас, потому что уже запускал ее раньше. Но когда вы нажмете Enter, вы должны получить что-то вроде этого: созданное задание, идентификатор задания, адрес доставки AW и содержимое файла подписи.

Содержимое файла подписи — это, по сути, файл, который создается в корневом каталоге здесь, в разделе «Подписи» инструмента «Импорт и экспорт веб-служб». Он будет создан при запуске фактической команды. Если все пойдет хорошо, вы можете взять этот файл и скопировать его в корень жесткого диска.
Мы почти дошли до конца. Следующее, что нам нужно сделать, это скопировать файл подписи в корень жесткого диска. Мы можем найти файл с именем Signature в каталоге инструментов импорта и экспорта веб-служб после запуска команды Java.

Предпоследний шаг — распечатка отборочной накладной и ее заполнение. Вот так выглядит упаковочная накладная. Это очень простой документ. Вы вводите дату, идентификатор своей учетной записи электронной почты, свой контактный номер, свое имя и номер телефона, идентификатор задания и идентификатор, который вы указали для своего устройства. Опять же, вы можете найти этот документ здесь, в документации.

И, наконец, последний шаг — просто упаковать жесткий диск и отправить его на Amazon. Есть несколько мелочей, на которые стоит обратить внимание. Во-первых, вам необходимо включить блок питания, а также все кабели питания и интерфейсные кабели, поэтому, если это USB 2.0, 3.0, esata, вам необходимо включить кабель USB или кабель esata. Если нет, они пойдут дальше и вернут его вам обратно. Вам также придется заполнить упаковочную накладную, о которой я упоминал ранее, и положить ее в коробку. И, наконец, вы отправите пакет на адрес, который вы получили в результате выполнения команды создания ответа.

При отправке товара следует учитывать еще две мелочи. Во-первых, вы должны убедиться, что на этикетке доставки указан идентификатор задания. Если нет, то они вернут его обратно. Поэтому вам необходимо убедиться, что идентификатор задания указан на транспортной этикетке. Во-вторых, вам также следует указать адрес обратной доставки. Он будет отличаться от адреса обратной доставки, который мы указали в файле манифеста. Если по какой-либо причине они не обработают ваш жесткий диск, если возникнет проблема или что-то в этом роде, они вернут жесткий диск по адресу доставки, указанному на этикетке доставки. Если они обработают ваш жесткий диск и смогут перенести все данные, они вернут жесткий диск по адресу доставки, который вы указали в сообщении об этом. Поэтому важно также указать на этикетке адрес обратной доставки. Вы можете выбрать любого оператора связи, который вам нравится. Я выбрал УПС. Хорошо иметь номер для отслеживания, и они без проблем сделают все это за вас..

И это все. Это несколько шагов, и в первый раз это займет немного времени. Но после этого это происходит довольно быстро и является отличным способом сохранить много данных в облаке, а хранилище Amazon также дешево. Так что, если вам нужно хранить тонну данных в день, и вы хотите создать резервную копию где-нибудь, кроме дома или на внешнем жестком диске, то Amazon Web Services S3 — отличный вариант.

Надеюсь, вам понравился этот урок. Онлайн-технические советы. Пожалуйста, возвращайтесь и посетите..

Похожие сообщения:


5.08.2013