winscp скрипты копирования sftp

PHP-framework for landing pages

Настраиваем WinSCP на автоматическое обновление файлов удаленного сервера.

Использование FTP

Как правило, обновление/добавление/удаление файлов на сервере приходится выполнять в ручном режиме по FTP. Сам процесс несложный:

Вместе с тем можно упростить однотипные задачи с FTP, если воспользоваться программой WinSCP. Это популярная утилита для работы по FTP и sFTP. WinSCP имеет несколько важных особенностей:

WinSCP позволяет выполнять синхронизацию каталогов по разным критериям, для нас подходит вариант сравнение по времени файлов. Причем можно выполнять синхронизацию: двустороннюю (сервер ⇆ локальный компьютер), на удаленный сервер, на локальный компьютер.

Командный режим поддерживает выполнение сценариев. То есть достаточно один раз задать все нужные параметры в файле сценария.

Постановка задачи

Итак, пусть у нас есть WinSCP. Обновлять будем на удаленный сервер по FTP. Обновлять будем только новые файлы в каталогах

Вначале создадим bat-файл, в котором будет выполнен запуск WinSCP в нужном режиме.

Дальше у нас есть два варианта использования WinSCP. Первый — «классический» при котором используется отдельный текстовый файл с командами для WinSCP. Второй вариант — использовать эти команды в bat-файле.

Рассмотрим каждый вариант отдельно.

Первый способ: отдельный файл с командами WinSCP

Этот способ удобен тем, что он более простой по синтаксису. Если вы планируете использовать WinSCP для более сложных задач (или узучения его возможностей), то делать это удобно именно таким способом.

Файл scp_sync.bat

В файле scp_sync.txt будет размещен сценарий.

Файл scp_sync.txt

Команда synchronize непосредственно выполняет синхронизацию. WinSCP будет сравнивать файлы по времени -criteria=time.

Документация по синхронизации доступна на отдельной странице.

Второй способ: всё в одном bat-файле

Каждая команда должна быть заключена в скобки «»», а переносы строк заканчиваться символом «^». Последняя строчка должна быть без этого символа. Кроме того, каждую строчку нужно отделять табулятором или пробелом в начале строки.

Вот готовый код bat-файла (имя его произвольно), например для синхронизации assets-каталога (assets.bat).

Каталог для bat-файлов может быть произвольным, в файле он нигде не прописан.

Если нужно синхронизировать несколько каталогов сразу, то указываем их отдельной строкой, не забывая про символ «^». Например:

В этом примере обновляются каталоги assets, lpf-core и lpf-content.

Итого

С помощью WinSCP можно обновлять не только сайты LPF, но и вообще любая синхронизация с удаленным сервером.

Источник

Automate file transfers (or synchronization) to FTP server or SFTP server

This guide contains a simplified description of automating operations on FTP /SFTP server with WinSCP. You may want to see detailed documentation of the scripting functionality instead.

WinSCP offers scripting interface that you can use to automate many operations that it supports, including file transfers, synchronization and other operations.

Before Starting

Before starting you should:

Commands

To automate operation, you need to find out commands necessary to implement it. For simple operations you need at least to:

For example a typical script to upload a file is:

Script file

Assemble the commands into a script file. You can name the script file as you like. See simple example and some useful scripts.

Generating script

You can have WinSCP generate a script template for you or even a complete batch file.

To generate a script for a file transfer:

Using script

Now to make using script easier/automatic you can:

Notes

When connecting to FTPS or WebDAVS host with certificate signed by untrusted authority you will need to verify the certificate.

Modifying the script automatically

You may want to modify the script automatically. For example you may want to operate it with different file each time.

For simple modifications, you can pass the variable parts of the script from command line:

Execute the above script using syntax:

You can also use environment variables in the script.

Following example shows batch file that takes filename on command line and generates WinSCP script file to upload that file to remote server:

Now you can run the batch file like (supposing you have saved it to file upload.bat ):

See Conditional processing in automation for a more complex example; and Advanced FTP/SFTP scripting for examples of script generation using more powerful languages.

Checking script results

To check results of the script you can:

Once you find out what was the result of the script, you can perform any action you like: print a message, send an email, etc.

You should also make the batch file indicate a result in its exit code, particularly if it is called from some parent system (for example SSIS).

See an example batch file:

A similar error handling is used in the batch file template that WinSCP can generate for you.

Источник

Scripting and Task Automation

This article contains detailed description of scripting/automation functionality. You may want to see simplified guide to the functionality instead.

In addition to graphical interface, WinSCP offers scripting/console interface with many commands. The commands can be typed in interactively, or read from script file or another source.

Using Scripting

Multiple sessions can be opened simultaneously. Use the session command to switch between them.

Note that the first connection to an SSH server requires verification of the host key. Also the first connection to FTPS or WebDAVS host with certificate signed by untrusted authority requires verification of the certificate.

Checking Results

WinSCP executables return exit code 1 when any command is interrupted due to an error or any prompt is answered Abort (even automatically in batch mode). Otherwise it returns the exit code 0.

To further analyze results of scripted operations, you will find XML logging useful.

Commands Syntax

All WinSCP commands have syntax:

Command Parameters with Spaces

Command parameters that include space(s) have to be surrounded by double-quotes. To use double-quote literally, double it:

To debug the quoting, enable session logging on level Debug 1 ( /loglevel=1 ). The log will show how WinSCP understands both your command-line and individual scripting commands.

Environment Variables

You can use environment variables in the commands, with syntax %NAME% :1

Note that variable expansion is different than in Windows batch files:

Timestamp

WinSCP automatically resolves %TIMESTAMP[rel]#format% to a real time (optionally to a past or future time) with the given format. The format may include yyyy for year, mm for month, dd for day, hh for hour, nn for minute and ss for second. For example, the %TIMESTAMP#yyyy-mm-dd% resolves to 2016-06-22 on 22 June 2016. See other formats you can use.

Script Arguments

Case Sensitivity of File Names

Note that WinSCP treats filenames in case sensitive manner. So even if your server treats filenames in case insensitive manner, make sure you specify case properly.2

Comments

To insert comments into the script file, start the line with # (hash):

Commands

The following commands are implemented.

To see help for the command, read respective documentation article below or type command help directly in console.

The Console Interface Tool

Verifying the Host Key or Certificate in Script

You can find the key fingerprint on Server and Protocol Information Dialog. You can also copy the key fingerprint to clipboard from the confirmation prompt on the first (interactive) connection using Copy key fingerprints to clipboard command (in the script, use SHA-256 fingerprint of the host key only). Learn more about obtaining host key fingerprint.

Running a Script under a Different Account (e.g., Using a Scheduler)

If you are going to run the script under a different account (for example using the Windows Task Scheduler), make sure the script does not rely on a configuration settings that might differ on the other account. When using registry as configuration storage, the settings are accessible only for your Windows account. Ideally, make sure the script does not really on any external configuration, to make it completely portable. Note that the configuration also includes verified SSH host keys and FTPS/WebDAVS TLS/SSL certificates.

Sharing Configuration with Graphical Mode

In scripting/console mode, WinSCP shares configuration with graphical mode by default. While this can be useful in some cases, it can also be a disadvantage.

The disadvantage is that change to configuration in graphical mode may break your script (common example is enabling Existing files only option for synchronization). Also the script is not portable to other machines, when it relies on an external configuration.

If you want to protect your script from such inadvertent change or if you want to make the script portable, you should isolate its configuration from graphical mode explicitly.

The best way to do that is to configure all the options you need using script commands only ( option command, switches of other commands, session URL), or if no such command is available, using raw site settings and raw configuration. Finally force scripting mode to start with the default configuration using /ini=nul command-line parameter.

Alternatively export your configuration to a separate INI file and reference it using /ini= command-line parameter. Also consider setting the INI file read-only, to prevent WinSCP writing to it, when exiting. Particularly, if you are running multiple scripts in parallel, to prevent different instances of WinSCP trying to write it at the same time.

Generating Script

Example

For simple scripts you can specify all the commands on command-line using /command switch:

In Windows batch file, you can use ^ to split too long command-line to separate lines by escaping following new-line character:

Источник

Копирование/синхронизация с помощью Winscp по расписанию (Windows)

Дата публикации 22 мая 2015. Опубликовано в Без категории

Собственно задача стояла даже в простом бекапе баз данных. Но эту задачу я решил с помощью Sqlyog. В нём есть возможность создавать job и планировать её по расписанию. Потом глянув на то что происходит на сервере, вспомнил что на сервере уже настроено создание ужедневных бэкапов на 3 месяца. Почесав все что чесалось, решил убрать задачу из Sqlyog’а и перенести на простое копирование. Благо на сервере есть SFTP.

Часть 1. Установка и настройка софта

Потребуется установленный(или просто распакованный в какую-то папку) Winscp.

Устанавливаем его. На предпоследнем шаге ставим галку «Добавить путь к каталогу с программой к переменной поиска (%PATH%)». Это избавит в дальнейшем от ненужных телодвижений.

После этого создаем папки на резервном диске(если есть 😉

Запускаем Winscp. И добавляем наш sftp мегасайт.

При первом логине затребует «добавления ключа» в хранилище(ну или что-то наподобие. Не вдавался в подробности).
Нам потребуется «слепок» в дальнейшем. Этот «слепок» можно подсмотреть в меню Winscp->Commands->Server/Protocol Informations. Он будет прямо на первой вкладке снизу.

Часть 2. Скриптинг

1. Идем в нашу ранее соданную папку Jobs и в ней создаем файл server_dump.cmd
В нем пишем следующее:

Учтите что запуск winscp без полного пути будет возможен только после перезапуска системы. Иначе указывайте полный путь к программе(!).

Если вам не нужны логи то параметр /log можно убрать.

2. создаем файл server.txt (можно и другое расширение) и в нем прописываем:

Первые 2 параметра обязательны. Далее устанавливаем соединение к серверу с таймаутом в 60 секунд и с использованием ключа! который мы видели выше в Winscp->Commands->Server/Protocol Informations.
Апосля выбираем режим синхронизации(подробнее о режимах и ключах к ним).
Что-то наподобие:

Хочу обратить внимание что если у вас где либо в путях есть пробелы или прочие некошерности то обязательно берите все пути в двойные кавычки!

Сохраняем файл и выходим.

Часть 3. Планировщик Windows

В связи с тем что солнце может менять свое местоположение 🙂 а также магнитные бури и т.д. и т.п. В общем запустить задачу с первого раза может и не получиться даже после успешных и правильных действий. Google в помосчЪ.

Переходим в раздел «Библиотека планировщика заданий». В правой части окна жмем «Создать задачу».
Указываем основные данные.

Создаем триггер

Указываем действия

Условия и Параметры выбираем на свой цвет.

Источник

Опять про sFTP и вообще

Нет такого программиста 1С, который бы не сталкивался с необходимостью программно передавать данные посредством FTP.

В 90% случаев это использование протокола FTP, в 9% FTPs и в 1% это sFTP (имхо)

Сразу стоит подчеркнуть, что FTPs и sFTP не одно и тоже и кардинально отливается в реализации.

Для любопытных, но ленивых вот ссылки:

Теперь рассмотрим реализацию передачи файлов по каждому варианту.

FTP – Легко

Передать файл «C:\My.txt» на FTP «myhost.ru/mydir/»

При этом настройка в FileZilla будет следующая:

Для реализации в 1С будем использовать следующую конструкцию:

При этом для соединения будет использоваться прокси по умолчанию, и если нам нужно пойти в обход прокси или использовать «особый», то будем этот самый прокси переопределять

После создания соединения начинаем передачу

Все, файл там, где нужно

FTP – легко и безопасно

Передать файл «C:\My.txt» на FTPs «myhost.ru/mydir/»

При этом настройка в FileZilla будет следующая:

В данном случае поступаем по аналогии с https-соединением, а именно добавляем описание защищенного соединения и указываем его в параметрах:

FTP – сложно и безопасно

Передать файл «C:\My.txt» на sFTP «myhost.ru/mydir/»

При этом настройка в FileZilla будет следующая:

Хочу Вас сразу огорчить – с данным соединением 1С не работает и стандартный класс FTPСоединение не поможет.

Для работы с sFTP нужно будет использовать сторонние продукты. Я использую WinSCP, на основе нее и опишу решение передачи.

Запускать будем с использованием скрипта, т.е. файла, где описаны действия для WinSCP

По результату выполнения команды файл будет отправлен.

Для ленивых приложу обработину, где в МОДУЛЕ ОБЪЕКТА есть готовые процедуры работы с sFTP.

Скачать файлы

Специальные предложения

Из трех вышеуказанных протоколов, на мой взгляд, sftp самый предпочтительный для передачи не очень больших объемов информации (до нескольких Гб), поскольку используется один порт и гораздо проще реализовать проброс порта. И к тому же по сравнению с ftp передаваемые данные (и пароли) шифруются.

Под Linux пользуюсь консольным клиентом lftp.wiki

Вот вам в копилку по той же теме, только не статья а видео https://www.youtube.com/watch?v=UEAMWQles04

Поключение на клиент сервере, платформа 8.3.16.1063

код подключения привел ниже, буду очень благодарен если подскажите, что можно подправить)

Выполнил отправку не через com объект, а как написано в статье, ошибок не возникает, все вроде бы проходит гладко, но файл не переносится, не вижу его через приложение File Zila.

Возможно можете подсказать, в чем может быть дело?

Если делаю через Com объект, то ошибка возникает вот в этой строке

насколько понимаю процедура срабатывает на клиенте, во всяком случае добавил Директиву &НаКлиенте

<ВнешняяОбработка.ОбменСSFTP.Форма.Форма.Форма(44)>: Ошибка при вызове метода контекста (Open): Произошла исключительная ситуация (WinSCP): Connection failed.

Попробуем еще установить компоненту на сервере 1с, вдруг поможет.

Запустил, логи получились следующие, если можете подсказать, где в них указание на ошибку буду очень признателен.

В логах вот такие данные выдаются. если можете подсказать, что они значат буду очень признателен

Источник