FTP, velocizzare l'upload

[Ammammata]

per copiare i file dal NAS locale al disco del computer ho scritto due
righe: identifico il giorno della settimana e copio i file in una
cartella temporanea locale sul disco


----
for /f "tokens=2 delims==" %%i in ('wmic path win32_localtime get
dayofweek /value') do set dow=%%i

xcopy \\192.168.42.54\as400\SV0%dow%\*.* d:\TempBackup\SV /c /f /h /y
/j
----

poi, per inviare i dati al NAS remoto, preparo un breve script che apre
la connessione, si identifica e scrive con il comando mput:


ftp -n -s:ftpscript.txt


il problema: ftp è mostruosamente lento, invia i dati a circa 5 Mbyte
al secondo invece di sfruttare tutta la banda disponibile (fibra) che è
circa 10 volte di più (limitata a sua volta dalla banda entrante del
NAS remoto)

morale: un conto della serva dice che ci vogliono 27000 secondi per il
135 Gbyte di dati, pari a 7 ore e mezza se tutto va bene, invece della
mezz'oretta abbondante che p.e. impiega Total Commander (Upload: 50.506
kbytes/s in media)

qualcuno ha scritto che FTP is slow because the protocol has quite a
bit of overhead related to establishing data transfers and sending
commands.

che si fa in questo caso? alternative tipo curl sono più veloci
nativamente o si possono impostare parametri in windows per velocizzare
ftp?

grazie

[ObiWan]

:: On Tue, 11 Jun 2024 12:06:43 +0200
:: (it.comp.reti.locali)

Post by Ammammata
ftp -n -s:ftpscript.txt

e perchè non avviare più istanze di ftp in parallelo, ciascuna su un
file diverso ?

[ObiWan]

:: On Tue, 11 Jun 2024 12:13:57 +0200
:: (it.comp.reti.locali)

Post by ObiWan

Post by Ammammata
ftp -n -s:ftpscript.txt

e perchè non avviare più istanze di ftp in parallelo, ciascuna su un
file diverso ?

un paio di note aggiuntive; prima di tutto, da prompt comandi lancia

ftp -h

e vedrai l'help, ora, per default il client FTP usa dei buffer di
trasferimento con dimensione di 8K (vedere parametri -x e -r), potresti
variare tale valore (entro limiti accettabili), idem per "-w" e "-b"

oltre a questo, ti consiglio di scaricare questo software gratuito

https://www.progress.com/resources/free-tools/moveit-freely

è un client "ftp" da linea comando che oltre a poter rimpiazzare il
client standard, offre parecchie opzioni aggiuntive, quali il supporto
per ftps, il supporto per la modalità passiva ed altro ancora, il tutto
è "portable", ossia basta scaricare lo "zip" ed estrarlo in una cartella

[ObiWan]

:: On Tue, 11 Jun 2024 12:19:30 +0200
:: (it.comp.reti.locali)

Post by ObiWan
e vedrai l'help, ora, per default il client FTP usa dei buffer di
trasferimento con dimensione di 8K (vedere parametri -x e -r),
potresti variare tale valore (entro limiti accettabili), idem per
"-w" e "-b"

un esempio che potresti usare per verificare il tutto

ftp -x:16384 -r:16384 -b:5 -s:filecomandi.txt

e per poi aggiustare i valori

[Ammammata]

Post by ObiWan
ftp -x:16384 -r:16384 -b:5 -s:filecomandi.txt

-x -r e -b non sono documentate nel file di help :-(

[ObiWan]

:: On Tue, 11 Jun 2024 12:35:51 +0200
:: (it.comp.reti.locali)

Post by Ammammata

Post by ObiWan
ftp -x:16384 -r:16384 -b:5 -s:filecomandi.txt

-x -r e -b non sono documentate nel file di help :-(

ripeto, da prompt comandi lancia "ftp -h"

C:\>ftp -h

Trasferisce i file da e verso un computer che esegue un servizio
server FTP (denominato anche daemon). È possibile utilizzare FTP in
modo interattivo.

FTP [-v] [-d] [-i] [-n] [-g] [-s:nomefile] [-a] [-A] [-x:bufferinvio]
[-r:buffericezione] [-b:bufferasincroni] [-w:dimfinestra] [host]

-v Disabilita la visualizzazione delle risposte del
server remoto.
-n Disabilita la connessione automatica dopo la
connessione iniziale.
-i Disattiva le richieste interattive durante i
trasferimenti di più file.
-d Attiva il debug.
-g Disattiva il globbing su nomi di file (vedere il
comando GLOB).
-s:nomefile Specifica un file di testo contenente comandi FTP
che vengono eseguiti automaticamente all'avvio di
FTP.
-a Utilizza qualunque interfaccia locale nel binding
delle connessioni dati.
-A Esegue una connessione anonima.
-x:bufferinvio Sostituisce la dimensione predefinita di
SO_SNDBUF, pari a 8192.
-r:recv sockbuf Sostituisce la dimensione predefinita di
SO_RCVBUF, pari a 8192.
-b:async count Sostituisce il conteggio asincrono predefinito,
pari a 3.
-w:dimfinestra Sostituisce la dimensione predefinita del buffer
di trasferimento, pari a 65535.
host Specifica il nome o l'indirizzo IP dell'host
remoto a cui connettersi.

Note:
- I comandi mget e mput accettano y/n/q per sì/no/chiudi.
- Per annullare i comandi, premere CTRL+C.

[Ammammata]

Post by ObiWan

Post by Ammammata
-x -r e -b non sono documentate nel file di help :-(

ripeto, da prompt comandi lancia "ftp -h"

io stavo guardando l'altro programma lol

[Ammammata]

Post by ObiWan
un esempio che potresti usare per verificare il tutto
ftp -x:16384 -r:16384 -b:5 -s:filecomandi.txt

ho provato un campione dei file, con 16384, non è cambiato nulla:

ftp> mput *
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROK102
226 Transfer complete
ftp: 3332208 bytes sent in 0,55secondi 6102,95Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROP102
226 Transfer complete
ftp: 6163344 bytes sent in 0,97secondi 6373,68Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROR102
226 Transfer complete
ftp: 5707680 bytes sent in 0,87secondi 6530,53Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROT102
226 Transfer complete
ftp: 2752992 bytes sent in 0,47secondi 5882,46Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSI102
226 Transfer complete
ftp: 170734080 bytes sent in 24,34secondi 7015,70Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC50
226 Transfer complete
ftp: 14648304 bytes sent in 2,17secondi 6756,60Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC70
226 Transfer complete
ftp: 29960832 bytes sent in 4,48secondi 6690,67Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOK
226 Transfer complete
ftp: 653664 bytes sent in 0,17secondi 3822,60Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOP
226 Transfer complete
ftp: 681648 bytes sent in 0,17secondi 3963,07Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSPSS
226 Transfer complete
ftp: 10434864 bytes sent in 1,65secondi 6308,87Kbyte/sec)

provato anche con 65536 e 8 ma viene uguale

ftp> mput *
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROK102
226 Transfer complete
ftp: 3332208 bytes sent in 0,56secondi 5939,76Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROP102
226 Transfer complete
ftp: 6163344 bytes sent in 0,98secondi 6269,93Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROR102
226 Transfer complete
ftp: 5707680 bytes sent in 0,92secondi 6197,26Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROT102
226 Transfer complete
ftp: 2752992 bytes sent in 0,48secondi 5699,78Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSI102
226 Transfer complete
ftp: 170734080 bytes sent in 24,34secondi 7015,70Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC50
226 Transfer complete
ftp: 14648304 bytes sent in 2,18secondi 6707,10Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC70
226 Transfer complete
ftp: 29960832 bytes sent in 4,38secondi 6835,69Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOK
226 Transfer complete
ftp: 653664 bytes sent in 0,17secondi 3800,37Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOP
226 Transfer complete
ftp: 681648 bytes sent in 0,17secondi 3986,25Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSPSS
226 Transfer complete
ftp: 10434864 bytes sent in 1,59secondi 6554,56Kbyte/sec)



ho RI-provato con Total Commander, non si sa mai, più il file è grosso,
maggiore è la velocità media:

\as400\SV02\$$PEROK102 3.332.208 bytes, 7.446 kbytes/s
\as400\SV02\$$PEROP102 6.163.344 bytes, 16.049 kbytes/s
\as400\SV02\$$PEROR102 5.707.680 bytes, 15.525 kbytes/s
\as400\SV02\$$PEROT102 2.752.992 bytes, 9.051 kbytes/s
\as400\SV02\$$PERSI102 170.734.080 bytes, 44.533 kbytes/s <<<
\as400\SV02\$$PERSIC50 14.648.304 bytes, 26.199 kbytes/s
\as400\SV02\$$PERSIC70 29.960.832 bytes, 35.378 kbytes/s
\as400\SV02\$$PERSOK 653.664 bytes, 2.727 kbytes/s
\as400\SV02\$$PERSOP 681.648 bytes, 3.052 kbytes/s
\as400\SV02\$$PERSPSS 10.434.864 bytes, 21.773 kbytes/s


nel backup c'è un file da 32 Gb e uno da 95 Gb e con questi la velocità
è stabile sui 50 Mb/sec

grazie per il supporto, torno a provare MOVEit, poi darò una
possibilità a CURL

[Ammammata]

torno a provare MOVEit, poi darò una possibilità a CURL

anche MOVEit si comporta uguale, velocità massima intorno ai 5-7
Mb/sec, come FTP

adesso è il turno di CURL, vado a studiarlo

[ObiWan]

:: On Tue, 11 Jun 2024 14:54:26 +0200
:: (it.comp.reti.locali)

Post by Ammammata
adesso è il turno di CURL, vado a studiarlo

vedi tu, io di norma uso 7-zip e splitto l'archivio risultante in files
multipli, poi lo trasferisco, una volta trovata la dimensione corretta
per un determinato contesto, di solito va benone

un esempio "al volo"

@echo off
setlocal
:
set YY=%date:~6,4%
set MM=%date:~3,2%
set DD=%date:~0,2%
set HH=%time:~0,2%
set MI=%time:~3,2%
set SS=%date:~6,2%
:
set DDTT=%MM%%DD%%HH%%MI%
set SIZE=40m
set PARM=-slp -mqs -m0=lzma2 -aoa -y -r -mx9 -mfb=64 -md=32m -ms=on -mmt -v%SIZE%
:
set ARCH=archivio_%DDTT%.7z
set BACK=percorso
:
del %ARCH%.*
7za a -t7z %ARCH% %BACK%\* %PARM%

provalo e vedi ...

[Ammammata]

Post by Ammammata
adesso è il turno di CURL, vado a studiarlo

oh, finalmente :) con i file grossi la velocità aumenta

Xferd Average Speed
Dload Upload
3254k 0 4070k
Xferd Average Speed
Dload Upload
6018k 0 5251k
Xferd Average Speed
Dload Upload
5573k 0 9282k
Xferd Average Speed
Dload Upload
2688k 0 4556k
Xferd Average Speed
Dload Upload
162M 0 34.7M <<<<<<
Xferd Average Speed
Dload Upload
13.9M 0 11.1M
Xferd Average Speed
Dload Upload
28.5M 0 11.2M
Xferd Average Speed
Dload Upload
638k 0 1346k
Xferd Average Speed
Dload Upload
665k 0 1317k
Xferd Average Speed
Dload Upload
9.9M 0 11.7M


bene, pare che il problema sia risolto, adesso metto il file batch
nello scheduler e nei prossimi giorni si vedrà il risultato :-)

[Ammammata]

Post by Ammammata
nei prossimi giorni si vedrà il risultato :-)

un estratto dalla schermata: 47.9 39.9 46.2 :')

% Total % Received % Xferd Average Speed Time Time Time
Current
Dload Upload Total Spent Left
Speed
100 278M 0 0 100 278M 0 40.1M 0:00:06 0:00:06
--:--:-- 47.9M
% Total % Received % Xferd Average Speed Time Time Time
Current
Dload Upload Total Spent Left
Speed
100 161M 0 0 100 161M 0 35.5M 0:00:04 0:00:04
--:--:-- 39.9M
% Total % Received % Xferd Average Speed Time Time Time
Current
Dload Upload Total Spent Left
Speed
100 88.7G 0 0 100 88.7G 0 45.8M 0:33:00 0:33:00
--:--:-- 46.2M

[ObiWan]

:: On Wed, 12 Jun 2024 08:44:43 +0200
:: (it.comp.reti.locali)

Post by Ammammata
un estratto dalla schermata: 47.9 39.9 46.2 :')

beh... buono, ora però, siccome puoi aprire più sessioni in parallelo
verso il server FTP (il NAS), considera di avviare più istanze di curl
in parallelo in modo da trasferire "n" files alla volta, in questo modo
dovresti riuscire a ridurre ulteriormente il tempo totale

[Ammammata]

Post by ObiWan
considera di avviare più istanze di curl

come scrissi nell'OP:

"invia i dati a circa 5 Mbyte al secondo invece di sfruttare tutta la
banda disponibile (fibra) che è circa 10 volte di più (limitata a sua
volta dalla banda entrante del NAS remoto)"

c'è il collo di bottiglia finale, inutile provarci

[ObiWan]

:: On Wed, 12 Jun 2024 10:02:23 +0200
:: (it.comp.reti.locali)

Post by Ammammata
"invia i dati a circa 5 Mbyte al secondo invece di sfruttare tutta la
banda disponibile (fibra) che è circa 10 volte di più (limitata a sua
volta dalla banda entrante del NAS remoto)"

Occhio, che di norma le connessioni fibra domestiche sono asimmetriche,
per cui la velocità in up/down non è la stessa

Post by Ammammata
c'è il collo di bottiglia finale, inutile provarci

sinceramente una prova al volo, magari lanciando più "curl" a mano
credo possa essere utile, ma vedi tu.

[ObiWan]

:: On Wed, 12 Jun 2024 10:13:08 +0200
:: (it.comp.reti.locali)

Post by ObiWan
sinceramente una prova al volo, magari lanciando più "curl" a mano
credo possa essere utile, ma vedi tu.

prima che me ne dimentichi, apri un prompt comandi "admin" ed immetti i
seguenti comandi

netsh int tcp set supplemental internet congestionprovider=ctcp

netsh int tcp set global ecncapability=enabled

quindi riavvia il sistema e prova il trasferimento, in pratica i due
comandi di cui sopra attivano il CTCP (congestion provider) ed anche
ECN (explicit congestion notification) che permettono allo stack di
rete di gestire correttamente eventuali situazioni di saturazione della
banda

[RobertoA]

Post by ObiWan
:: On Wed, 12 Jun 2024 10:02:23 +0200
:: (it.comp.reti.locali)

Post by Ammammata
"invia i dati a circa 5 Mbyte al secondo invece di sfruttare tutta la
banda disponibile (fibra) che è circa 10 volte di più (limitata a sua
volta dalla banda entrante del NAS remoto)"

Occhio, che di norma le connessioni fibra domestiche sono asimmetriche,
per cui la velocità in up/down non è la stessa

Se ha scritto che con Total Commander riesce ad inviare a 50 Mbyte/sec,
compressioni a parte, e' ragionevole pensare che almeno a quelle
prestazioni la linea consenta di arrivarci anche con altri programmi

[ObiWan]

Post by RobertoA
Se ha scritto che con Total Commander riesce ad inviare a 50
Mbyte/sec, compressioni a parte, e' ragionevole pensare che almeno a
quelle prestazioni la linea consenta di arrivarci anche con altri
programmi

In "teoria" si, in pratica... beh sinceramente, in mancanza di qualche
"benchmark" attendibile, direi che possa essere il caso di provare.

Per dire...

https://learn.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-r2-and-2012/jj574076(v=ws.11)

https://github.com/microsoft/ntttcp

https://github.com/microsoft/ntttcp/releases/tag/v5.40

usando il tool di cui sopra, si riuscirebbe a capire l'effettiva
capacità del link di rete in entrambi i sensi, oltre ad ottenere
altre informazioni utili (latenza, packet loss, ...)

[Ammammata]

Post by ObiWan
beh... buono

inizio ieri pomeriggio 16:53
fine 17:41

48 minuti per trasferire 134 Gbyte

46.5 Mb/sec di media

[ObiWan]

:: On Tue, 11 Jun 2024 14:45:44 +0200
:: (it.comp.reti.locali)
[...]

Post by Ammammata
provato anche con 65536 e 8 ma viene uguale

i parametri non sono "a casaccio", hai provato a RIDURRE i valori ?

usa un numero primo per "-b" ed una potenza di 2 per gli altri

[Ammammata]

Post by ObiWan
i parametri non sono "a casaccio", hai provato a RIDURRE i valori ?
usa un numero primo per "-b" ed una potenza di 2 per gli altri

pensavo che alzandoli sarebbe migliorato... anyway, 1024 e 3, stessa
solfa

ftp> mput *
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROK102
226 Transfer complete
ftp: 3332208 bytes sent in 0,59secondi 5628,73Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROP102
226 Transfer complete
ftp: 6163344 bytes sent in 0,95secondi 6474,10Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROR102
226 Transfer complete
ftp: 5707680 bytes sent in 0,89secondi 6420,34Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PEROT102
226 Transfer complete
ftp: 2752992 bytes sent in 0,48secondi 5688,00Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSI102
226 Transfer complete
ftp: 170734080 bytes sent in 25,10secondi 6802,15Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC50
226 Transfer complete
ftp: 14648304 bytes sent in 2,26secondi 6475,82Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSIC70
226 Transfer complete
ftp: 29960832 bytes sent in 4,57secondi 6554,55Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOK
226 Transfer complete
ftp: 653664 bytes sent in 0,16secondi 4190,15Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSOP
226 Transfer complete
ftp: 681648 bytes sent in 0,19secondi 3645,18Kbyte/sec)
200 PORT command successful
150 Opening BINARY mode data connection for $$PERSPSS
226 Transfer complete
ftp: 10434864 bytes sent in 1,65secondi 6308,87Kbyte/sec)

[Ammammata]

Post by ObiWan
oltre a questo, ti consiglio di scaricare questo software gratuito
https://www.progress.com/resources/free-tools/moveit-freely

lo sto provando: si collega al NAS remoto, cambia la directory ma
entrambi i comandi (get o put) si fermano con errori, esempio

Error sending 2.pdf: An error occurred as a result of an invalid or
negative response.

oppure

ftp> binary
200 Type set to I
ftp> prompt
Interactive mode Off .
ftp> mget *
200 Type set to A
227 Entering Passive Mode (xxx,yyy,zzz,www,190,60).
Invalid response to PASV.
200 Type set to I


mah, ci torno su dopo pranzo, a stomaco pieno si ragiona meglio ;o)

[ObiWan]

:: On Tue, 11 Jun 2024 12:49:29 +0200
:: (it.comp.reti.locali)

Post by Ammammata
200 Type set to A
227 Entering Passive Mode (xxx,yyy,zzz,www,190,60).
Invalid response to PASV.

prova a NON usare la modalità passiva :P

[ObiWan]

Post by ObiWan
prova a NON usare la modalità passiva :P

e magari, leggiti il manuale, male non fa

[Ammammata]

Post by ObiWan

Post by Ammammata

Post by ObiWan
On Tue, 11 Jun 2024 12:49:29 +0200
(it.comp.reti.locali)

200 Type set to A
227 Entering Passive Mode (xxx,yyy,zzz,www,190,60).
Invalid response to PASV.

prova a NON usare la modalità passiva :P

la ho messa in quanto la uso normalmente con l'altro programma
mo' rifaccio le prove

[Ammammata]

Post by Ammammata
mo' rifaccio le prove

decisamente meglio per quel che riguarda i comandi: dal mio funziona,
più tardi provo anche dal pc preposto, che è in un'altra rete

ftp> put 2.pdf
200 PORT command successful
150 Opening BINARY mode data connection for 2.pdf
226 Transfer complete
ftp: 60240941 bytes sent in 11.25Seconds 5229.25Kbytes/sec.
ftp>

[ObiWan]

:: On Tue, 11 Jun 2024 14:22:25 +0200
:: (it.comp.reti.locali)

Post by Ammammata
decisamente meglio per quel che riguarda i comandi: dal mio funziona,
più tardi provo anche dal pc preposto, che è in un'altra rete
ftp> put 2.pdf
200 PORT command successful
150 Opening BINARY mode data connection for 2.pdf
226 Transfer complete
ftp: 60240941 bytes sent in 11.25Seconds 5229.25Kbytes/sec.
ftp>

Per quanto riguarda il "PASV" se è dietro un NAT, il programma (MoveIT)
prevede anche quello e ci sono parametri opportuni, in qualsiasi caso,
prima di mollare il client FTP standard di windows, sarei curioso di
sapere se, cambiando i valori dei buffer, riesci ad ottenere velocità
di trasferimento accettabili

graaaziiie :D

[Ammammata]

Post by ObiWan
sarei curioso di
sapere se, cambiando i valori dei buffer, riesci ad ottenere velocità
di trasferimento accettabili

risposto nell'altro ramo del 3ad