вопрос по скачиванию с интернета

[оборотень]

Прошу не переносить пару дней.
Вопрос такого плана: чем и как разово можно выделить кучу ссылок на сайте, что бы они начали скачиваться по очереди? В любом браузере максимальное количество скачиваний 6-10 штук и на каждую ссылку тыкать надо. А когда куча ссылок, да еще названия одинаковые почти и длинные постоянно приходится висеть у компа и перебирать лог загрузки, что бы одно и тоже не скачалось дважды.... не удобно это короче. Вот и требуется что-то, чем можно выделить сразу 100-300 ссылок за раз, ткнуть один раз и ждать пока все скачается. Подскажите кто знает

[mixa]

ReGet или любой другой download менеджер.

[оборотень]

mixa,даунлоад манагеры я знаю. Там надо указывать ссылки по отдельности. Копировать либо правой кнопкой "открыть в..." Скопом выделить и воткнуть на скачку низя

--- Добавлено чуть позже ---

что бы понятно было вот пример http://zakupki.gov.ru/pgz/public/action/orders/info/order_document_list_info/show?source=epz&notificationId=8170333 отсюда надо скачать разово все выложенные файлы путем пары кликов, а не регулярным кликаньем. Чем?

[Padre]

http://zakupki.gov.ru/

Ээээээээээ брат...

[оборотень]

Ээээээээээ брат...

Здоров а по существу вопроса есть ЧО?

[Padre]

а по существу

А по существу, неужели даунлоад манагер не ставит закачки в очередь?

[оборотень]

Если бы все так просто было Серега ни один даун...манагер не ставит в закачку. Там даже ссылок нет на эти файлы. Яваскрипт и все. Кликаешь на ссыль и тут же происходит закачка. УРЛ не скопировать на скачку. Вот и мыкаюсь

[Padre]

Вот и мыкаюсь

У, брат. Так это не любовь...Вы это должны понять и простить...

[оборотень]

да уж 7 лет скоро, как понял и простил, но надо стремиться к лучшему может подскажут что путное люди добрые

[mixa]

Скопом выделить и воткнуть на скачку низя

регет сканирует страницу html и позволяет по фильтру выбрать необходимые файлы для скачки.списком.
в твоем примере не уверен,что справится,т.к.каждая ссылка по скрипту работает.правда,я давно не слежу за развитием регета - может,в свежих версиях есть такая возможность.попробуй.

[оборотень]

mixa,пробовал я его. как и другие даунлоадеры. Все так же, никак.

[Genrix]

оборотень, к FireFox есть плагин "DownThemAll!". После его установки. клацаешь на любом месте страницы правой кнопкой и выбираешь dTa OneClick, появится окно, в котором страница будет проанализирована на ссылки, можно выбрать тип файлов, отметить всех их сразу и сделать массовую закачку в выбранную директорию. В нюансах думаю разберешься. Попробуй.

--- Добавлено чуть позже ---

Аааа, они за жабоскриптом, боюсь ничем ты их не возьмешь.
Скорее всего надо писать какой парсер, что-то типа Wget страницы + Pyton разбор ее с жабой, потом создание списка линков и их закачка.
Стандартные тулзы такое не схавают.

[оборотень]

Скорее всего надо писать какой парсер, что-то типа Wget страницы + Pyton разбор ее с жабой

я и словей то таких не знаю Получается сие не решаемо путем какой-нибудь программы?

[Padre]

может подскажут что путное люди добрые

Паша, люди добрые может и подскажут, а старые друззя-нет. Потому что неосущствимо. Давай пивка?

[оборотень]

Давай пивка?

пиво не пью, только воТку. В тяпницу например или на след. неделе. Сегодня никак, завтра баня

[Genrix]

оборотень, Да, путем какой-нибудь проги не решаемо.
Есть такой язык программирования Питон, простой как две копейки, относительно.
Так вот, по твоей ссылке первый архив скачивается по ссылке http://zakupki.gov.ru/pgz/documentdo...ntId=134174968
Если в фаерфоксе навести мышку на ссылку и нажать Исследовать элемент, то будет выдан кусок страницы, где рядом есть строка downloadDocument(134174968). Видишь как цифры с скобке совпадают с ссылкой закачки?
Например в HTML-тексте сохраненной страницы есть текстовая инфа:

<a id="prFrm134174968" class="iceOutLnk" href="javascript:" onclick="downloadDocument(134174968);return false;">

Все что нужно, это скачать страницу целиком, натравить на нее парсер (сортировщик, отборщик) который найдет все downloadDocument(тут цифры) в тесте страницы и сгенерирует кучу ссылок вида http://zakupki.gov.ru/pgz/documentdo...mentId=(тут_цифры), передаст их любому манагеру закачек или стянет их wget-ом.
Я попробовал вручную найти цифры, подставить их в ссылку и дать ее манагеру закачки - он начал качать, т.е. линк к файлу не динамический, созданный персонально для тебя, а постоянный.
Любому челу, который владеет питоном, на это написание сей чудо проги надо 15 минут.
Ну это как пример, кому-то удобнее на С написать или С++ или на .NET, кто чем владеет лучше.
Я не умею кодить.

[оборотень]

Genrix, цифры скачиваемого файла по яваскрипту я и в яндекс браузере вижу, путем просмотра кода элемента. А вот что бы скачать не знал, как образовать ссылку. Спасибо за образец. Сейчас попробую поколдовать с фильтрами кода элемента в яндекс браузере. Может получится выделить только коды с текстом downloadDocument****** , а там уж, путем колхозных манипуляций в ворде, состряпаю ссылки и засажу в даун...манагер. В любом случае это быстрее и с меньшими ошибками выйдет нежели тыкая по каждой из 200-300 скриптов мышой

[Genrix]

Как-то на работе на меня повесили ежемесячное пробивание всех контрагентов на предмет банкротства.
Сведения печатаются в Коммерсанте, пробиваются по ИНН на сайте Коммерсанта, ИНН вводится в форму на сайте.
Так вот, таких организаций для пробивания было более 1000 штук. Раз в месяц и руками - лучше застрелиться сразу.
Один хороший человек мне за спасибо на питоне за 15-20 минут сделал скрипт, который за 0,5 сек отбирал банкротов и их ИНН складывал в файлик.
Только надо было подождать 30-40 минут, пока скачаются страницы-ответы на более 1000 ИНН.
А дальше я уже персонально, по отобранным ИНН, смотрел руками кто банкроот.
За платно за такую прогу-скрипт с меня просили 1500р.

[оборотень]

да уж.

Блин. В Я.браузере не дает скачать коды элемента, да и отсортировать не дает. Можно только кликнув на конкретный яваскрипт посмотреть его код.

А чем можно целиком скачать страницу с кодами элементов всех яваскриптов?

--- Добавлено чуть позже ---

отбой с вопросом скачал в кодировке даун..манагером. Сейчас натравлю фильтр на downloadDocument****** и посмотрим что выйдет

--- Добавлено чуть позже ---

Genrix,что-то с парсерами совсем потерялся скачал страницу в кодировке. В наличии файл с расширением .HTM Как в нем убрать все ненужное, что бы остались только downloadDocument(******) В ручную упарюсь. Подсоби какой парсер скачать???

[qraf]

вот эту попробую,качал и по 50 штук в очередь
http://www.dimonius.ru/?usd