Спасаем картинки с radikal.ru

Многие уже знают, что скоро фотовидеохостинг навсегда удалит все картинки и закончит своё существование.




Цитата с сайта:

ВНИМАНИЕ!
 
10.03.2022 сайт прекращает свою работу.
С указанной даты видео и картинки не будут доступны.
Чтобы не потерять свой контент, сохраните его себе на диск.

На многих сайтах (как и на Хлебопечка.pу) много лет пользователи добавляли свои размещенные на радикале фотографии. Например, у нас их тысячи и тысячи.
Руками всё сохранить нет никакой возможности.

Поэтому «на коленке» состряпал небольшой скрипт, который не даст пропасть всему, что «нажито непосильным трудом».

Пользуйтесь.

Код Выделить Развернуть

<?php

// отключаем остановку выполнения скрипта
set_time_limit(0);

// <здесь стандартное подключение к базе данных через драйвер PDO>

/*
[*] body – это поле, в котором есть код (обычно – поле с основным контентом)
[*] id – это идентификатор записи (в основном он Примари)
[*] content – это таблица с контентом
[*] Если много записей в базе – не забываем менять диапазон BETWEEN (здесь – каждые полмиллиона, можете установить свой).
[*] Т. е. после «первого захода» надо поменять на BETWEEN 500000 AND 1000000 (и так далее).
[*] Если мало записей – можно вообще обойтись без WHERE
[*]/

$sth = $dbh->prepare("
SELECT body, id
FROM content
WHERE id BETWEEN 1 AND 500000
ORDER BY id");

$sth->execute();

$list = $sth->fetchAll(PDO::FETCH_ASSOC);

// цикл

foreach($list as $row) {

/*
* Если используется bbcode – оставляем пока [/img], чтобы не путать с ссылкой (иногда картинка обёрнута ссылкой). Можно и по-другому.
* Если в таблице данные хранятся в html-код, то вместо.jpg\[\/img\] используем.jpg"
* Тогда в цикле вместо замены [/img] на пусто делаем замену.jpg" на.jpg
*/

preg_match_all("/http[^\s]*radikal[^\s]*\.jpg\[\/img\]/i", $row['body'], $match);

foreach($match[0] as $link) {

// Убираем [/img] и делаем превью большими
$link = str_replace(array('[/img]','t.jpg'), array('','.jpg'), $link);

// Создаем переменную с именем файла
$name = basename($link);

$file = file_get_contents($link);

// Сохраняем файл в выбранную папку
file_put_contents('ПУТЬ_К_ПАПКЕ_СОХРАНЕНИЯ'. $name, $file);
}

}

?>
После этого в файле, отвечающем за вывод, с помощью регулярного выражения меняем ссылки с радикала на локальные:

Код Выделить Развернуть

<?php

// Это грубая и быстрая замена. По-хорошему, надо поубирать ссылки (если они есть) и прочее. Но это всегда можно сделать потом.
$content = preg_replace('/http[^\s]*radikal\.ru\/[^\s]*\/[^\s]*\/([^\s]*\.jpg)\[\/img\]/i', 'https://site.ru/ПУТЬ_К_ПАПКЕ_СОХРАНЕНИЯ/$1[/img]', $content);
?>
Это глупый скрипт. Правильно – сразу делать замену в базе данных на правильную новую ссылку.
Но в то же самое время – это быстрый, оперативный способ. Остальное всегда можно доделать в спокойной обстановке.

У кого есть сайт и кто пользовался фотохостингом – поспешите, не потеряйте изображения.

Шеф, обратите внимание на хостинг Там такая же ситуация с картинками. Пока они не закрываются, но предупреждение уже дали. Новые картинки туда УЖЕ загрузить нельзя. А этим хостингом народ тоже широко пользуется.

К сожалению, загрузка новых изображений временно недоступна. Также мы советуем все важные для вас изображения сохранить у себя на компьютере. В связи со сложившейся ситуацией в мире мы не можем гарантировать сохранность изображений и продолжение работы сайта в будущем.

Ольга, благодарю за предупреждение. Тогда тоже скачаю.

 Как Вы понимаете, скрипт универсален – меняем radikal на другой домен и смотрим, как поменять превью на полную картинку. И лучше в отдельную папку скачивать.

Да, я так и поняла. Хорошо, что можно спасти картинки Все-таки радикал очень много лет использовали.

Еще один хостинг. Не знаю, видели или нет – айфотки отожгли. Вместо всех картинок – экстремистская картинка. Пришлось его вообще заблокировать. Надеюсь, временно.

Не знаю, видели или нет

Да, говорил уже об этом. Вы ещё и imageshack заблокируйте.

Спасибо, пошла закрывать и этого.

Чтобы повторно не загружать файлы (на что требуются значительные ресурсы), сделал проверку их наличия в конечной папке.
Надо

Код Выделить Развернуть

$file = file_get_contents($link);

// Сохраняем файл в выбранную папку
file_put_contents('ПУТЬ_К_ПАПКЕ_СОХРАНЕНИЯ'. $name, $file);заменить на

Код Выделить Развернуть

if (!file_exists('ПОЛНЫЙ_ПУТЬ_К_ПАПКЕ_СОХРАНЕНИЯ'. $name)) {
$file = file_get_contents($link);

// Сохраняем файл в выбранную папку
file_put_contents('ПУТЬ_К_ПАПКЕ_СОХРАНЕНИЯ'. $name, $file);
}

Можно запускать несколько shell с разными файлами, в которых разные диапазоны.
У нас сейчас работают шесть скриптов (через командную строку), которые охватывают все сообщения на форуме (от 1 до полмиллиона уже были скачаны):

Код Выделить Развернуть

WHERE id BETWEEN 500000 AND 1000000
WHERE id BETWEEN 1000000 AND 1500000
WHERE id BETWEEN 1500000 AND 2000000
WHERE id BETWEEN 2000000 AND 2500000
WHERE id BETWEEN 2500000 AND 3000000
WHERE id BETWEEN 3000000 AND 4000000
Скорость скачивания при таком распараллеливании сильно увеличилась.

Поторопитесь, час Х уже близко.

К вопросу о том, как заблокировать экстремистские фотохостинги. Один из самых простых вариантов – сделать автозамену в файле, отвечающем за вывод контента.

Например, вот так (в случае с bbcode):

Код Выделить Развернуть

$content = preg_replace('/\[img\swidth=[\d]*\sheight=[\d]*\]([^\s]*)(imageshack|ifotki|i-fotki|rimg\.info|piccy\.info)([^\s]*)\[\/img\]/ims', '', $content);Здесь уже вписаны замеченные в экстремизме фотохостинги. И список будет пополняться.

Итак, что касается нашего форума.

Всего в сообщениях форума было размещено 159 500 фотографий с фотохостинга .
Из них за эти годы перестали существовать 56 986 картинок (удалением радикал грешил постоянно).
А 102 514 изображения успешно сохранены вышепредставленным скриптом.

Итак, что касается нашего форума.

Всего в сообщениях форума было размещено 159 500 фотографий с фотохостинга .
Из них за эти годы перестали существовать 56 986 картинок (удалением радикал грешил постоянно).
А 102 514 изображения успешно сохранены вышепредставленным скриптом.

Нам пришлось докупить 50 гигов на хостинге, чтобы все разместить. Я с трудом представляю, сколько места все это занимало в хранилищах радикала. Там было более 800 миллионов фото..

Все, радикал выключился.

Отлично, что успели!
Да, если бы мы в своё время не перешли на внутреннюю Галерею, на радикале у нас было бы во много раз больше фото.