Прокси-сервер с помощью Tor. Основа для многопоточного парсинга

Всем привет! На днях прилетела интересная задача: «Найти бесплатные прокси-сервера». Взявшись за нее, решил обойти все сайты свободных проксей и понял — дохлые… ну или с высоким пингом. Continue reading

Directadmin проблемам с кодировкой сайта, выставленной по умолчанию!

screenshot-enhanced[1]Клиент дал хостинг с хостинг панелью Directadmin но она по умолчанию вставляет ненужный мне тег header закголовок кодировки, Continue reading

Решено: Upstream sent too big header while reading response header from upstream // NginX PHP FPM

Решено: Upstream sent too big header while reading response header from upstream when using NginX PHP FPM
Когда вы используете NginX , а в качестве upstream PHP — FPM server.

salmon_2[1]
Continue reading

Быстрая настройка Nginx+Apache на Centos 5.x с использованием VirtualHost

И так, начинаем с установки Nginx. Для этого нам будет необходим CentAlt репозитарий, инструкция по установке тут. После установки репозитария:

yum install nginx

Теперь перенастроим Apache, для этого открываем etc/httpd/conf/httpd.conf и меняем там NameVirtualHost на:

NameVirtualHost 127.0.0.1:8080

так же меняем открывающий таг каждого виртуального хоста:

<VirtualHost 127.0.0.1:8080>

В принципе с Apache-м все, переходим в /etc/naginx и открываем nginx.conf. И так, общие параметры:

user nginx;
worker_processes 4;
error_log /var/log/nginx/error.log debug;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}

Параметры http сервера:

http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main ‘$remote_addr — $remote_user [$time_local] $status ‘
‘»$request» $body_bytes_sent «$http_referer» ‘
‘»$http_user_agent» «http_x_forwarded_for»‘;
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
#Архивирование контента
gzip on;
gzip_min_length 1100;
gzip_proxied expired no-cache no-store private auth;
gzip_types text/plain application/xml application/x-javascript text/javascript text/css;
gzip_disable «msie6»;
gzip_disable Firefox/([0-2]\.|3\.0);
gzip_disable Chrome/2;
gzip_disable Safari;
gzip_comp_level 3;

И теперь для каждого Виртуального хоста должна быть следующая запись:

server {
listen 80;
server_name teaseo.ru www.teaseo.ru;
access_log /var/log/nginx/host.access.log main;
location / {
proxy_pass http://127.0.0.1:8080/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 10m;
}

Если вы ходите кешировать какой-то контен, то просто добавьте в описание:

location /uploads/files {
add_header Content-type application/octet-stream;
internal;
}
location /uploads/img {
#Кеширум картинки месяца на 4
expires 4M;
#Кешируем везде (и на прокси и на клиентах)
add_header Cache-Control public;
}
location /cache/tumb/ {
#Кеширум картинки месяца на 4
expires 4M;
#Кешируем везде (и на прокси и на клиентах)
add_header Cache-Control public;
}

Теперь полный конфиг, что бы не запутаться что куда и как:

user nginx;
worker_processes 4;
error_log /var/log/nginx/error.log debug;
pid /var/run/nginx.pid; events {
worker_connections 1024;
}
## Timeouts
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main ‘$remote_addr — $remote_user [$time_local] $status ‘
‘»$request» $body_bytes_sent «$http_referer» ‘
‘»$http_user_agent» «http_x_forwarded_for»‘;
access_log /var/log/nginx/access.log main;
sendfile on;
tcp_nopush on;
tcp_nodelay on;
gzip on;
gzip_min_length 1100;
gzip_proxied expired no-cache no-store private auth;
gzip_types text/plain application/xml application/x-javascript text/javascript text/css;
gzip_disable «msie6»;
gzip_disable Firefox/([0-2]\.|3\.0);
gzip_disable Chrome/2;
gzip_disable Safari;
gzip_comp_level 3; server {
listen 80;
server_name teaseo.ru www.teaseo.ru;
access_log /var/log/nginx/host.access.log main;
location / {
proxy_pass http://127.0.0.1:8080/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 10m;
}
}
server {
listen 80;
server_name wot-news.com www.wot-news.com;
access_log /var/log/nginx/host.access.log main;
root /var/www/vhosts/wot-news.com/http;
expires epoch;
location / { proxy_pass http://127.0.0.1:8080/;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 10m;
}
location /uploads/files {
add_header Content-type application/octet-stream;
internal;
}
location /uploads/img {
#Кеширум картинки месяца на 4
expires 4M;
#Кешируем везде (и на прокси и на клиентах)
add_header Cache-Control public;
}
location /cache/tumb/ {
#Кеширум картинки месяца на 4
expires 4M;
#Кешируем везде (и на прокси и на клиентах)
add_header Cache-Control public;
}
}
}

PHP Warning: PHP Startup: fileinfo: Unable to initialize module

Вот такое предупреждение я стал получать при выполнении команды php -v:

PHP Warning: PHP Startup: fileinfo: Unable to initialize module

решение оказалось банально простым, необходимо выполнить :

pecl install fileinfo memcache

ZendOptimizer на CentOS 5

Загружаем Zend Optimizer 3.3.9 (ссылка для линукс 32битной версии):

wget http://downloads.zend.com/optimizer/3.3.9/ZendOptimizer-3.3.9-linux-glibc23-i386.tar.gz

Распаковываем

tar -xzf ZendOptimizer-3.3.9-linux-glibc23-i386.tar.gz

Переходим в распакованную директорию и сразу в директорию с версиями

cd ZendOptimizer-3.3.9-linux-glibc23-i386/data

6.Выбираем нужную вам версию по установленному у вас PHP и перемещаем в нужную нам директорию. Пример для версии PHP 5.2.*

cp 5_2_x_comp/ZendOptimizer.so /usr/local/lib

На момент выпуска версии ZendOptimizer 3.3.9 он еще не поддерживает PHP 5.3.* , по этому если у вас установлен PHP 5.3.*, придется переставить на PHP 5.2.*

Переходим в эту же самую директорию

cd /usr/local/lib

Редактируем файл php.ini в который добавляем строку с указанием где у нас установлен ZendOptimizer

zend_extension=/usr/local/lib/ZendOptimizer.so

Перегружаем Apache

service httpd restart