Ubuntu OpenVPN Server (Настройка, соединение филиалов сеть)

Изначально эту статью я писал для Хабра, но чуть позже решил продублировать в Блог.

Не так давно передо мною встала задача соединить в единую сеть филиалы одной крупкой компании, разбросанные по Сибири. Главная проблема была в том, что OpenVPN надо было заставить работать поверх нестабильного PPPoE попутно пустив весь трафик через OpenVPN

Первоначальная цель была в экономии денег на Интернет трафике в филиалах т.к. в удалённых районах цена безлимитного ADSL с шириной в 256кб/с стоила порядка 7-10т.р. в месяц, а интернет был жизненно необходим.
Вся радость была в том, что почти все филиалы имели подключения одного провайдера, в котором существовало понятие локального и пирингово трафика, а в Главном офисе был выделенный широкий Интернет (другой провайдер, но волей случая он был лоялен к провайдеру филиалов и у него был “пиринговый трафик” с ценой около 6 копеек за мегабайт).

1. proxy

Самое быстрое решение это было обычный каскад proxy серверов, так и было сделано т.к. раньше все филиалы раздавали интернет у себя прямо модемом, то нужно было всем выделить по 1 системнику, который бы выполнял роль шлюза, системники были не подарки, кто даст 800й пень, кто 233, в общем у кого что было.. Хотя сегодня за 4-7 т.р. можно собрать достойный шлюз, но хозяин-барин, хочу говорит без затрат!

На эти шлюзы была установлена ubuntu 8.04 LTS настроена в виде шлюза, чтоб воткнул в локальную сеть, в модем и в розетку, и сразу всё работало т.к. во многих филиалах, админы могли только нажать “Any key” на клавиатуре пользователя, но не беда, дело шло, постепенно 7 филиалов перенастроило свои модемы, и воткнули шлюзы 🙂

сразу же поднимали прокси каскадом, заруливали туда http трафик, но как мы все знаем, хттп трафик это всего некий % от общего трафика, перейдя на более простые тарифы, экономия была, но условная, ведь нерадивый админ или пользователь мог например через torrent стянуть что-то весомое, что сулило попаданием на деньги филиалу…

Попутно появлялись другие задачи в центральном офисе – перенос компаративного почтаря, шлюза, портала настроенного году в 2002 и не тронутого с тех пор, но это заслуживает отдельной статьи…
А нас пока интересует просто сеть…

2. OpenVPN

Эту штуку я видел в первый раз, был некий страх перед первым знакомством, далее чтение мануалов и интернетов, закатав рукава я полез ставить 🙂

2.1 Сервер
имеет 2 сетевых адаптера eth1 (192.168.5.x) – Локальная сеть и eth0 (real ip 111.111.111.111) Интернет с широким каналом.

[cc lang=”bash”]apt-get install openvpn[/cc]

Далее создаём файл конфигурации сервера
[cc lang=”bash”]touch /etc/openvpn/server.conf[/cc]

при загрузке системы автоматически поднимаются все VPN соединения, для которых в папке /etc/openvpn есть соответствующие файлы с расширением .conf

у меня он получился примерно таким.

[cc lang=”bash”]port 1194 #Порт
proto udp #Протокол
dev tun #Название виртуального устройства
ca /etc/openvpn/ca.crt
cert /etc/openvpn/server.crt
key /etc/openvpn/server.key # This file should be kept secret
dh /etc/openvpn/dh1024.pem
server 10.10.10.0 255.255.255.0 # vpn subnet
ifconfig-pool-persist ipp.txt # Тут будут храниться ip адреса клиентов
push “route 192.168.5.0 255.255.255.0″ # home
keepalive 10 120
comp-lzo
user nobody
group nogroup
persist-key
persist-tun
status openvpn-status.log
log-append openvpn.log
verb 4
mute 20
client-to-client
client-config-dir /etc/openvpn/ccd # Тут будут настройки для каждого филиала
route 192.168.0.0 255.255.255.0 # Маршрут от сервера до филиала 1
route 192.168.1.0 255.255.255.0 # Маршрут от сервера до филиала 2
[/cc]

Создаём каталог, в котором будут хранится индивидуальные настройки клиентов:

[cc lang=”bash”]mkdir /etc/openvpn/ccd[/cc]

Теперь необходимо создать ключи и сертификаты для шифрования и авторизации

[cc lang=”bash”]cd /usr/share/doc/openvpn/examples/easy-rsa/2.0
source ./vars
./clean-all
./build-ca[/cc]

UPD1
если у вас получается как-то так
[cc lang=”bash”]
# source ./vars
**************************************************************
No /usr/share/doc/openvpn/examples/easy-rsa/2.0/openssl.cnf file could be found
Further invocations will fail
**************************************************************
NOTE: If you run ./clean-all, I will be doing a rm -rf on /usr/share/doc/openvpn/examples/easy-rsa/2.0/keys
[/cc]

или вот так

[cc lang=”bash”]
# ./build-ca
grep: /usr/share/doc/openvpn/examples/easy-rsa/2.0/openssl.cnf: Нет такого файла или каталога
pkitool: KEY_CONFIG (set by the ./vars script) is pointing to the wrong
version of openssl.cnf: /usr/share/doc/openvpn/examples/easy-rsa/2.0/openssl.cnf
The correct version should have a comment that says: easy-rsa version 2.x
[/cc]

то скорее всего нет файла openssl.cnf я вышел из ситуации примерно так
[cc lang=”bash”]
cp /usr/share/doc/openvpn/examples/easy-rsa/2.0/openssl-1.0.0.cnf /usr/share/doc/openvpn/examples/easy-rsa/2.0/openssl.cnf
[/cc]
и тут снова продолжаем на том моменте где был косяк.

Теперь создадим сертификат и приватный ключ для сервера:

[cc lang=”bash”]./build-key-server server[/cc]

Создаём ключ для клиента (если клиентов несколько, процедуру придётся повторить):

[cc lang=”bash”]./build-key client1[/cc]

для каждого клиента должно быть указано своё уникальное имя (в данном случае client1).
Процедура подключения Win клиентов описана тут

если новый клиент создаётся спустя некоторое время, процедура будет выглядеть следующим образом:

[cc lang=”bash”]cd /usr/share/doc/openvpn/examples/easy-rsa/2.0
source ./vars
./build-key client2[/cc]

Генерируем параметры Диффи-Хеллмана:

[cc lang=”bash”]./build-dh[/cc]

Помещаем следующие файлы в директорию /etc/openvpn/

[cc lang=”bash”] * ca.crt
* server.crt
* dh1024.pem
* server.key [/cc]

Создаём файл /etc/openvpn/ipp.txt

Конфигурационный файл клиентской машины /etc/openvpn/client.conf у меня получился примерно таким

[cc lang=”bash”]remote 111.111.111.111 1194
client
dev tun
proto udp
resolv-retry infinite # this is necessary for DynDNS
nobind
user nobody
group nogroup
persist-key
persist-tun
ca /etc/openvpn/ca.crt
cert /etc/openvpn/client1.crt
key /etc/openvpn/client1.key
comp-lzo
verb 4
mute 20
redirect-gateway
#show-net-up
verb 4[/cc]

Теперь необходимо скопировать с сервера в папку /etc/openvpn/ сгенерированные клиентские ключи и авторитарный сертификат сервера:

[cc lang=”bash”] * ca.crt
* client1.crt
* client1.key [/cc]

Если за клиентом скрывается сеть 192.168.1.х то, чтоб сервер видел её нужно добавить на сервер маршрут до неё.

На сервере создаём файл /etc/openvpn/ccd/client1 такого содержания:

[cc lang=”bash”]iroute 192.168.1.0 255.255.255.0
# роутинг на сеть филиала2, чтоб 2 филиала знали друг друга
#push “route 192.168.100.0 255.255.255.0”
#Заворачиваем весь трафик в OpenVPN
push “redirect-gateway def1″[/cc]

Вот тут собственно и случилась самая злая проблема у меня.

OpenVPN получив директиву
[cc lang=”bash”]push “redirect-gateway def1″[/cc]
(при наличии ‘pull’ в своей конфигурации), клиент не удаляет старый маршрут, а добавляет в таблицу маршрутизации записи вида:
[cc lang=”bash”] 0.0.0.0/1 via 192.168.231.5 dev tun0
128.0.0.0/1 via 192.168.231.5 dev tun0[/cc]
и если openvpn идёт по ethernet то всё работает и радует админа и пользователей, но великий ppp любит поднимать вот такой маршрут.
[cc lang=”bash”]0.0.0.0 0.0.0.0 0.0.0.0 U 0 0 0 ppp0 [/cc]

И вот OpenVPN ругается примерно вот так
[cc lang=”bash”]Jul 2 19:28:53 ino ovpn-client[14465]: NOTE: unable to redirect default gateway — Cannot read current default gateway from system [/cc]

Решение этой проблемы искалось долго и нудно, хотя оно на поверхности. если в этом “кривом” маршруте ppp указывать шлюз вместо 0.0.0.0 реальный шлюз, то ОpenVPN видит этот маршрут и добавляет свой без проблем.

Поэтому я создал файл
[cc lang=”bash”]/etc/ppp/ip-up.d/routing[/cc]
В который прописал небольшой скрипт. (прошу ногами не пинать, я очень ленивый, и полноценный скрипт определения шлюза и правки маршрутов писать не стал, а сделал как простой костыль)
Буду очень рад, если кто-то предложит более логичный, надёжный, и универсальный метод правки маршрутов на лету.
Пока ещё нет уверенности, что всё будет на 100% работать при обрывах ppp, Но жизнь покажет, если что – поправлю топик.

[cc lang=”bash”]#! /bin/sh
#Определяем выданный шлюз по умолчанию у меня он всегда разный но в сети 222.х.х.х
gw1=`ip route show | grep 222 | awk ‘{print $1}’`
# Удаляем 0.0.0.0 0.0.0.0
route del default
# Добавляем маршрут с верным шлюзом
route add -net default gw ${gw1} dev ppp0[/cc]

Делаем его исполняемым
[cc lang=”bash”]chmod ug+x /etc/ppp/ip-up.d/routing[/cc]

После чего ребут, спустя некоторое время сервер перестал пинговаться по внешнему ипу, но стал отзываться по внутреннему – 10.10.10.26

ЗЫ Прошу принять во внимание, что файрволл шлюза и сервера и клиента надо поправить, для того, чтоб у пользователей был жизненно важный интернет.
Например я, сделал это так:
[cc lang=”bash”]-A POSTROUTING -s 192.168.0.0/255.255.0.0 -j MASQUERADE[/cc]
Тут не указана привязка ни к внешнему интерфейсу, ни ip 🙂
когда по разным причинам у нас не будет openvpn то у пользователей будет прямой инет, а когда он появится, то весь трафик полетит через него.

Заключение

В жизни эта система собирается поэтапно, сначала запускается впн сервер и впн клиент, пингуют друг друга по адресам 10.10.10.х дальше добавляются маршруты до сетей, что стоят за сервером и клиентом, пингуются проверяются, когда всё будет стабильно и надёжно добавляем директиву
[cc lang=”bash”]push “redirect-gateway def1″[/cc]
И снова добиваемся работы и жизни, всё было проделано не выходя из офиса, на шлюзах филиалов, были подписаны сетевые интерфейсы, чтоб админ просто воткнул сетевые кабеля и питание, позвонил мне, а дальше я уже по ssh настраивал на рабочий лад.

Ах да, чуть не забыл, о самом главном – profit

Помимо того, что теперь вся сеть обращается к серверам и сервисам филиалов и центра по внутренним ip адресам, так ещё и финансовая экономия.

Раньше каждый филиал тратил на интернет в среднем по 7 000р. в месяц, сейчас в месяц каждый из них платит по 550р. за доступ к пирингу, интернет не расходуется (кроме центрального), для начала было запущено 7 филиалов, дальше будет больше.
получается, что за год при старой схеме компания тратила бы на интернет 588 000р., а при текущей схеме в год будет потрачено 46 200р.

Что дальше?

А теперь, на этой всей хе…. мы попробуем взлететь! я попробую развернуть IP Телефонию, чтоб минимизировать расходы на Телефонные междугородние переговоры между филиалами, связать софтАТС с аппаратными в филиалах, о чём обязательно напишу. Удачи

update1 Много вопросов возникло к термину “Крупная компания” попробую прояснить.

Крупная она в Сибири, центр имеет штат 200 сотрудников, филиалы от 20 до 60, к каждому филиалу ещё крепятся 10-20 объектов. по 5-15 человек. филиалов менее 30ти.

Компания крайне не поворотлива, основной контроль идёт от государства, оборудование, компания делает некие шаги в сторону ИТ развития 🙂

Update2
И так, после тестирования выявилось, что если надолго опустить сервер управы, то клиенты не охотно поднимают openvpn и трафик может пойти прямо в дорогой инет.
Также если принудительно рвётся ADSL канал, то опенвпн вроде и пытается стартануть заново, но что-то у него это не получается, так и ходит по кругу.
пробовал всякие опции и keepalive и ping-restart и прочее… не помогало…

Поэтому пишем небольшой скрипт, который будет проверять состояние дел.
[cc lang=”bash”]touch /usr/bin/vpn_keepalive.sh[/cc]

C содержанием.

[cc lang=”bash”]#! /bin/sh
# Нужна ли нам отладка, рас комментировать нужное
#debug_out=/dev/null
debug_out=/dev/stdout
#NEXTHOP Это хост внутри ВПН сети
# я взял внутренний ип OpenVPN сервера
NEXTHOP=192.168.5.1
# Комманда перезапуска Опенвпн
OPEN_VPN_CMD=”sudo /etc/init.d/openvpn restart”
PING=/bin/ping

logger_opts=”-t $0″
if [ “$debug_out” = “/dev/stdout” ]
then
logger_opts=”$logger_opts -s”
fi
pckts_rcvd=`$PING -c 8 -q -W 2 $NEXTHOP | grep transm | awk ‘{print $4}’`
echo “host: $NEXTHOP, pckts_rcvd: $pckts_rcvd” >$debug_out
if [ $pckts_rcvd -eq 0 ]
then
echo “Connection with $NEXTHOP lost, resetting” | logger $logopts
$OPEN_VPN_CMD > $debug_out
else
echo “Connection with $NEXTHOP up, no action” | logger $logopts
fi[/cc]

Делаем его исполняемым
[cc lang=”bash”]chmod ug+x /usr/bin/vpn_keepalive.sh[/cc]

Скрипт пингует хост, и если 0 пакетов вернулось, то выполнит команду рестарта.
после чего всё гарантированно поднимается, вливаются верные маршруты, и трафик идёт через ВПН трафик

Кидаем этот скрипт в крон
[cc lang=”bash”]crontab -e[/cc]

например каждые 2 минуты.
[cc lang=”bash”]0-59/2 * * * * /usr/bin/vpn_keepalive.sh[/cc]

И всё если дебаг включен, то в логах (syslog) будет отмечено вот так.
[cc lang=”bash”]logger: Connection with 192.168.5.1 up, no action[/cc]

Удачи!

Оставите комментарий ?

11 Комментарии。

  1. Не совсем понял что за IP адрес 10.10.10.0, который указан в параметрах настройки сервера, вот в этой строке: server 10.10.10.0 255.255.255.0 # vpn subnet Если возможно, продублируйте Ваш ответ на мою электронную почту.

  2. 10.10.10.0 – Адрес Сети.
    при маске 255.255.255.0
    Эта сеть будет от 10.10.10.1 – 254

  3. Спасибо за замечательную инструкцию, поднимал openvpn по очень похожей схеме. Хотел бы добавить, что тоже столкнулся с проблемой “неохотного” подключения openvpn после обрыва связи, в логах при этом пишется, что openvpn клиент не может разрешить DNS имя сервера (наиболее вероятная причина – прописанный шлюз по умолчанию указывает на “мертвый” интерфейс – т.к используется redirect-gateway). После удаления опции persist-tun на клиенте все заработало лучшим образом (т.е интерфейс удаляется, удаляется неверный шлюз по умолчанию, затем появляется снова). Если не ошибаюсь, в такой конфигурации также невозможно использование отбрасывание root-прав, т.е необходимо удалить также user nobody и group nobody (все только для клиента). У кого были похожие проблемы?

  4. Замечательно расписано, но упущен один момент. В процессе создания ключей был упомянут и создан ключ Диффи-Хеллмана, но нигде не применён. Либо его не надо создавать, либо добавить строку в конфигурацию сервера
    dh /etc/openvpn/keys/dh1024.pem
    и, соответсвенно, добавить его в набор ключей сервера.

  5. Алексей

    Недавно предомной стала задача реализации связи между филиалами.. немного прогуглив нашел статьи с использованием openvpn.. поднял сервер на linux.. у меня используется в качестве роутера kerio winroute(в дальнейшем хочу от него избавится), пробросив порт 1194 до linux servera он стал доступен из вне и проходит аутенофикацию..но у меня проблемка не подскажите с какими конфигами клиента и сервера, маршутизации можно реализовать связь сетей
    172,172,1,0 255,255,0,0 – офис и 192,168,1,0 255,255,255,0 перечитал много статей, пробовал ставить в различных вариациях но, из одна сеть не видит другую, я понимаю что проблема из-за разных масок и что исли б одна сеть была 192,168,1,0 а вторая 192,168,2,0 с масками 255,255,255,0 все было ОК, но изменить ip адреса у одной из сетей проблематично потомучто все поотваливается начиная от сетевый принтеров до раздачи инета и т.д. проблемаб была не такая еслиб все было привязано к именам не к ip но увы..

  6. Тихая установка windows-клиента OpenVPN:
    https://sites.google.com/site/smkuzmin/home/silent_install
    Простая установка и настройка сервера OpenVPN на CentOS:
    https://sites.google.com/site/smkuzmin/home/openvpn

  7. Правдолюб

    Скажите, не стыдно ли пбликовать подобную статью? Ведь она почтив слово в слово дублирует http://help.ubuntu.ru/wiki/openvpn. Да, интернет превратился в сборище плагитчиков

  8. Правдолюб Давай порассуждаем, когда писалась эта статья тогда ещё и слуху не было о той статье, что вы привели в ссылке, вот правда. я не претендовал, когда писал её, на истинность, на оригинальность и прочую лабуду.

    Статья писалась во первых для себя, во вторых если писалась значит для меня в то время (года 3-4 назад) не удавалось найти единого и приятного решения на все случаи жизни. где все костыли и правки были в одном месте в удобочитаемом виде.

    с тех пор по этой статье я лично сам связывал в сеть различные офиса сети и т.п. и мне не надо было искать и гуглить типичные ошибки и примеры SH скриптов, я просто брал их от сюда. (тоесть польностью оправдалась идея о создании такой записной книжки _для_себя_)

    теперь к слову “солово-в-слово”, ШТОА???, этож пиздёж(простите не удержался) чистой воды, простите за откровенность, что шелл команды совпадают это ничего не значит, они во всем инете совпадают, а текст разный в говнище(по другому и не могу сказать) просто…

    где там в вашей статье есть упоминания маршрутизации с использованием “redirect-gateway def1” и нюансов его работы. где там костыли привязанные?

    попрошу больше такой фигни не писать, нет не стыдно, описал уже выше почему.
    И раз вы нашли вкладку “О сайте”, то читали там текст некий, и прошу ещё раз прочитать, потому что еслиб вы его прочитали внимательно, то не писали бы такой фигни тут….
    ага спасибо.

  9. Александр

    Статья отличная именно своей “понятливостью”..
    А что качается замечания господина “Правдолюба” так я в подобных случаях обычно спрашиваю: “А что вы уважаемый написали(опубликовали)?” Ничего? Так какого? Вот когда напишите что-нибудь “авторское”, тогда [b]будете иметь право[/b] критиковать! А пока этого права у вас нет! Извините еще не заслужили..

  10. …это всё хорошо, но у меня сети не видны за концами туннеля. чую, что дело в маршрутах, но понять не могу..

  11. Спасибо за пост. В некоторых случаях нужно быстро поднять тунель между двома точками. И самый быстрый способ с минимальной безопасностью, это общий ключ, как пишут, к примеру здесь – http://sysadm.pp.ua/linux/shifrovanie/openvpn-point-to-point.html . Генерацию ключей через OpenSSL никто не подскажет как делать?

Оставить комментарий


Примечание - Вы можете использовать эти HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>