Новые дивные дивы (ты ж сисадмин? лампочку мне вкрути!)Логирование и мониторинг

Доклад принят в программу конференции
Александр Чистяков

Начал свой творческий путь еще в прошлом веке с разработки на языках VHDL и C++, долгое время разрабатывал различные приложения на C, C++, Java, PHP, Objective C, procedural SQL, C# и Perl, заработал стойкую ассоциацию с понятием "DevOps", после чего сосредоточился на написании кода. Интересуется большими и сложными проектами.

Общественное мнение привыкло отказывать нам в признании нашей профессии хоть сколько-нибудь уникальной и творческой. Системный администратор — это такой сантехник по компьютерам, а DevOps — это такой, типа, программист, которому Java не дают, чтобы он случайно своих не перестрелял. Системные администраторы и DevOps'ы не ездят на белых лимузинах, и девушки не кидают в них свое нижнее белье.

Хороший сантехник, гинеколог или стоматолог имеет набор понятных, хорошо известных ему и хорошо работающих инструментов. Тем не менее, у нас дело состоит совершенно не так. С большим удивлением, граничащим с отчаянием, я выяснил, что в 2015 году это не я такая криворукая обезьяна, а современные средства алертинга, централизованного сбора и анализа логов, мониторинга и рисования графиков практически никуда не годятся.

Задача казалась очень простой — у нас есть несколько клиентов с относительно небольшими кластерами машин (от 8 до 20), и нам необходимо было обеспечить сбор и хранение логов, поиск по ним, сбор метрик, алертинг по ним и рисование графиков. Я представлял себе решение этой задачи два года назад и даже делал об этом доклад в Ульяновске, но что-то пошло не так...

К счастью, наши добрые друзья разработчики, которым вечно не хватает строчек в резюме, создают и изучают новые языки разработки, такие как Clojure и Go, и чтобы потренироваться, пишут на них что-нибудь. Иногда и нам перепадает. Так появились graphite-beacon, Cyanite, OpenTSDB, InfluxDB, Bosun, Banana, Prometheus, Riemann и некоторые другие. С детства обладая дурной привычкой пробовать на вкус все подряд, я познакомился со многими из этих средств, впрочем, меня гнала нужда, а не любопытство. Что именно за нужда — я и расскажу вам в докладе, а лампочка так и останется невкрученной, потому что сисадмин нужен не для этого.

Другие доклады секции Логирование и мониторинг