Category Archives: Linux (Server) - Page 5

Perl IPアドレスを10進数の整数型に変換し戻す

データベースにIPアドレスを格納する時は整数型にしたほうがブロックで検索出来たりと後々取り扱いが楽だったりするので変換する変換方法を書いてみる

#!/usr/bin/perl
use utf8;
use strict;
use warnings;

my $addr_i = &addr_s_to_i("192.168.1.1");
my $addr_s = &addr_i_to_s($addr_i);
print "INTEGER:" . $addr_i . "\n";
print "STRING :" . $addr_s . "\n";

# IPアドレスを文字列型から整数型に変換
sub addr_s_to_i {
    my $addr = shift;

    # "."ごとに8bitずつ区切りそれを2進数に変換し配列に入れる
    my @addrs;
    foreach my $addr_split (split('\.', $addr)){
        push(@addrs, sprintf("%08b", $addr_split));
    }

    # 区切った2進数を連結する
    my $bin = join('', @addrs);
    # 2進数を10進数に変換
    my $result = oct('0b' . $bin);

    return $result;
}

# IPアドレスを整数型から文字列型に変換
sub addr_i_to_s {
    my $addr = shift;

    # 10進数を32bitの2進数に変換
    my $bin = sprintf("%032b", $addr);

    # 2進数を8bitごとに区切り10進数に変換し配列に入れる
    my @addrs;
    foreach my $addr_split ($bin =~ m/.{8}/g){
        push(@addrs, oct('0b' . $addr_split));
    }

    # "."ごとに区切り連結する
    my $result = join('.', @addrs);

    return $result;
}

実行結果
INTEGER:3232235777
STRING :192.168.1.1

Perl cpanでインストールしたIP::Countryのデータベースを更新する 更新スクリプトの作成 CentOS

IP::Countryには”whois_filenames”と呼ばれるDB更新用のスクリプトが同封されているがインストールされないためcpanでインストール後は非常に困る。その上、更新用スクリプトを単純にコピーして実行しても正しく動作しないため、今回アップデート用のスクリプトを改良しインストール後でも使用出来るようにしておく。

なお、更新用スクリプトはメモリを非常に使うためマシン側では物理的に4GB以上のメモリを搭載している必要があるかもしれない。

“dbmScripts”ディレクトリの存在確認
# ls ~/.cpan/build/IP-Country-2.27/dbmScripts/

“IP::Country”のインストール場所の確認
# ls /usr/lib/perl5/site_perl/5.8.8/IP/

“dbmScripts”ディレクトリのコピー
# cp -R ~/.cpan/build/IP-Country-2.27/dbmScripts/ /usr/lib/perl5/site_perl/5.8.8/IP/

“dbmScripts”ディレクトリへ移動
# cd /usr/lib/perl5/site_perl/5.8.8/IP/dbmScripts/

アップデート用スクリプトをbashにて作成
# vi whois_filenames

#!/bin/bash

wget ftp://ftp.ripe.net/ripe/dbase/split/ripe.db.inetnum.gz && gunzip ripe.db.inetnum.gz
wget ftp://ftp.ripe.net/pub/stats/afrinic/delegated-afrinic-extended-latest
wget ftp://ftp.ripe.net/pub/stats/apnic/delegated-apnic-extended-latest
wget ftp://ftp.ripe.net/pub/stats/arin/delegated-arin-extended-latest
wget ftp://ftp.ripe.net/pub/stats/lacnic/delegated-lacnic-extended-latest

perl ipcc_loader.pl && perl ipcc_maker.pl && perl ipauth_loader.pl && perl ipauth_maker.pl

rm -f *extended-latest* ripe.db.inetnum* sorted_*.txt*

読み込むファイル名が異なるため修正

# vi ipauth_loader.pl

69行目付近

read_reg('delegated-afrinic-extended-latest'); # 修正
read_reg('delegated-lacnic-extended-latest');  # 修正
read_reg('delegated-apnic-extended-latest');   # 修正
read_ripe();
read_reg('delegated-arin-extended-latest');    # 修正

join_neighbours();
punch_holes();
optimize();
output();

# vi ipcc_loader.pl

69行目付近

read_reg('delegated-afrinic-extended-latest'); # 修正
read_reg('delegated-lacnic-extended-latest');  # 修正
read_reg('delegated-apnic-extended-latest');   # 修正
read_ripe();
read_reg('delegated-arin-extended-latest');    # 修正

join_neighbours();
punch_holes();
optimize();
output();

DBのパスが違うため”ipauth_maker.pl”と”ipcc_maker.pl”のパスを修正

# vi ipauth_maker.pl

32行目付近

print "Saving ultralite IP registry to disk\n";
my $ip = new IO::File "> ../Authority/ipauth.gif"; # 修正
if (defined $ip) {
    binmode $ip;
    print $ip pack("N",time()); # returned by $obj->db_time()
    $tree->printTree($ip);
    $ip->close();
} else {
    die "couldn't write IP registry:$!\n";
}

44 行目付近

print "Saving ultralite country database to disk\n";

open (CC, "> ../Authority/auth.gif") # 修正
    or die ("couldn't create authority database: $!");
binmode CC;
foreach my $country (sort $tree->get_countries()){
    print CC substr(pack('N',$tree->get_cc_as_num($country)),3,1).$country;
}

# vi ipcc_maker.pl

33行目付近

print "Saving ultralite IP registry to disk\n";
my $ip = new IO::File "> ../Country/Fast/ip.gif"; # 修正
if (defined $ip) {
    binmode $ip;
    print $ip pack("N",time()); # returned by $obj->db_time()
    $tree->printTree($ip);
    $ip->close();
} else {
    die "couldn't write IP registry:$!\n";
}

45行目付近

print "Saving ultralite country database to disk\n";

open (CC, "> ../Country/Fast/cc.gif") # 修正
    or die ("couldn't create country database: $!");
binmode CC;
foreach my $country (sort $tree->get_countries()){
    print CC substr(pack('N',$tree->get_cc_as_num($country)),3,1).$country;
}

作成した”db_update”に実行権を与える
# chmod 755 whois_filenames

アップデート実行
# sh whois_filenames

__追記__
2016/06/16 delegated-arin-latestなどがextended-latest形式に変更となっていたため記事の一部を更新しました

Raspberry PiでGPIOを使った割り込み処理を行う

どうしてもポーリングではなく割り込み処理にてGPIOを監視したかったので調べていたら最近wiringPi.hwiringPiISRと呼ばれる頼もしい関数が追加されたようなので試してみました。
下記のサンプルコードではRaspberry Piにポケットガイガー Type5をGPIO 2にシグナル、GPIO 3にノイズを接続して100マイクロ秒で送られてくるパルスを検知します。

#include <wiringPi.h>
#include <stdlib.h>
#include <stdio.h>

void signal(void){
        printf("Signal\n");
}

void noise(void){
        printf("Noise\n");
}

int main(void){
        int setup = 0;
        setup = wiringPiSetupSys();
        while(setup != -1){
                wiringPiISR( 30, INT_EDGE_FALLING, signal );
                wiringPiISR( 31, INT_EDGE_RISING,  noise  );
                sleep(10000);
        }
        return 0;
}

コンパイル
$ sudo gcc Interrupt.c -lwiringPi

実行結果(最初ポケットガイガー Type5をつついてノイズを発生させてみました)
$ ./a.out
Noise
Signal
Noise
Signal
Noise
Noise
Noise
Signal
Signal
Noise
Noise
Signal
Signal
Noise
Signal
Signal
Signal
Signal
Signal
Signal

他にもwaitForInterruptという関数もあるようですがwiringPiISRの方が便利かもしれません。

当たり前ですがこれをポーリングで書くとsleepがほとんど使えない状態になるのでCPU使用率が偉いことになりますw

組み込みLinuxの世界も楽しいものですね。

追記
プログラムに下記のように記述しておりましたのを修正しました。
wiringPiISR( 2, INT_EDGE_BOTH, signal );
wiringPiISR( 3, INT_EDGE_BOTH, noise );

ポケットガイガーのシグナルは通常はHighで検知されるとlowとなります。ノイズは通常lowで信号が検知されるとhighとなります。ここで”INT_EDGE_BOTH”を指定すると、信号が来て割り込みが発生し、通常の状態に戻ったときも割り込みが発生します。つまり一回の検知で2回割り込みが発生してしまうということになります。
そのため、個別できちんと指定する必要が有るようです。

iptablesでTorを遮断する CentOS5.7

最近Torを悪用した不正行為が目立つのでブラックリストに載っているTorからのパケットをiptablesを使って全て破棄する単純明快なスクリプトです。cronなどに登録して定期的に実行するようにします。

#!/usr/bin/bash
############################################
# Tor Blocking for iptables
############################################

URLS[0]=http://torstatus.blutmagie.de/ip_list_exit.php/Tor_ip_list_EXIT.csv
URLS[1]=http://tns.hermetix.org/ip_list_exit.php/Tor_ip_list_EXIT.csv

for URL in ${URLS[@]}
do
    wget $URL -O - |
    while read IP
    do
        [[ $IP =~ ^[0-9]+.[0-9]+.[0-9]+.[0-9]+$ ]] && iptables -I INPUT -s $IP -j DROP
    done
done

フリー素材 Raspberry Pi GPIO 配置図 Revision 2.0 (512MB)

ブログやサイトで自由に使えるRaspberry Pi Revision 2.0のGPIOの配置図が欲しかったので作成してみました。
MicroSoft Office PowerPoint 2010形式で白黒版とカラー版を準備しました。自由にご利用ください。改変・再配布しても構いません。

サンプル カラー版のGPIO配置図
Raspberry_Pi_GPIO

ダウンロード(pptx形式)

※ ピンのピッチなどの縮尺は考慮致しておりません。ご了承ください。
※ サーバへ負荷がかかるためサンプル画像への直リンクはご遠慮ください。

MySQL データベース 起動しない 全データベースのダンプ CentOS5.7

データベースへの書き込みが頻繁に行われないサーバである場合は良いがデータベースへの書き込みが頻繁に起こるサーバでは突然電源が切れた場合などに不整合を起こしてMySQLが起動しなくなる事がある。
今回その対応策を記録しておきたいと思う。

起動不能となった時に”/var/log/mysqld.log”へ吐かれるログ

13:22:06 UTC - mysqld got signal 6 ;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help
diagnose the problem, but since we have already crashed,
something is definitely wrong and this may fail.

key_buffer_size=8388608
read_buffer_size=131072
max_used_connections=0
max_threads=151
thread_count=0
connection_count=0
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_threads = 338528 K  bytes of memory
Hope that's ok; if not, decrease some variables in the equation.

Thread pointer: 0x0
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
stack_bottom = 0 thread_stack 0x40000
/usr/libexec/mysqld(my_print_stacktrace+0x2e)[0x7b4e5e]
/usr/libexec/mysqld(handle_fatal_signal+0x3e2)[0x6813c2]
/lib64/libpthread.so.0[0x311a80ebe0]
/lib64/libc.so.6(gsignal+0x35)[0x311a030285]
/lib64/libc.so.6(abort+0x110)[0x311a031d30]
/usr/libexec/mysqld[0x85b911]
/usr/libexec/mysqld[0x85ce80]
/usr/libexec/mysqld[0x920b32]
/usr/libexec/mysqld[0x917b6c]
/usr/libexec/mysqld[0x85a7e5]
/usr/libexec/mysqld[0x84e263]
/usr/libexec/mysqld[0x85141b]
/lib64/libpthread.so.0[0x311a80677d]
/lib64/libc.so.6(clone+0x6d)[0x311a0d325d]
The manual page at http://dev.mysql.com/doc/mysql/en/crashing.html contains
information that should help you find out what is causing the crash.

強制リカバリーモードの設定を行う
# vi /etc/my.cnf

[mysqld]
innodb_force_recovery = 3 # 項目の最後に追記

MySQLを再起動する
# service mysqld restart

データベースのダンプ

# 全データベースのダンプを行う
# mysqldump --events -u root -p -x --all-database > all-database.sql
# ユーザ情報のダンプ
# mysqldump --events -u root -p -x --allow-keywords mysql > allow-keywords.sql

MySQLを停止する
# service mysqld stop

データベースを格納しているディレクトリを移動(バックアップ)する
場所が不明な場合は設定ファイル内の”datadir”を参照する
# mv /var/lib/mysql /var/lib/mysql_bkup

再度データベースを格納するディレクトリを作成する
# mkdir /var/lib/mysql

所有者をmysqlユーザとする
# chown mysql:mysql /var/lib/mysql

強制リカバリーモードの設定を解除する
# vi /etc/my.cnf

[mysqld]
#innodb_force_recovery = 3 # エスケープする

MySQLを起動する
# service mysqld start

ダンプしたデータベースをインポートする

# mysql -u root < all-database.sql
# mysql -u root mysql < allow-keywords.sql

再発しない事を確認するため念のためにMySQLを再起動する
# service mysqld restart

参考サイト
またデータベースサーバがダウンしてました
似非管理者の寂しい夜:MySQLのバックアップではユーザー情報は含まれない – livedoor Blog(ブログ)

Perl Nmap::Scanner インストール

Perlでnmapを利用したプログラムを書きたくなったので調度良さそうなライブラリを探していたところNmap::Scannerというものを見つけた。

# cpan install Nmap::Scanner
と実行したところエラーが発生した。原因はClass::Generateがインストールできないかららしい。

面倒なことにClass::Generateの現行バージョンはPerl 5.10以上でなければならないらしい。
そこでバージョンを探してみた結果、Class::Generate 1.09があったためこちらを指定してインストールした。

cpan> install S/SW/SWARTIK/Class-Generate-1.09.tar.gz

その後、Nmap::Scannerをもう一度インストールしてみたところ問題なくインストールできた。

まともなサンプルコードも少ないので載せておく。

#!/usr/bin/perl
use Nmap::Scanner;
my $scan = Nmap::Scanner->new();
$scan->add_target('localhost');

my $results = $scan->scan();

my $hosts = $results->get_host_list();

while (my $host = $hosts->get_next()) {
    my $hostname  = $host->hostname();
    my $addresses = join(',', map {$_->addr()} $host->addresses());
    print "Check Host " . $hostname . "\n";
    print "Check Adrr " . $addresses . "\n";

    my $ports = $host->get_port_list();

    while (my $port = $ports->get_next()) {
        my $service = $port->service();
        print join(' ',
            'Port',
            $port->protocol() . '/' . $port->portid(),
            'Service',
            $service->name(),
            'is in state',
            $port->state(),
            "\n"
        );
    }

}

dovecot 落ちる dovecotが必死に自殺(終了)するのを全力で阻止してみる 

以前から気になっていたのですが、時間がズレるとDovecotが自分の仕事を放棄して勝手に自滅する問題についてまじめに対策しようかと思います。

Nagiosから夜中に大量にアラートが届くのでもう、管理しているこっちが死にそうです。

どうも、時間が進んでいるところNTPサーバとの同期でいきなり時間が戻るのが原因のようです。

対策としては
ntpdで-xオプションを使用するか、ntp.confに”tinker step 0″を設定する。
Dovecotを諦めてCourier-IMAPを利用する。

Courier-IMAPはVineLinuxでサーバを構築していた時に利用していて良いソフトだったのですが、今回は、うつ気味なDovecotをなんとかなだめて対応したいと思います。

起動オプションを操作する方法はサーバを再構築した際に、設定し忘れる可能性が高いため今回は設定ファイルに記述する方法にしてみました。

ということで、”/etc/ntp.conf”の先頭に下記の設定を追記してみた。
# vi /etc/ntp.conf

# The configuration directive tinker panic 0 instructs NTP not to
# give up if it sees a large jump in time.
tinker panic 0
tinker step 0

※ これらの設定は先頭であるほうが良いようです。

設定の内容
panic 0は時間が大幅にずれた時にNTPDが勝手に終了しないようにする設定
step 0は大きく時間がズレてた場合、一気に時間を修正しないようにする設定

通常の人はここまでで設定完了です。NTPDを再起動しましょう。
# service ntpd restart

VMwareなどを利用してサーバを運営している場合はVMware toolにてホストサーバから時間の同期がなされないことを確認しておく必要が有るようです。

ホストサーバから時間の同期が無効になっていることを確認し
# vmware-toolbox-cmd timesync status
もしも有効になっている場合は無効化しておきます
# vmware-toolbox-cmd timesync disable

参考サイト一覧
dovecotが自殺する(落ちる)件。: ネットワーキングすきま情報
VMware KB: Linux ゲストの時刻管理のベスト プラクティス
【Linux】dovecotが落ちる

PerlとSendmailとBccのメーリングリスト配信スクリプト

昨日うっかりBccとCcを間違えてしまう大失態を演じてしまったため簡易ながら不特定多数にBccでメールを一斉配信してくれるスクリプトをPerlでサクッと書いてみました。
そしてどうせ書いたのならば久々に公開して有意義に使っていただこうと思い公開します。

コマンドラインベースで動けばいいかなということで機能自体には特にこだわりは無いのですが必要のある方がおりましたらご自由にコピーしてお使いください。
※ 当スクリプトを利用するにはPerlモジュールのインストールができるレベルの知識を必要とします。

実行用スクリプト
# vi infoEmail.pl

#!/usr/bin/perl
use utf8;
use strict;
use warnings;

binmode(STDOUT, ":utf8");

require "infoEmail.pm";

#
# メールマガジン配信スクリプト
#

my $mm   = infoEmail->new();
my $mime = $mm->mailer();

print $mime->as_string;
print '*' x 50 . "\n";
print "上記の内容で配信してもよろしいですか? (y/N)\n";
print '*' x 50 . "\n";
print "> ";
my $input = <STDIN>;
chomp($input);

if($input eq 'y' || $input eq 'yes'){
        $mm->sendmail($mime);
        print "メールを配信しました\n";
}else{
        print "メールの配信をキャンセルしました\n";
}

モジュール(プログラム本体)
# vi infoEmail.pm

#!/usr/bin/perl
package infoEmail;

use utf8;
use strict;
use warnings;

use Config::Simple;
use Mail::Krohn;
use Mail::Krohn::Sendmail;
use Email::MIME;
use Email::MIME::Creator;
use Encode;

sub new {
        my $class = shift;
        my $cfg = new Config::Simple('./infoEmail.conf') or die Config::Simple->error();
        my $self = {
                from         => $cfg->param('From'),
                to           => $cfg->param('To'),
                subject      => $cfg->param('Subject'),
                x_mailer     => $cfg->param('X-Mailer'),
                bccfilepath  => $cfg->param('BccFilePath'),
                bodyfilepath => $cfg->param('BodyFilePath')
        };
        return bless $self , $class;
}

sub mailer {
        my $self     = shift;
        my $bcc      = $self->read_config($self->{ bccfilepath });
        my $body     = $self->read_config($self->{ bodyfilepath });
        my $from     = $self->{ from };
        my $to       = $self->{ to };
        my $subject  = $self->{ subject };
        my $x_mailer = $self->{ x_mailer };
        my $mime = Email::MIME->create(
                header => [
                        From       => encode('MIME-Header-ISO_2022_JP' => decode('utf-8',$from)),
                        To         => encode('MIME-Header-ISO_2022_JP' => decode('utf-8',$to)),
                        Bcc        => encode('MIME-Header-ISO_2022_JP' => decode('utf-8',$bcc)),
                        Subject    => encode('MIME-Header-ISO_2022_JP' => decode('utf-8',$subject)),
                        'X-Mailer' => decode('utf-8',$x_mailer),
                ],
                attributes => {
                        content_type => 'text/plain',
                        charset      => 'ISO-2022-JP',
                        encoding     => '7bit',
                },
                body => encode('iso-2022-jp' => decode('utf-8',$body)),
        );
        return $mime;
}

sub sendmail {
        my $self = shift;
        my $mime = shift;
        my $mailer = Mail::Krohn->new();
        $mailer->send($mime);
        return 0;
}

sub read_config {
        my $self = shift;
        my $file_path = shift;

        open(my $fh, "<", $file_path) || die("Can not open file $file_path");
        my $file_contents;
        while( my $line = readline $fh ){
                $file_contents .= $line;
        }
        chomp($file_contents);
        return $file_contents;
}

1;

設定ファイル
# vi infoEmail.conf

############################################################
# メールマガジン設定ファイル
############################################################
# 送信元
From         = "ぼっちちゃん" <めーる@あどらあ>
# 送信先
To           = "ぼっちちゃん" <めーる@あどらあ>
# 件名
Subject      = ぼっちちゃんと愉快な仲間たちめーりんぐりすと
# メーラー名
X-Mailer     = My Best Friends Mailing List
############################################################
# 送り先リストの記述されたファイル
BccFilePath  = ./infoEmail_bcc.tmp
# 本文の記述されたファイル
BodyFilePath = ./infoEmail_body.tmp
############################################################

配信用メール本文
# vi infoEmail_body.tmp

お友達100人できるかな?

=======================================
"ぼっちちゃん" <めーる@あどらあ~>
ぼっちちゃんと愉快な仲間たちめーりんぐりすと
=======================================

配信対象のアドレスリスト
# vi infoEmail_bcc.tmp

おともだち1@あどらあ, めーる2@あどらあ, めーる3@あどらあ, めーる4@あどらあ, めーる5@あどらあ

久々にPerl触ったらだいぶ忘れてました(^_^;)

参考サイト
第20回 Email::Sender:メールを送信する:モダンPerlの世界へようこそ|gihyo.jp … 技術評論社

NagiosでMySQLが異常となる

Nagios上では”Return code of 127 is out of bounds – plugin may be missing”というエラーが出ている

試しに手動実行してみる
# /usr/local/nagios/libexec/check_mysql -H localhost -u root -p ***********************
/usr/local/nagios/libexec/check_mysql: error while loading shared libraries: libmysqlclient.so.16: cannot open shared object file: No such file or directory

確認してみると”libmysqlclient.so.16″がないことが分かる
# /sbin/ldconfig -v | grep mysql
/sbin/ldconfig: Path `/usr/lib64/mysql’ given more than once
/usr/lib/mysql:
libmysqlclient.so.18 -> libmysqlclient_r.so
/usr/lib64/mysql:
libmysqlclient.so.18 -> libmysqlclient_r.so
libmysqlclient_r.so.15 -> libmysqlclient_r.so.15.0.0
libmysqlclient.so.15 -> libmysqlclient.so.15.0.0

パッケージを追加しておく
# yum install mysqlclient16

再び手動実行してみる
# /usr/local/nagios/libexec/check_mysql -H localhost -u root -p ***********************
Uptime: 12635 Threads: 1 Questions: 25334 Slow queries: 0 Opens: 44 Flush tables: 1 Open tables: 37 Queries per second avg: 2.005