查询纯真IP数据库(Python)

davies 发表于 2005 年 05 月 18 日

下午花了四个小时用Python写这个程序，效果不理想，运行速度慢。用Python来处理二进制文件不是一个好的选择，它总是把文件当作字符串读进来，还要用Struct模块进行转化。

纯真IP数据库的格式是已知的，Luma写了一份很详尽文档，在这里，还提供了Java版本的代码。

该数据库格式总体来说还可以，但有一个地方非常不爽，记录的偏移量用三个字节表示，操作起来很不方便。估计作者也就是为了节省空间，但是用四个字节的话，顶多也就增加百分之十几的空间，已经是四五兆的文件了，再大一点也无所谓。

源代码贴在这里，供以后参考。准备晚上再写一个C版本的，学习做Python模块。

#!/usr/bin/python

from struct import *
import socket

class IpLocater :
    def __init__( self, ipdb_file ):
        self.ipdb = open( ipdb_file, "rb" )
        # get index address 
        str = self.ipdb.read( 8 )
        (self.first_index,self.last_index) = unpack('II',str)
        self.index_count = (self.last_index - self.first_index) / 7 + 1

def getString(self,offset = 0):
        if offset :
            self.ipdb.seek( offset )
        str = ""
        ch = self.ipdb.read( 1 )
        (byte,) = unpack('B',ch)
        while byte != 0:
            str = str + ch
            ch = self.ipdb.read( 1 )
            (byte,) = unpack('B',ch)
        return str

def getLong3(self,offset = 0):
        if offset :
            self.ipdb.seek( offset )
        str = self.ipdb.read(3)
        (a,b) = unpack('HB',str)
        return (b << 16) + a

def getAreaAddr(self,offset=0):
        if offset :
            self.ipdb.seek( offset )
        str = self.ipdb.read( 1 )
        (byte,) = unpack('B',str)
        if byte == 0x01 or byte == 0x02:
            p = self.getLong3()
            if p:
                return self.getString( p )
            else:
                return ""
        else:
            return self.getString( offset )

def getAddr(self,offset ,ip = 0):
        self.ipdb.seek( offset + 4)

countryAddr = ""
        areaAddr = ""
        str = self.ipdb.read( 1 )
        (byte,) = unpack('B',str)
        if byte == 0x01:
            countryOffset = self.getLong3()
            self.ipdb.seek(countryOffset )
            str = self.ipdb.read( 1 )
            (b,) = unpack('B',str)
            if b == 0x02:
                countryAddr = self.getString( self.getLong3() )
                self.ipdb.seek( countryOffset + 4 )
            else:
                countryAddr = self.getString( countryOffset )
            areaAddr = self.getAreaAddr()
        elif byte == 0x02:
            countryAddr = self.getString( self.getLong3() )
            areaAddr = self.getAreaAddr( offset + 8 )
        else:
            countryAddr = self.getString( offset + 4 )
            areaAddr = self.getAreaAddr( )

return countryAddr + "/" + areaAddr

def output(self, first ,last ):
        if last > self.index_count :
            last = self.index_count
        for index in range(first,last):
            offset = self.first_index + index * 7
            self.ipdb.seek( offset )
            buf = self.ipdb.read( 7 )
            (ip,of1,of2) = unpack("IHB",buf)
            print "%s - %s" % (ip,getAddr( of1 + (of2 << 16) ) )

def find(self,ip,left,right):
        if right-left == 1:
            return left
        else:
            middle = ( left + right ) / 2
            offset = self.first_index + middle * 7
            self.ipdb.seek( offset )
            buf = self.ipdb.read( 4 )
            (new_ip,) = unpack("I",buf)
            if ip <= new_ip :
                return self.find( ip, left, middle )
            else:
                return self.find( ip, middle, right )

def getIpAddr(self,ip):
        index = self.find( ip,0,self.index_count - 1 )
        ioffset = self.first_index + index * 7
        aoffset = self.getLong3( ioffset + 4)
        address = self.getAddr( aoffset )
        return address

if __name__ == "__main__" :
    ip_locater = IpLocater( "QQWry.Dat" )
    ip_locater.output( 100, 120 )
    ip = '59.64.234.174'
    address = ip_locater.getIpAddr( socket.inet_aton(ip) )
    print "the ip %s come from %s" % (ip,address)

网友留言：

Re: 查询纯真IP数据库(Python)1. 发表于 2006 年 02 月 28 日 11:18 p.m.

ip2string这个，可以用socket中的inet_ntoa来代替

socket.inet_ntoa('\x20\x22\x23\x24')
'32.34.35.36'

Re: 查询纯真IP数据库(Python)2. 发表于 2006 年 02 月 28 日 11:31 p.m.

多谢，那自然string2ip也可以用inet_aton代替了，以更新

Re: 查询纯真IP数据库(Python)3. 发表于 2006 年 03 月 1 日 12:56 a.m.

呵呵，刚才没有仔细看程序，我觉得这个程序效率地下的主要问题，还是因为文件操作太细碎了，如果一次就全部装载到一个字符串里面，然后进行操作，速度会快很多(第一次除外). 太晚了，希望明天有空能写一个出来.

Re: 查询纯真IP数据库(Python)4. 发表于 2006 年 03 月 1 日 11:50 a.m.

http://scaner.googlepages.com/iplocat...

Re: 查询纯真IP数据库(Python)5. 发表于 2006 年 03 月 1 日 9:16 p.m.

在程序每次执行查询次数少的情况下，两个程序的效率差不多，甚至不预读还要快一点点。单次运行查询次数越多，你的程序优势越明显。此时索引区的数据利用频繁，只预读索引区的数据并处理成list，则效率会更高。

Re: 查询纯真IP数据库(Python)6. 发表于 2006 年 11 月 9 日 4:12 p.m.

去年夏天用c写了一个，使用mmap把数据放到内存中，查询非常快！

灵感点滴

查询纯真IP数据库(Python)

网友留言：

Re: 查询纯真IP数据库(Python)1. 发表于 2006 年 02 月 28 日 11:18 p.m.

Re: 查询纯真IP数据库(Python)2. 发表于 2006 年 02 月 28 日 11:31 p.m.

Re: 查询纯真IP数据库(Python)3. 发表于 2006 年 03 月 1 日 12:56 a.m.

Re: 查询纯真IP数据库(Python)4. 发表于 2006 年 03 月 1 日 11:50 a.m.

Re: 查询纯真IP数据库(Python)5. 发表于 2006 年 03 月 1 日 9:16 p.m.

Re: 查询纯真IP数据库(Python)6. 发表于 2006 年 11 月 9 日 4:12 p.m.

我来留言

灵感点滴

查询纯真IP数据库(Python)

网友留言：

Re: 查询纯真IP数据库(Python)1. 发表于 2006 年 02 月 28 日 11:18 p.m.

Re: 查询纯真IP数据库(Python)2. 发表于 2006 年 02 月 28 日 11:31 p.m.

Re: 查询纯真IP数据库(Python)3. 发表于 2006 年 03 月 1 日 12:56 a.m.

Re: 查询纯真IP数据库(Python)4. 发表于 2006 年 03 月 1 日 11:50 a.m.

Re: 查询纯真IP数据库(Python)5. 发表于 2006 年 03 月 1 日 9:16 p.m.

Re: 查询纯真IP数据库(Python)6. 发表于 2006 年 11 月 9 日 4:12 p.m.

我来留言

搜索文章

最新文章

历史存档

文章分类

订阅