[PYTHON] 核心编程笔记(16.P
- 2020 年 1 月 8 日
- 筆記
16.1 介绍
16.1.1 什么是客户/服务器架构?
硬件的客户/服务器架构
软件客户/服务器架构
16.1.2 客户/服务器网络编程
16.2 套接字: 通讯端点
16.2.1 什么是套接字?
套接字是一种具有通讯端点感念的计算机网络数据结构
16.2.2 套接字地址:主机与端口
主机和端口类似区号和电话号码的一对组合
合法的端口号范围是0到65535,小于1024的端口号为系统保留端口
16.2.3 面向连接与无连接
面向连接(TCP)
套接字只有两种一种是面向连接套接字,即在通讯之前一定要建立一条连接,这种通讯方式提供了顺序的,可靠的不会重复的数据传输,每一份要发送的信息都会拆分成多份,每份都会不多不少的到达目的地后重新按顺序拼装起来,传给正在等待的应用程序
实现这种连接的主要协议就是传输控制协议(即TCP)
要创建TCP套接字就得在创建的时候指定套接字类型为SOCK_STREAM,表示为流套接字
无连接(UDP)
与虚电路相反的数据报型是无连接套接字,即无需建立连接就可以进行通讯,这意味着数据到达的顺序,可靠性及数据不重复性就无法保证,数据会保留在数据边界,数据不会像TCP协议那样被拆封为小块
使用数据报来传输数据就像邮政服务,邮件包裹不一定会按照他们发送的顺序到达,而且可能还到达不了,而且还可能被重传
由于面向连接套接字提供一些维持虚电路连接的开销,数据报较他来说基本上没有负担,所以它能更好的×××能,适合于某些应用场合
实现这种连接的主要协议就是用户数据报协议(即UDP)
要创建UDP套接字就得在创建的时候指定套接字类型为SOCK_DGRAM,即datagram数据报
由于这些套接字使用Internet协议来查找网络中的主机,这样形成的整个系统一般都会由这两对协议(TCP/IP)和(UDP/IP)来提及
16.3 Python中的网络编程
本节我们主要使用socket模块,模块中的socket()函数被用来创建套接字,其有自己的一套函数来提供基于套接字的网络传输
16.3.1 socket()模块函数:
创建套接字语法:
socket(socket_family,socket_type,protocol=0)
socket_family可以是AF_UNIX或AF_INET,soket_type可以是SOCK_STREAM或SOCK_DGRAM,protocal一般不填,默认为0
创建一个TCP/IP套接字,需要调用socket.socket()
tcpSock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
创建一个UDP/IP套接字,需要调用socket.socket()
udpSock = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
使用from socket import * 将socket模块里的所有属性带到命名空间里
当我们创建了套接字对象后,所有的交互豆浆通过对该套接字对象的方法进行调用
16.3.2 套接字对象(内建)方法
函数描述
s.bind()绑定地址(主机,端口号对)到套接字
s.listen()开始TCP监听
s.accept()被动接受TCP服务器连接,(阻塞式)等待连接到来
s.connect()主动初始化TCP服务器连接
s.connect_ex()connect()函数的扩展版本,出错时返回出错码,而不是抛异常公共用途的套接字函数
s.recv()接收TCP数据
s.send()发送TCP数据
s.sendall()完整发送TCP数据
s.recvfrom()接收UDP数据
s.sendto()发送UDP数据
s.getpeername()连接到当前套接字的远端地址
s.getsockname()当前套接字的地址
s.getsockopt()返回指定套接字的参数
s.setsockopt()设置指定套接字的参数
s.close()关闭套接字
s.setblocking()设置套接字的阻塞与非阻塞模式
s.settimeout()设置阻塞套接字操作的超时时间
s.gettimeout()得到阻塞套接字操作的超市时间
面向文件的套接字的函数
s.fileno()曹姐字的文件描述符
s.makefile()创建一个与该套接字关联的文件
16.3.3 创建一个TCP服务器
ss.socket()#创建服务器套接字
ss.bind()#把地址绑定到套接字上
ss.listen()#监听连接
inf_loop()#服务器无限循环
cs=ss.accept()#接受客户的连接
comm_loop()#通讯循环
cs.recv()/cs.send()#对话(接收与发送)
cs.close()#关闭客户套接字
ss.close()#关闭服务器套接字(可选)
所有套接字都用socket().socket()函数创建,服务器需要"坐在某个端口上"等待请求,所以需要绑定到一个本地地址上,TCP服务器负责监听连接,设置完,服务器就可以进行无限循环了
默认服务器会调用accept()阻塞式函数等待连接,来之前程序一直会处于挂起状态
一旦接收到一个连接,accept()函数就会返回一个单独的客户的套接字用于后续通讯.
例,tsTserv.py文件会创建一个TCP服务程序,这个程序会把客户发过来的字符串加上一个时间戳(格式:'[时间]数据')返回给客户
# vi tsTserv.py -------------------------------- #!/usr/bin/env python #coding: UTF-8 from socket import * from time import ctime HOST = '' #绑定IP PORT = 21567 #端口号 BUFSIZ = 1024 #缓冲1K ADDR = (HOST,PORT) tcpSerSock = socket(AF_INET, SOCK_STREAM) tcpSerSock.bind(ADDR) #套接字 tcpSerSock.listen(5) #最大连接数 while True: print 'waiting for connection...' tcpCliSock,addr = tcpSerSock.accept() print '...connected from: ', addr while True: data = tcpCliSock.recv(BUFSIZ) if not data: break tcpCliSock.send('[%s] %s'%(ctime(),data)) print [ctime()],':',data tcpCliSock.close() tcpSerSock.close() --------------------------------
16.3.4 创建TCP客户端
cs = socket()#创建客户套接字
cs.connect()#尝试连接服务器
comm_loop#通讯循环
cs.send()/cs.recv()#对话(发送/接收)
cs.close()#关闭客户套接字
所有套接字都由socket.socket()函数创建,在客户有了套接字之后,可以调用connect()函数去连接服务器,连接服务器后,就可以与服务器对话,对话结束可关闭套接字结束连接
例,程序连接到服务器,提示用户输入要传输的数据,然后显示服务器返回的加了时间戳的结果
# vi tsTclnt.py ------------------------------- #!/usr/bin/env python from socket import * HOST = '192.168.8.18' PORT = 21567 BUFSIZ = 1024 ADDR = (HOST, PORT) tcpCliSock = socket(AF_INET, SOCK_STREAM) tcpCliSock.connect(ADDR) while True: data = raw_input('>') if not data: break tcpCliSock.send(data) data = tcpCliSock.recv(BUFSIZ) if not data: break print data tcpCliSock.close() -------------------------------
16.3.5 运行我们的客户端与服务器程序
# python tsTserv.py ----------------------------- waiting for connection... ----------------------------- # python tsTclnt.py ---------------------------------- >send test data [Thu Dec 19 12:46:36 2013] send test data >hi [Thu Dec 19 12:46:51 2013] hi >how are you? [Thu Dec 19 12:47:08 2013] how are you? ----------------------------------- # python tsTserv.py -------------------------------------- waiting for connection... ...connected from: ('192.168.8.19', 56868) ['Thu Dec 19 12:46:36 2013'] : send test data ['Thu Dec 19 12:46:51 2013'] : hi ['Thu Dec 19 12:47:08 2013'] : how are you? ---------------------------------------
核心提示:
"友好地"退出的一个方法就是把服务器无限循环放在一个try-except语句中try子句中,并捕获EOFError和KeyboardInterrupt异常,在异常处理子句中,调用close()函数关闭服务器的套接字
例:
# vi tsTserv.py -------------------------------- root@ubuntu:~/python# vi tsTserv.py #!/usr/bin/env python #coding: UTF-8 from socket import * from time import ctime HOST = '' #绑定IP PORT = 21567 #端口号 BUFSIZ = 1024 #缓冲1K ADDR = (HOST,PORT) tcpSerSock = socket(AF_INET, SOCK_STREAM) tcpSerSock.bind(ADDR) #套接字 tcpSerSock.listen(5) #最大连接数 try: while True: print 'waiting for connection...' tcpCliSock,addr = tcpSerSock.accept() print '...connected from: ', addr while True: data = tcpCliSock.recv(BUFSIZ) if not data: break tcpCliSock.send('[%s] %s'%(ctime(),data)) print [ctime()],':',data except EOFError,KeyboardInterrupt: tcpCliSock.close() tcpSerSock.close() -------------------------------- # vi tsTclnt.py ------------------------------- #!/usr/bin/env python from socket import * HOST = '192.168.8.18' PORT = 21567 BUFSIZ = 1024 ADDR = (HOST, PORT) tcpCliSock = socket(AF_INET, SOCK_STREAM) tcpCliSock.connect(ADDR) try: while True: data = raw_input('>') if not data: break tcpCliSock.send(data) data = tcpCliSock.recv(BUFSIZ) if not data: break print data except EOFError,KeyboardInterrupt: tcpCliSock.close() -------------------------------
16.3.6 创建一个UDP服务器
ss = socket()#创建一个服务器套接字 ss.bind()#绑定服务器套接字 inf_loop:#服务器无限循环 cs = ss.recvfrom()/ss.sendto()#对话(接收与发送) ss.close()#关闭服务器套接字 例,创建一个能接收客户的消息,在消息前加一个时间戳后返回的UDP服务器 # vi tsUserv.py ----------------------------- #!/usr/bin/env python from socket import * from time import ctime HOST = '' PORT = 21567 BUFSIZ = 1024 ADDR = (HOST,PORT) udpSerSock = socket(AF_INET, SOCK_DGRAM) udpSerSock.bind(ADDR) while True: print 'waiting for message...' data, addr = udpSerSock.recvfrom(BUFSIZ) udpSerSock.sendto('[%s] [%s]' %(ctime(), data),addr) print '...received from and returned to:', addr udpSerSock.close() ----------------------------- UDP和TCP服务器的另一个重要区别是,由于数据报套接字是无连接的,所以无法把客户的链接将诶另外的套接字进行后续通讯,这些服务器只是接受消息,需要的话,给客户返回一个结果就可以了 16.3.7 创建一个UDP客户端 cs = socket()#创建客户套接字 comm_loop:#通讯循环 cs.sendto()/cs.recvfrom()#对话(发送/接收) cs.close()#关闭客户套接字 在套接字对象创建好之后,我们就进入一个与服务器的对话循环,在通讯结束后,套接字就被关闭了 例,创建一个UDP客户端,程序会提示用户输入要传给服务器的信息,显示服务器返回的加了时间戳的结果 # vi tsUclnt.py ------------------------------------- #!/usr/bin/env python from socket import * from time import ctime HOST = '' PORT = 21568 BUFSIZ = 1024 ADDR = (HOST,PORT) udpSerSock = socket(AF_INET, SOCK_DGRAM) udpSerSock.bind(ADDR) while True: print 'waiting for message...' data, addr = udpSerSock.recvfrom(BUFSIZ) udpSerSock.sendto('[%s] %s' %(ctime(), data),addr) print '...received from and returned to:', addr print data udpSerSock.close() ------------------------------------- # vi tsUclnt.py ----------------------------------------- #!/usr/bin/env python from socket import * HOST = '192.168.8.18' PORT = 21568 BUFSIZ = 1024 ADDR = (HOST, PORT) udpCliSock = socket(AF_INET,SOCK_DGRAM) while True: data = raw_input('> ') if not data: break udpCliSock.sendto(data, ADDR) data, ADDR = udpCliSock.recvfrom(BUFSIZ) if not data: break print data udpCliSock.close() -----------------------------------------
16.3.8 执行UDP服务器和客户端
# python tsUserv.py --------------------------------- waiting for message... ---------------------------------- # python tsUclnt.py --------------------------------- > hi [Thu Dec 19 17:25:01 2013] hi > test1 [Thu Dec 19 17:25:03 2013] test1 > test2 [Thu Dec 19 17:25:05 2013] test2 ---------------------------------- # python tsUserv.py ---------------------------------- waiting for message... ...received from and returned to: ('192.168.8.19', 46359) hi waiting for message... ...received from and returned to: ('192.168.8.19', 46359) test1 waiting for message... ...received from and returned to: ('192.168.8.19', 46359) test2 waiting for message... -----------------------------------
16.3.9 套接字模块属性
属性名字描述
AF_UNIX,AF_INET,AF_INET6Python支持的套接字家族
SO_STREAM,SO_DGRAM套接字类型(TCP=流,UDP=数据报)
has_ipv6标识是否支持IPV6的标志变量
异常
error套接字相关错误
herror主机和地址相关的错误
gaierror地址相关错误
timeout超时
函数
socket()用指定的地址家族,套接字类型和协议类型(可选)创建一个套接字对象
socketpair()用指定的地址家族,套接字类型和协议类型(可选)创建一个套接字对象
fromfd()用一个已经打开的额文件描述符创建一个套接字对象
数据属性
ssl()在套接字初始化一个安全套接字层(SSL),不做整数验证
getaddrinfo()得到地址信息
getfqdn()返回完整的域的名字
gethostname()得到当前主机名
gethostbyname()由主机名得到对应的ip地址
gethostbyname()_ex()gethostbyname()扩展版本,返回主机名,主机所有的别名和IP地址列表
gethostbyaddr()由IP地址得到DNS信息,返回一个类似gethostbyname()_ex()的三元组
getprotobyname()由协议名(如"tcp")得到对应的号码
getservbyname()/由服务名得到对应的端口号或相反
getservbyport()两个函数中,协议名都是可选的
ntohl()/htohs()把一个整数由网络字节序转为主机字节序
htonl()/htons()把一个整数由主机字节序转为网络字节序
inet_aton()/把IP地址转为32位×××,以及反向函数(仅对IPV4有效)
inet_ptoa()
inet_pton()/把IP地址转为二进制格式以及反响函数(仅对IPV4有效)
inet_ntop()
getdefaulttimeout()/得到/设置默认的套接字超时时间,单位秒(浮点数)
setdefaulttimeout()
16.4 SocketServer模块
SocketServer是标准库中一个高级别的模块,用于简化网络客户与服务器的实现,模块中,已经实现了一些可供使用的类
SocketServer模块的类
类描述
BaseServer包含服务器的核心功能与混合(mix-in)类的钩子功能,这个类用于派生,不要直接生成
这个类的类对象,可以考虑使用TCPServer和IDPServer
TCPServer/基本的网络同步TCP/UDP服务器
UDPServer
UnixStreamServer/基本的基于文件同步TCP/UDP服务器
UnixDatagramServer
ForkingMixIn/实现了核心的进程化或线程化的功能,用于与服务器类进行混合(mix-in),以提供一些异步特性.
ThreadingMixIn不要直接生成这个类的对象
ForkingTCPServer/ForkingMixIn和TCPServer/UDPServer的组合
ForkingUDPServer
ThreadingTCPServer/ThreadingMixIn和TCPServer/UDPServer组合
ThreadingUDPServer
BaseRequestHandler包含处理服务请求的核心功能,只用于派生新的类,不要直接生成这个类的对象
可以考虑使用StreamRequestHandler或DatagramRequestHandler
StreamRequestHandler/TCP/UDP服务器的请求处理类的一个实现
DatagramRequestHandler
16.4.1 创建一个SocketServerTCP服务器
使用SocketServer里的TCPServer和StreamRequestHandler类创建一个时间戳TCP服务器
# vi tsTservSS.py --------------------------------------------- #!/usr/bin/env python from SocketServer import (TCPServer as TCP,StreamRequestHandler as SRH) from time import ctime HOST = '' PORT = 21567 ADDR = (HOST, PORT) class MyRequestHandler(SRH): def handle(self): print "...connected from: ", self.client_address self.wfile.write('[%s] %s'% (ctime(), self.rfile.readline())) tcpServ = TCP(ADDR, MyRequestHandler) print 'waiting for connection...' tcpServ.serve_forever() ---------------------------------------------
16.4.2 创建SocketServerTCP客户端
例,这是一个时间戳TCP客户端,它知道如何与SocketServer里StreamRequestHandler对象进行
# vi tsTclntSS.py ------------------------------------ #!/usr/bin/env python from socket import * HOST = 'localhost' PORT = 21567 BUFSIZ = 1024 ADDR = (HOST, PORT) while True: tcpCliSock = socket(AF_INET, SOCK_STREAM) tcpCliSock.connect(ADDR) data = raw_input('> ') if not data: break tcpCliSock.send('%srn' % data) data = tcpCliSock.recv(BUFSIZ) if not data: break print data.strip() tcpCliSock.close() ------------------------------------
16.4.2 执行TCP服务器和客户端
# python tsTservSS.py --------------------------------------- waiting for connection... ...connected from: ('127.0.0.1', 40712) ...connected from: ('127.0.0.1', 40713) ...connected from: ('127.0.0.1', 40714) ...connected from: ('127.0.0.1', 40715) ...connected from: ('127.0.0.1', 40716) ...connected from: ('127.0.0.1', 40717) ---------------------------------------- # python tsTclntSS.py --------------------------------------- > test1 [Fri Dec 20 04:44:02 2013] test1 > test2 [Fri Dec 20 04:44:16 2013] test2 > test3 [Fri Dec 20 04:44:18 2013] test3 ----------------------------------------
注:连接服务器连接了2次
16.5 Twisted框架介绍
Twisted是一个完全事件驱动的网络框架,它允许你使用和开发完全异步的网络应用程序和协议
16.5.1 创建一个Twisted Reactor TCP服务器
例,这是一个使用Twisted Internet类的时间戳TCP服务器
# vi tsTservTW.py ---------------------------------- #!/usr/bin/env python from twisted.internet import protocol, reactor from time import ctime PORT = 21567 class TSServProtocol(protocol.Protocol): def connectionMade(self): clnt = self.clnt = self.transport.getPeer().host print '...connected from: ',clnt def dataReceived(self,data): self.transport.write('[%s] %s' %(ctime(), data)) factory = protocol.Factory() factory.protocol = TSServProtocol print 'waiting for connection...' reactor.listenTCP(PORT, factory) reactor.run() ----------------------------------
16.5.2 创建一个Twisted Reactor TCP客户端
# vi tsTclntTW.py -------------------------------- #!/usr/bin/env python from twisted.internet import protocol, reactor HOST = 'localhost' PORT = 21567 class TSClntProtocol(protocol.Protocol): def sendData(self): data = raw_input("> ") if data: print '...sending %s...' % data self.transport.write(data) else: self.transport.loseConnection() def connectionMade(self): self.sendData() def dataReceived(self, data): print data self.sendData() class TSClntFactory(protocol.ClientFactory): protocol = TSClntProtocol clientConnectionLost = clientConnectionFailed = lambda self, connector, reason: reactor.stop() reactor.connectTCP(HOST, PORT, TSClntFactory()) reactor.run() --------------------------------
16.5.3 执行TCP服务器和客户端
Twisted客户显示的内容与我们之前的客户类似:
# python tsTservTW.py --------------------------- waiting for connection... ---------------------------- # python tsTclntTW.py ----------------------------------- > test1 ...sending test1... [Fri Dec 20 10:36:10 2013] test1 > test2 ...sending test2... [Fri Dec 20 10:36:15 2013] test2 ------------------------------------ # python tsTservTW.py ---------------------------------- waiting for connection... ...connected from: 127.0.0.1 -----------------------------------
注: "connection from" 输出没有其他的信息,因为我们只询问服务器的transport对象的getPeer()函数要了主机地址的信息
16.6 相关模块
网络/套接字编程相关模块
模块描述
socket底层网络接口,本章讨论过
anycore/为能异步处理客户请求的网络应用程序提供底层功能
select在单线程网络服务器程序中,管理多个套接字连接
SocketServer包含了些网络应用程序服务器所需要的高级别模块,提供了完整的进程和线程版本
