20171207 虚拟化

  • 虚拟化技术概览
  • KVM简介
  • KVM的管理操作

一、虚拟化技术概览

(一)虚拟化技术类型:

  • 主机虚拟化:xen, kvm, virtualbox
  • 容器(用户空间隔离): lxc (LinuX Container), openvz, runC
  • 系统库虚拟化:wine
  • 应用程序级虚拟化:jvm, pvm

(二)主机虚拟化

  • 主机虚拟化:虚拟机(VM)和硬件之间加了一个Hypervisor软件层,或者叫做虚拟机管理程序(VMM)
(1)CPU虚拟化需要解决的问题
  • CPU的特权机制:ring机制

    • 分为:ring0, ring1, ring2, ring3;实际只使用了ring0, ring3
    • ring0仅允许内核执行特权指令,ring3允许执行普通指令
    • 应用程序的普通指令运行在ring3上
    • 当应用程序需要执行特权指令时,应用程序调用系统调用,从用户态转换至内核态,由内核执行特权指令,并将结果返回至应用程序,然后恢复至用户态
  • CPU的模拟:emulation, ring0与ring3都虚拟化,故虚拟机的arch与物理平台的arch可以不相同,如qemu

  • CPU的虚拟:virtualization,ring0虚拟化,分为完全虚拟化和半虚拟化

    • 完全虚拟化(full-virt),GuestOS不知道自身运行于虚拟化环境中
      (a) 需要解决的问题:GuestOS发出的特权指令会影响HostOS的运行,这是不可接受

      (b) 解决方法:
      BT:二进制转换 (软件),通过hypervisor翻译Guest的特权指令,效率较低
      HVM:硬件辅助的虚拟化(硬件),硬件能够区分Guest和Host的特权指令,将两者隔离,效率较高

    • 半(准)虚拟化 (para-virt)
      GuestOS明确知道自己运行在虚拟化环境中,故不需hypervisor翻译特权指令,性能比BT模式下的完全虚拟化高,但是需要对GuestOS的内核做相应的修改

(2)内存虚拟化需要解决的问题:
  • 进程使用内存原理简介:
    线性地址:用户进程拥有自己独立的地址空间,但这个地址空间是逻辑上的,故不同用户进程的地址空间位置可能有重叠
    物理地址:真实内存空间的地址
    MMU:Memory Management Unit,内存管理单元,负责将线性地址映射为物理地址

  • MMU虚拟:

    • 软件方式:
      (a) 在hypervisor层对MMU虚拟,负责GuestOS环境的线性地址映射为物理地址
      GVA--virtual MMU-->GPA--MMU-->HPA
      (G: Guest, H: Host, V: Virtual, P: Physical, A: Address)
      (b) shadow page tables:影子页表,直接实现从GVA至HPA的映射,Hypervisor将影子页表载入到物理上的内存管理单元(MMU)中进行地址翻译
    • 硬件方式:
      Intel: EPT, Extended Page Table
      AMD: NPT, Nested Page Table
  • TLB virtualization:

    • TLB:Translation Lookaside Buffer,转换检测缓冲区,是一个内存管理单元,用于改进虚拟地址到物理地址转换速度的缓存
    • 虚拟化环境下一台虚拟主机可能误命中另一台主机的TLB缓存
    • tagged TLB:在内存地址切换时知道TLB与虚拟机的对应关系,提升虚拟机与物理机之间的数据传送及翻译转换效率
(3)IO虚拟化需要解决的问题:
  • IO虚拟化的三种方式:
    Emulation:模拟/完全虚拟化
    Para-virtualization:半虚拟化
    IO-through:IO透传,某个GuestOS能够独占使用设备

  • 磁盘虚拟化:例如,GuestOS的磁盘被虚拟为HostOS上的文件

  • 网络虚拟化:虚拟主机网卡连接至虚拟交换机
    仅主机:物理网卡的虚拟网卡连到虚拟交换机
    桥接:物理网卡直接连到虚拟交换机,物理网卡需要开启混杂模式
    NAT:物理网卡的虚拟网卡通过路由连接到虚拟交换机,并进行源地址转换

(4)主机虚拟化的类型:
  • TYPE-I:
    架构特点:在硬件级别直接运行hypervisor
    解决方案:xen, vmware ESX/ESXI

  • TYPE-II:
    架构特点:在硬件级别运行一个OS (Host OS),而此OS上运行一个VMM
    解决方案:vmware workstation, virtualbox, kvm

(三)多主机虚拟化

  • IaaS:基础设施即服务
  • PaaS:平台即服务
  • SaaS:软件即服务

二、KVM简介

(一)KVM(Kernel-based Virtual Machine)的组件:

  • kvm.ko:模块,安装本模块后的内核即成为kvm hypervisor
  • qemu-kvm:用户空间的工具程序,为kvm hypervisor模拟IO设备
  • libvirt:统一管理各虚拟化平台的管理接口

(二)KVM管理架构:C/S架构

  • Client:
    libvirt-client
    virt-manager (GUI), virsh(CLI)
  • Daemon:
    libvirt-daemon

(三)快速安装使用KVM:

  • 判断CPU是否支持硬件虚拟化:
    当今CPU都支持硬件虚拟化,主机在虚拟机环境中在CPU的设置中开启“虚拟化Intel VT-x/EPT 或 AMD-V/RVI”,才能在虚拟机中支持硬件虚拟化
    grep -i -E '(vmx|svm|lm)' /proc/cpuinfo
    vmx:Intel VT-x
    svm:AMD AMD-v
    
  • 安装kvm组件
    yum install libvirt-daemon-kvm qemu-kvm virt-manager
  • 加载kvm.ko模块
    modprobe kvm
  • 启动libvirtd服务
    systemctl start libvirtd.service
  • 打开kvm的GUI管理接口
    virt-manager

(四)KVM的组件:分为kvm.ko模块和qemu-kvm进程

(1)kvm.ko模块:
  • 通过模拟为一个字符型设备dev/kvm负责和外界交互,工作为hypervisor
  • 在用户空间可通过系统调用ioctl()与内核中的kvm模块交互,从而完成虚拟机的创建、启动、停止、删除等各种管理功能
(2)qemu-kvm进程:
  • 工作于用户空间,用于实现IO设备模拟
  • 用于实现一个虚拟机实例
  • 运行中的一个kvm虚拟机就是一个qemu-kvm进程,运行qemu-kvm程序并传递给它合适的选项及参数即能完成虚拟机启动,终止此进程即能关闭虚拟机
(3)KVM模块load进内存之后,系统的运行模式:
  • 内核模式:GuestOS执行IO类的操作时,或其它的特殊指令操作时的模式;它也被称为“Guest-Kernel”模式
  • 用户模式:Host OS的用户空间,用于代为GuestOS发出IO请求
  • 来宾模式:GuestOS的用户模式;所有的非IO类请求

三、KVM的管理操作

(一)使用virt-manager管理KVM

实验1:在虚拟机中安装kvm,使用virt-manager配置为通过PXE方式安装系统
环境准备:
1、在虚拟机环境中在CPU的设置中开启“虚拟化Intel VT-x/EPT 或 AMD-V/RVI”,才能在虚拟机中支持硬件虚拟化
2、使用XShell登录系统时,需要安装XManager并配置X协议转发,才能使用ssh -X选项登陆后,通过X协议在本地打开远程图形界面

  • 步骤1:加载kvm模块

    modprobe kvm      
    lsmod | grep kvm
    
  • 步骤2:CentOS 7创建物理桥,使用内核自带的桥接模块实现

    cd /etc/sysconfig/network-scripts/
    cp ifcfg-ens33 ifcfg-br0
    vim ifcfg-ens33     // 物理网卡端指明桥接的名称
    TYPE=Ethernet
    BOOTPROTO=static
    DEVICE=ens33
    ONBOOT=yes
    BRIDGE=br0
    
    vim ifcfg-br0    // 桥接网卡端指明IP地址等信息
    TYPE=Bridge
    BOOTPROTO=static
    IPADDR=172.18.58.230
    PREFIX=16
    DEVICE=br0
    ONBOOT=yes
    
    systemctl restart network.service
    brctl show
    

    桥接网卡br0是刚刚创建的物理桥,而桥接网卡virbr0是装载kvm.ko模块后自动生成的NAT连接,若使用PXE模式安装系统则必须配置物理桥

  • 步骤3:安装libvirt, virt-manager, qemu-kvm,并启动libvirtd服务

    yum install qemu-kvm libvirt-daemon-kvm  virt-manager
    systemctl start libvirtd.service 
    // 在另一个终端ssh远程登录kvm主机,注意使用'-X'选项允许X协议转发
    ssh -X root@192.168.136.230
    virt-manager &
    

    出现如下窗口则成功启动virt-manager

  • 步骤4:使用virt-manager创建虚拟机,并安装操作系统

    • 创建虚拟机,选择PXE方式安装操作系统
    • 选择安装的操作系统
    • 配置内存和CPU设置
    • 创建虚拟磁盘
    • 给虚拟机命名,注意必须选中"Customize configuration before install "并选择网卡为建立的物理桥接网卡
    • 在安装前配置中,在"Boot Options"中开启启动菜单,选中磁盘和网卡
    • 同样在安装前配置中,在"Display VNC"中选择"VNC server",并且keymap选择"en-us",从而保证键盘使用正常
    • 启动虚拟机,成功实现通过PXE方式安装

(二)使用qemu-kvm管理KVM

(1)qemu-kvm命令语法:

qemu-kvm [options] [disk_image]

  • 选项类别:
    标准选项、块设备相关选项、显示选项、网络选项

  • 标准选项:

    • -machine [type=]name:-machine help来获取列表,用于指定模拟的主机类型
    • -cpu cpu:-cpu help来获取列表,用于指定要模拟的CPU型号
    • -smp n[,maxcpus=cpus][,cores=cores][,threads=threads][,sockets=sockets]:
      指明虚拟机上vcpu的数量及拓扑
    • -boot [order=drives][,once=drives][,menu=on|off] [,splash=sp_name][,splash-time=sp_time][,reboot-timeout=rb_time][,strict=on|off]
      order:各设备的引导次序:c表示第一块硬盘,d表示第一个光驱设备
      e.g. -boot order=dc,once=d:启动顺序先光驱后硬盘,只在第一次启动时通过光驱
    • -m megs:虚拟机的内存大小
    • -name NAME:当前虚拟机的名称,要惟一
  • 块设备相关的选项:

    • -hda/-hdb file:指明IDE总线类型的磁盘映射文件路径,第0和第1个
    • -cdrom file:指定要使用光盘映像文件;
    • -drive [file=file][,if=type][,media=d][,index=i] [,cache=writethrough|writeback|none|directsync|unsafe][,format=f]:
      file=/PATH/TO/SOME_IMAGE_FILE:映像文件路径
      if=TYPE:块设备总线类型,ide, scsi, sd, floppy, virtio
      media=TYPE:介质类型,cdrom和disk
      index=i:设定同一类型设备多个设备的编号
      cache=writethrough|writeback|none|directsync|unsafe:缓存方式
      format=f:磁盘映像文件的格式
  • 显示选项:
    -DISPLAY TYPE:显示的类型,sdl, curses, none和vnc

    • -nographic:不使用图形接口
    • -vga [std|cirrus|vmware|qxl|xenfb|none]:模拟出的显卡的型号
    • -vnc display[,option[,option[,...]]]]:启动一个vnc server来显示虚拟机接口
      让qemu进程监听一个vnc接口
      HOST:N,表示在HOST主机的第N个桌面号输出vnc,端口号:5900+N
    • -monitor stdio:在标准输出上显示monitor界面;
  • 网络选项:

    • -net nic[,vlan=n][,macaddr=mac][,model=type][,name=str][,addr=str][,vectors=v]
      为虚拟机创建一个网络接口,并将其添加至指定的vlan
      model=type:指明模拟出的网卡的型号,如e1000,pcnet,virtio
      macaddr=mac:指明mac地址,要求为52:54:00:XX:XX:XX,前6位固定,后六位自定义
    • -net tap[,vlan=n][,name=str][,fd=h][,fds=x:y:...:z][,ifname=name][,script=file][,downscript=dfile]:
      通过物理的TAP网络接口连接至vlan n
      script=file:启动虚拟机时要执行的脚本,默认为/etc/qemu-ifup
      downscript=dfile:关闭虚拟机时要执行的脚本,/etc/qemu-ifdown
      ifname=NAME:自定义接口名称
  • 其它选项:
    -daemonize:以守护进程运行

  • 注意:

    • 当以前台模式运行时,
      Ctrl-a, c:在console和monitor之间切换
      Ctrl-a, h:查询帮助
    • 建议Network IO, Disk IO使用半虚拟化技术,即设备类型为virtio,性能会有显著提升
(2)qemu-img建立虚拟磁盘实际应用
  • 实验2:使用qemu-img建立虚拟磁盘,使用virt-manager将系统安装至虚拟磁盘

    • 步骤1:使用qemu-img建立虚拟磁盘
    mkdir /vm/images -pv
    qemu-img create -f qcow2 -o size=120G,preallocation=metadata /vm/images/centos_test.qcow2
    
    • 步骤2:启动virt-manager
    virt-manager &
    

    大部分步骤与实验1相同,只需在创建磁盘时手动选择磁盘位置即可

    在系统安装前配置页面中也可以看到虚拟磁盘路径

(3)qemu-kvm建立虚拟机实际应用
  • 实验3-1:使用qemu-kvm导入系统镜像,后台运行虚拟机,打开监听端口,通过VNC协议显示控制台

    • 步骤1:使用qemu-kvm导入镜像并后台开启虚拟机
    // 一般不使用qemu-kvm安装,故需要手动在/usr/bin下建立软链接至qemu-kvm的可执行程序
    ln -s /usr/libexec/qemu-kvm /usr/bin    
    // 导入镜像
    qemu-kvm -name cirros -m 1024m -smp 2 -drive file=/vm/images/cirros-no_cloud-i386.img,if=virtio,media=disk -vnc :0 --daemonize
    ss -ntlp
    

    可以看到qemu-kvm开启了5900端口

    • 步骤2:安装并启动vnc
    yum install tigervnc
    vncviewer :0
    
    • 步骤3:此时只能通过kill关闭虚拟机进程
    kill -9 9193
    
  • 实验3-2:使用qemu-kvm导入系统镜像,并前台运行虚拟机

    • 步骤1:使用qemu-kvm导入镜像并前台开启虚拟机
    ln -s /usr/libexec/qemu-kvm /usr/bin  
    qemu-kvm -name cirros -m 1024m -smp 2 -drive file=/vm/images/cirros-no_cloud-i386.img,if=virtio,media=disk -nographic
    ss -ntlp
    
    • 步骤2:切换至qemu控制台,关闭进程
    Ctrl+a h     // 查询帮助
    Ctrl+a c     // 在console和monitor之间切换
    quit         // 关闭本进程
    
(4)qemu-kvm建立虚拟机并配置虚拟机网络
  • 实验4:qume-kvm的网络配置

    • 步骤1:在宿主机上配置网桥vnet0
    brctl addbr vnet0
    brctl show
    ip link set vnet0 up
    
    • 步骤2:在宿主机上启动虚拟机,并配置网络
    // 编辑qemu-kvm的网卡启动脚本
    vim /etc/qemu-ifup
    #!/bin/bash
    #
    bridge=vnet0
    
    if [ -n "$1" ];then
            ip link set $1 up
            sleep 1
            brctl addif $bridge $1     // 将虚拟机的网卡连接至网桥
            [ $? -eq 0 ] && exit 0 || exit 1
            else
            echo "Error: no interface specified."
            exit 2
    fi
    
    chmod +x /etc/qemu-ifup 
    qemu-kvm -name cirros1 -m 64m -smp 2 -drive file=/vm/images/cirros1.img,if=virtio,media=disk -net nic,model=virtio,macaddr=52:54:00:00:00:01 -net tap,script=/etc/qemu-ifup -vnc :0 --daemonize
    qemu-kvm -name cirros2 -m 64m -smp 2 -drive file=/vm/images/cirros2.img,if=virtio,media=disk -net nic,model=virtio,macaddr=52:54:00:00:00:02 -net tap,script=/etc/qemu-ifup -vnc :1 --daemonize
    
    • 步骤3:通过vnc协议打开虚拟机cirros1和cirros2的控制台
    vncviewer :0
    vncviewer :1
    
    • 步骤4:配置仅主机模式的虚拟主机网卡模式
      只需把虚拟主机网卡和网桥vnet0配置在一个ip网段中即可
    sudo ifconfig eth0 192.168.10.1 up      // cirros1虚拟机上配置网卡
    sudo ifconfig eth0 192.168.10.2 up      // cirros2虚拟机上配置网卡
    ifconfig vnet0 192.168.10.3 up          // 宿主机上配置网桥
    

    此时两台虚拟主机可以互相ping通

    虚拟主机和网桥之间也可以互相ping通

    • 步骤5:配置NAT模式的虚拟主机网卡模式
    sudo route add default gw 192.168.10.3   // 虚拟机上建立默认网关
    iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -j SNAT --to-source 192.168.136.230     // 宿主机上建立端口转发逻辑
    sysctl -w net.ipv4.ip_forward=1          // 宿主机上设置允许网卡进行端口转发
    

    配置网关后,虚拟机可以ping通宿主机的ip,但是无法ping通宿主机网段的其他主机

    配置NAT后,可以ping通宿主机网段的其他主机

(三)使用virtsh管理KVM

(1)建立虚拟机

虚拟机的生成需要依赖于预定义的xml格式的配置文件,默认文件位置/etc/libvirt/qemu/
其生成工具有两个:virt-manager, virt-install

(2)virsh命令
  • 语法:virsh [OPTION]... COMMAND [ARG]...

  • 子命令的分类:
    Domain Management (help keyword 'domain'):域管理,域即为虚拟主机
    Domain Monitoring (help keyword 'monitor'):域监控
    Host and Hypervisor (help keyword 'host'):宿主机管理
    Interface (help keyword 'interface'):网络接口管理
    Networking (help keyword 'network'):网络管理
    Network Filter (help keyword 'filter')
    Snapshot (help keyword 'snapshot'):快照管理
    Storage Pool (help keyword 'pool')
    Storage Volume (help keyword 'volume')

  • Domain Management (help keyword 'domain')

    • 创建虚拟机:
      create:从xml格式的配置文件创建并启动虚拟机,作用相当于define+start
      define:从xml格式的配置文件创建虚拟机

    • 启动:
      start:启动
      reboot:重启

    • 停止:
      destroy:强行关机
      shutdown:关机

    • 删除:undefine

    • 暂停:
      suspend/resume:暂停于内存中,或继续运行暂停状态的虚拟机
      save/restore:保存虚拟机的当前状态至文件中,或从指定文件恢复虚拟机

    • 连接至指定domain的控制台:console

    • 域的设备资源管理:
      cpu-stats, vcpuinfo, vcpucount, setvcpus, vcpupin, setmaxmem, setmem

      • 磁盘设备的热插拔:attach-disk/detach-disk

      • 网络接口设备的热插拔:attach-interface/detach-interface

  • Domain Monitoring (help keyword 'monitor')
    domiflist:网络接口状况
    domblklist:块设备状况

  • 实验5:virsh管理kvm虚拟机

    • 虚拟机的创建、删除、暂停、恢复
    // 有一台配置好的kvm虚拟机,复制其xml配置文件并作修改
    virsh dumpxml cirros1      // 查看正在运行虚拟机的xml配置文件
    cd /etc/libvirt/qemu
    cp cirros1.xml cirros2.xml
    vim cirros2.xml
    <name>cirros2</name>                                  // 修改虚拟主机名
    <uuid>4b78e9d4-46b6-460c-a7da-cc3c1b8e5b77</uuid>     // 修改UUID
    <source file='/vm/images/cirros2.img'/>               // 修改导入的镜像
    <mac address='52:54:00:b5:20:b0'/>                    // 修改MAC地址
    // 按照xml文件建立并开启虚拟机,按Ctrl+]退出当前虚拟机终端
    virsh create /etc/libvirt/qemu/cirros2.xml --console
    // 查看当前正在运行的虚拟机
    virsh list
    // 进入虚拟机cirros2的终端
    virsh console cirros2
    // 虚拟机暂存内存
    virsh suspend cirros2
    virsh list --all      // 查看处于活动和非活动状态的所有虚拟主机
    // 虚拟机从内存恢复
    virsh resume cirros2
    virsh list
    // 保存当前虚拟机状态至文件
    virsh save cirros2 /tmp/cirros2  --running
    virsh list --all
    // 从文件恢复虚拟机
    virsh restore /tmp/cirros2
    virsh list --all
    // 关闭虚拟机
    virsh destroy cirros2  --graceful
    // 删除虚拟机
    virsh undefine cirros2
    

    按照配置文件成功启动虚拟机,可以看到MAC地址按照配置文件要求设置

    虚拟机暂存内存和从内存中恢复

    虚拟机状态存储至磁盘和从磁盘恢复

    关闭虚拟机

    • 虚拟机的设备管理
    // 查看虚拟机的相关硬件统计信息
    virsh cpu-stats cirros1
    virsh vcpuinfo cirros1
    virsh vcpucount cirros1
    // 给虚拟机热加载磁盘
    qemu-img create -f qcow2 -o size=20G,preallocation=metadata  /vm/images/test_disk.qcow2
    virsh attach-disk cirros1 /vm/images/test_disk.qcow2 vdb
    virsh domblklist cirros1     // 查看虚拟机的块设备情况
    // 给虚拟机热卸载磁盘
    virsh detach-disk cirros1 vdb
    virsh domblklist cirros1
    // 给虚拟机热添加网卡
    brctl show
    virsh attach-interface cirros1 bridge br0
    virsh domiflist cirros1     // 查看虚拟机的网卡设备情况
    // 给虚拟机热卸载网卡
    virsh detach-interface cirros1 bridge --mac 52:54:00:8c:b5:e1
    virsh domiflist cirros1
    

    分别在宿主机和虚拟机上都查看到了磁盘vdb的添加和删除
    宿主机上

    虚拟机上

    分别在宿主机和虚拟机上都查看到了网卡eth1的添加和删除
    宿主机上

    虚拟机上

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 143,396评论 1 301
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 61,482评论 1 258
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 94,858评论 0 213
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 41,131评论 0 179
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 48,903评论 1 256
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 38,847评论 1 177
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 30,454评论 2 273
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 29,206评论 0 167
  • 想象着我的养父在大火中拼命挣扎,窒息,最后皮肤化为焦炭。我心中就已经是抑制不住地欢快,这就叫做以其人之道,还治其人...
    爱写小说的胖达阅读 29,047评论 6 232
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 32,563评论 0 213
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 29,344评论 2 215
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 30,667评论 1 231
  • 白月光回国,霸总把我这个替身辞退。还一脸阴沉的警告我。[不要出现在思思面前, 不然我有一百种方法让你生不如死。]我...
    爱写小说的胖达阅读 24,264评论 0 32
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 27,163评论 2 214
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 31,546评论 3 207
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 25,630评论 0 9
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,032评论 0 166
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 33,572评论 2 231
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 33,668评论 2 232

推荐阅读更多精彩内容