Fork me on GitHub

爬虫框架的安装

参考内容：Python3 网络爬虫开发实战-崔庆才

我们直接用 requests，Selenium 等库写爬虫，如果爬取量不是太大，速度要求不高，是完全可以满足需求的。但是写多了会发现其内部许多代码和组件是可以复用的，如果我们把这些组件抽离出来，将各个功能模块化，就慢慢会形成一个框架雏形，久而久之，爬虫的框架就诞生了。

more >>

展开全文 >>

Pandas 概览

原文地址：Pandas 中文网

Pandas 概览

Pandas 是 Python 的核心数据分析支持库，提供了快速，灵活，明确的数据结构，旨在简单，直观地处理关系型，标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是是成为 最强大，最灵活，可以支持任何语言的开源数据分析工具. 经过多年不懈的努力，Pandas 离这个目标已经越来越近了。

more >>

展开全文 >>

使用 Pandas 做数据可视化

内容来源：https://mp.weixin.qq.com/s/k5hmJAljN4vu52HP9wWBxQ

数据客户化可以让我们很直观的发现数据中隐藏的规律，察觉到变量之间的互动关系，可以帮助我们更好的给他人解释现象，做到一图胜千文的说明效果。

常见的数据可视化库有：

  • matplotlib：是最常见的2维库，可以算作可视化的必备技能库，由于 matplotlib 是比较底层的库，api 很多，代码学起来不太容易。
  • seaborn：是构建于 matplotlib 基础上，能满足绝大多数可视化需求。更特殊的需求还是需要学习 matplotlib；
  • pyecharts：上面两个库都是静态的可视化库，而 pyecharts 有很好的 web 兼容性，可以做到可视化的动态效果。
more >>

展开全文 >>

Linux 日志切割 logrotate

参考文章: Linux 日志切割神器 logrotate 原理介绍和配置详解

logrotate 简介

logrotate 是一个 linux 系统日志的管理工具。可以对单个日志文件或者某个目录下的文件按 时间/大小 进行切割，压缩操作；指定日志保存数量；还可以在切割之后运行自定义命令。
logrotate 是基于 crontab 运行的，所以这个时间点是由 crontab 控制的，具体可以查询 crontab 的配置文件 /etc/anacrontab。系统会按照计划的频率运行 logrotate，通常是每天。在大多数的 Linux 发行版本上，计划每天运行的脚本位于 /etc/cron.daily/logrotate。

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Linux 运维、自动化运维、
Kubernetes、Python、Jenkins、Docker

联系QQ:2350686113

很惭愧

只做了一点微小的工作
谢谢大家