Blog Posts

对新闻网站建立爬虫，爬取出结构化信息，储存在数据库

Demo V1 在线编辑模式 客户端给出的接口和功能: 模版选定 用户按照模版指示一行行输入文本或图片数据 文本打包发送给服务器端 需要一个实时解析latex 模版的解析器. 并有一个展示解析成果的界面. 服务端提供的功能: 1. 需要有一个模版库, 供用户在搜索时选择,搜索结束之后返回相应的latex文件给客户端(也许也可以放在前端完成) 2. 接收用户发送过来的tex文件或者txt文件, (如果是txt文件则需要再转化成tex格式),生成pdf并返回 软件端所需要的功能: 对文本文件转化为tex文件进行解析. txt文件转 tex文件(可能需要)

开发者心路历程

python部分使用方法总结

Use Homebrew to install hugo on your Mac.

前端代码的基础学习

◦1、选取3-5个代表性的新闻网站（比如新浪新闻、网易新闻等，或者某个垂直领域权威性的网站比如经济领域的雪球财经、东方财富等，或者体育领域的腾讯体育、虎扑体育等等）建立爬虫，针对不同网站的新闻页面进行分析，爬取出编码、标题、作者、时间、关键词、摘要、内容、来源等结构化信息，存储在数据库中。 ◦2、建立网站提供对爬取内容的分项全文搜索，给出所查关键词的时间热度分析。