分布式多机扫库脚本

分布式多机扫库脚本
2个月前 (09-03) wang JAVA 0评论 47℃ 浏览数:34

需求背景 需要扫描全库的商品数据,然后根据不同的条件执行业务。比较麻烦的就是如何去扫库。现在的商品表比较少,大概四百万条数据。但是分了八个库,1024张表。每张表大概有4k的数据。 解决思路 有八台机器,所以八机并行,每个处理一部分的数据,…Read more »

系统集成CRedis遇到的坑

系统集成CRedis遇到的坑
2个月前 (08-20) wang JAVA 0评论 108℃ 浏览数:62

今日完成任务 系统集成credis,遇到了不少问题,总结一下。 maven依赖冲突 首先按照文档引入weshop-ad-component包,然后报错,删除这个包后就不报错了,初步定为依赖冲突。 然后查看报错的日志。 org.springf…Read more »

Redis设计与实现——跳跃表

Redis设计与实现——跳跃表
5个月前 (05-31) wang 技术杂谈 0评论 157℃ 浏览数:131

跳跃表是一种有序的数据结构,它通过在每个结点中维持多个指向其他结点的指针,从而达到快速访问节点的目的。 跳跃表支持平均O(logN),最坏O(N)复杂度的节点查找,还可以通过顺序性操作来批量处理节点。 Redis使用跳跃表左右有序集合键的底…Read more »

Redis设计与实现——字典

Redis设计与实现——字典
5个月前 (05-30) wang 技术杂谈 0评论 108℃ 浏览数:80

字典又称符号表,是一种用于保存键值对的抽象数据结构。 在字典中,一个键(key)和一个值(value)进行关联,这些关联的键和值就成为键值对。 字典中的每一个键都是独一无二的,程序可以在字典中根据键查找与之关联的值,或者通过键更新值,或者根…Read more »

Redis设计与实现——链表

Redis设计与实现——链表
5个月前 (05-30) wang 技术杂谈 0评论 96℃ 浏览数:67

Redis构建了自己的链表实现。在Redis中,列表键的底层实现之一就是链表。当一个列表键包好了数量较多的元素,或者列表中包含的元素都是比较长的字符串时,Redis就是用链表来作为底层实现。 Redis中,发布于订阅、慢查询、监视器、多个客…Read more »

使用python爬取方正教务系统的成绩 出成绩后发短信 发邮件(二)

使用python爬取方正教务系统的成绩 出成绩后发短信 发邮件(二)
5个月前 (05-08) wang 技术杂谈 0评论 326℃ 浏览数:255

刚才我们已经通过爬虫登录到了教务系统。那么下一步就是去爬取成绩,然后解析,并且执行自己对应的操作了。 那我们第一步,就是打开成绩地址。我们首先看看页面。 我们看到了是这个地址。那我们复制到浏览器,看看需要传递什么参数。 我们需要的就是这个成…Read more »