出色的golang sql操作库sqlx

在用标准去的sql库裸写了博客和某个新浪爬虫后,还是使用了sqlx做新的内部项目。

总的来说,非常好用。

https://github.com/jmoiron/sqlx

总体来说,它最重要的特性包括:

1.NamedExec,用一个struct来储存所有的参数。最关键的,不需要每个参数都用到

2.get和select,可获得一个或者多个数据结构。不需要在一个一个写赋值了。

3.Named。可以对象和命名的查询字符串转为传统的查询字符串和args。为复杂的查询拼接提供了极大的帮助。

总体来说在性能影响尽可能小的情况下,大幅度的提高了开发的效率

发布于
2017-04-01

慎用golang中的append操作

golang的slice是一个极好用的东西。

用slice自然少不得会使用append。

我自己做的midderware组块核心就是一个Func的slice

不知不觉就踩了一个坑。

具体来说,在加入csrf模块后,发现了奇怪的现象。

本来访问正常的页面,在路由加入2个middleware后报404,一个Middleware时不报。

为了解决这个问题,差不多把所有有关无关的代码都看了遍。无数的断点和测试,一步一步f11调试。

最后,锁定问题为:

在加入的middleware数量达到两个后,只有随后一个设置的路由起效。

调整代码顺序可以证实。

实在没办法后,脑洞大开。

觉得分明就是golang做了优化么,把相同的仅包含相同内容slice的struct当成了同一个。

把Use函数做了下修改

target.SetHandlers(funcs...)


改为

f:=make(funcxx,len(funcs))

copy(f,funcs)

target.SetHandlers(f)

问题解决

一瞬间我感觉到了地鼠对我有深深的恶意


发布于
2017-02-28

推荐Golang序列化库vmihailenco/msgpack

之前用golang标准库的gob做2进制序列化,缓存页面。

用下来很难用,没法直接interface{}用自定义结构,使用前要先注册。

这次换了https://github.com/vmihailenco/msgpack这个库。十分好用。

和json库一样可以直接传入interface{}序列化/反序列化。

速度比gob快很多。

之前我Blog缓存过得页面,在我的rmbp13上速度大概是2x,xxxns

换为msgpack后直接提升为10,xxxns

去掉5,xxx必要的处理和middle之类

效率在我这个场景下高了3倍左右。

发布于
2017-02-27

不错的rest后台框架ng-admin

重建网站后台时决定了用rest api做接口。

本来这也是驾轻就熟的事情,突然想到之后会做一个展示型网站的骨架/demo代码,用比较通用的代码比较好。

比较了一番相应的代码,选择了这个。

能很快的通过一系列的js配置搭建出常用的后台,ng 1.x也不需要各种编译。

有清晰的文档,和不少的讨论,解决问题非常方便。

还需要什么更多的要求呢?

项目地址:https://github.com/marmelab/ng-admin/

截图:


发布于
2017-02-27

sqlitebrowser,很不错的sqllit数据库编辑器

用golang做微博机器人爬语料,玩了下linux编译windows程序,找了这个工具来处理sqlite数据库。

开源,免费,有中文,跨平台

简单操作,易学易用

总的说很不错

http://sqlitebrowser.org/

发布于
2017-01-21

golang初印象

作为一个从Mud机器人正儿八经开始写程序的人,不管是nodejs还是golang,地一个练手项目都选择了mud客户端。

用了下golang,不惊艳,很舒服。

基本上。golang给我的感觉就是一个静态语言版的脚本,或者直接点说,python.

用:=,不需要事先申明变量类型

用interface,实现了脚本语言最重要的ducklike

几块的编译速度,go run xxx.go有种在跑脚本语言的感觉。

强制格式到自动格式化代码。比python更进一步。

很少的关键字。

很适合脚本程序与兼学。

学习成本太低。

虽然还是有很多问题。

但这么多语言,重要的是能做什么,而不是不能做什么。不适合的场景,不用就行了。

发布于
2017-01-17

2017年初,整理下自己的技能树,要有所取舍

按写过的代码量统计。

1.php,吃饭的家伙,除非改变自己的工作中心,不然不可能绕过去。保持并深入。

2js,同php.区别在于nodejs。就nodejs本身来说,不够喜欢,但胜在和浏览器同源,投入成本极低。保持并深入。

3.lua.可以说,从这个语言开始,是我玩票记录的开始。这个也是我玩票记录的典型。接触熟悉lua是因为当年写的hellua机器人。作为我一个不甚喜欢的语言,突然发现,我的代码量是我不喜欢的语言的排行榜啊。前两个是脏,但实用。lua是简陋。但轻巧。放弃中。

4.python。玩过票,做过gui,折腾过网页程序,写过运维程序。作为一个运维语言,还是少不掉。保持。

5.C。当年做一个别人的毕业设计。和hellua的mapper。以我的功底,能力,行业,没什么前途的。了解过,不擅长,放弃吧。

6.c#。折腾过mono+gtk,读过别人的源代码。放弃吧,能读懂就好。

7.shell脚本。这个也就那样。保持。

8.vb,vbs,logo。入门的东西,忘记就行了。

没怎么接触过,基本之看过一些代码或者做过helloword的语言

9.golang.写过一个helloword。感觉还是有一些有意思的点。深入。

10.c++好像接触过一点,好像又没接触过。不是这块料,放弃吧……

11.Java。太庞大。无力挑战。一直以来没什么好的映像,怎的要选,估计选c#的概率更高。放弃。

12.perl与我哲学不符。放弃

13.ruby。不喜欢rails....放弃。

 

总结:

深入3个语言 php,js,golang

保持python,shell。

真的有需要,可以考虑学习下c#/java

果然还是菜鸟技能树啊。

发布于
2017-01-16

不错的小玩意--我眼中的golang

之前被v2ex上一篇热贴吸引,去研究了一下golang。

本身误以为golang是个值得花精力去学好的东西。可以写客户端,效率高,文件直接在一个包内,跨平台。

在部署好环境,写了helloworld后,又对自己想要的方向搜索了下。

结果发现,我虽然长得不美,但想得太美了。

golang完全不是这么回事。

做gui比nodejs还惨。效率和java打了几个来回还输了。都蛋疼到让我去搜索golang的意义了。

好在在洗澡时理清了思路。发现我从一开始纠错了。

Golang压根就不是一个什么通用开发语言,被设计出来本身就是用来做一个小工具。

它的作用只有两个

1.做服务。连网页或者爬虫都做不好,那是动态语言的优势。

2.做运维工具。

颇有静态语言版shell的概念。

他解决问题是

1.作为服务,而非运算能力的效率问题

2.方便部署。各种脚本语言,特别是自带包管理那一票,特别特别是某些2.x 3.x都不兼容语言,在各种环境(比如包管理以来特定版本某语言的centos,比如windows)。部署起来太麻烦了。这点上go太方便了。

3.标准化问题,基本就是个更严格,甚至连文件夹怎么放都限制了的某语言。

既然只是一个做服务/运维的小工具,所以突出易学就很正常了。

难怪看到的资料,大部分都是替换了某语言,他跟就是对着某语言的7寸打的啊。

这对于只掌握一门语言来谋生的 “程序员“来说,应该是痛苦而难以接受的吧……

发布于
2017-01-15

我的前端工具

不定期更新

工具
Vscode编辑器:
https://code.visualstudio.com/
微软出品的编辑器

特效库

Pixi.js
http://www.pixijs.com/
高效率的Canvas/webgl库 

工具库

async
https://github.com/caolan/async
异步控制/处理库

underscore
http://underscorejs.org/
常用操作库 

在线工具

Staticfile cdn
https://www.staticfile.org/
七牛提供的cdn服务

发布于
2016-12-15

koa,yield与co库

目前我最欣赏的程序员是express的作者TJ。

最近准备用node js重写这个网站,发现TJ的新作koa似乎已经到了很使用的阶段,花了两小时研究了下。

刚开始看得是一头雾水。为什么koa demo 里的yield的用法和mdn的说法完全不同,为什么yeild这么特殊,这玩意到底什么鬼。

慢慢的理清了思路,找到了对的思路,才明白了过来。

不得不说,直介绍是什么,不说干什么用的文章到底有什么用……

首先,ES 6里引入了generator的概念.

通过代星号的函数可以常见生成器(特殊类)。

  1. 生成器上,有一段业务代码,
  2. 可以通过生成器生成函数(实例化类),调用可以执行生成器中的业务代码。
  3. 生成器中的代码依然不能执行异步代码,遇到 yield会中断
  4. 本身这一切不怎么神奇,但TJ大神写了个神奇的库叫CO。CO库可以直接调用生成器,执行业务代码。业务代码的yield只要跟的参数是promise或者thunk包装的异步函数,就能在异步结束后在异步代码中继续执行下面的代码,甚至可以有返回值。
  5. 这样,配合特殊格式的异步函数,把yield在结构上当成了类似call方法的同步函数。整个业务代码可以和同步代码一样有极强的可读性。异步代码尽可能简化,可以用其他库打包。
  6. 最后,代码看着像函数化的同步代码,用着也像。
koa其实就是个基于CO重构的express。
 
其实每个做过Node js的程序员,或多或少的都会写过一些类似的流程控制代码。当然,无疑TJ是写的最好的,考虑的最多,用的最广泛。
 
我真是爱死了这个设计出生的程序员了。

关于co可以参考 http://web.jobbole.com/85901/

发布于
2016-11-17