建立程序设计知识库 博客下载工具
我们都心知肚明，互联网不是每天都为我们开放着。一个好站点，由于各种原因，很容易就从我们的视野中消失。
为此，分享一下我是如何搜集优秀的博客文章，如何加工整理，消化。
经常写程序，需要经常查阅一些编程文档。一般编程知识的来源有以下几个途径
MSDN
MSDN是一个很优秀的知识库，这个离线版的MSDN几乎包含了所有与微软开发相关的主题。
优秀的博客站点
如果是做.NET开发，推荐的博客有以下几个
博客园 cnblogs.com
点部落 http://www.dotblogs.com.tw/（台湾）
codeproject.com
经常在博客园看文章，或是关于技术方面的总结，或是某个系列的专题,比如Linq,EF,NHibernate. 看完之后，总想一子下把他们存到硬盘中，怕下次又找不到。比如最近经常收到博客园的电子期刊，就有一种全部下载下来，做成doc或是pdf的冲动。
基本的方式，一篇篇的打开网页，另存为html文件，过程繁琐，而且有些网页会提示无法保存。
先看工具的用法。这个工具是我设计的，稍后会放出下载的地址(epn.codeplex.com)
启动BDS程序，点菜单中的New或是工具栏中的New按钮，界面如下
其实，博客就是html网页，把它存到本地的方式，也就是保存网页的方式。在这里我规定了三种下载方式
1 Id 如果你看到谁的Linq系列写的很好，或是EF的教程很详细，你想一下子把它的所有博客日志都下载到本地，就应该选这种方式。它会根据你输入的博客帐号，分析该博主的所有随笔，然后逐个下载到本地。
来看一下效果
在上面的界面中，选择Blog组中的Id，打开窗口如下
从窗口的名字中可以看出，它是为了下载某个博主的所有随笔内容。
在这里我做了用了个小技巧。我将经常关注的博主存放到一个文本文件中，上面的Download Blog By UserId启动时，会去找Id.txt这个文件，加载到主窗口中，这样省去了为次要敲博主的Id的时间。
Output Path就是要保存的html文件的路径，所下载的文章全部保存在这个路径下。
它会用博主的Id建立一个子目录，然后把它的文章放到这个路径下面，以防止重复。
如下图所示，Foundation写了一系列非常优秀的工作流的文章，我就迫不急待的把它保存下来了。
再来看url的写法，细心的朋友可能已经发现了，有两种类型的url
http://www.cnblogs.com/lyj/
-http://www.cnblogs.com/peterzb/
第一个是标准的路径名称，第二个路径前面有带-。这个小技巧会告诉程序，暂时跳过peterzb的博客，不用分析和下载。这种情况多半发生在，该博主最近没有更新博客，没有必要下载。
2 Url 有时候我们看到一些好的地址连接。比如有的博主会提供一些MSDN或是CodeProject中的相似的文章的连接，
这时，我只需要下载这些连接的文章，就可以使用这种方式
打开窗口的效果同上，它会直接去下载指定连接的网页文件。
这种方式，可以应用到博客园的电子期刊。电子期刊会很详细的列出优秀博客文章的名称和地址，我们要做的就是，把地址拷贝到这里，然后开始下载。下载方式与前面的相同，
仍然是保存为mht文件。
mht文件会包含图片，评论，是最完整的格式。
也考虑过，将下载的mht文件直接转成doc或是pdf文件。这不难，只是一句API调用就可以，很容易。
3 Text 文本 这种方式，提供从一段html片段文本中下载网页连接的能力。有时候我们发现整理url很麻烦。比如博客园的电子期刊，你需要用文本编辑器打开它的html源代码，逐个的找出文章的url，整理到一起，这样做起来有些麻烦，不方便。于是，我就想到这种方式，你要干的活，就是右键，查看网页源代码，然后把这个html的片段copy到这里，
分析程序会先提取这一段文本的所有html连接，再逐个下载。
打开程序跑了半个小时，在我的电脑里面，就存了1G多的博客文章。在上网不方便或是网速很慢的情况下，这些知识库的文章，将是重要的参考资料，也是思考的来源。
因为这些博客资料和文章都是有版权的，不推荐整理成PDF供下载，适合于留着自己学习，深入的学习。
接下来的步骤就是用Lucene.NET给这些文章建立索引，以快速的方式来检索内容。这又是另一个主题，暂且不表。
论坛
论坛也是编程知识和经验的来源地，对优秀的thread，我们仍然可以考虑把它下载到本地，整理成PDF或DOC。
暂时没有这个功能的可用模块，当看到很好的主题，有保存整个论坛冲动的时候，再来做这个程序。
原理也是一样的，保存为本地mht文件。
希望可以帮助到你。
"