python中使用mongodb存储爬虫数据

现在在做一个简单的搜索引擎,使用今日头条的新闻数据作为数据源。这些数据都是非结构性的,比较适合用 mongodb 来进行存储。

以下为简单使用的示例。

#!/usr/bin/python
# -*- coding:utf-8 -*-
import pymongo
class documentmanager(object):
def __init__(self):
pass
def connect_mongo(self):
client = pymongo.connection(“127.0.0.1”,27017)
db = client.data_db
collection = db.data_collection
mydict = {“name”:”lucy”, “sex”:”female”,”job”:”nurse”}
collection.insert(mydict)
for i in collection.find({“name”:”lucy”}):
print i
if __name__ == ‘__main__’:
manager = documentmanager()
manager.connect_mongo()

Posted in 未分类

发表评论