我对 GAE 中 mapreduce 支持的状态和文档感到非常困惑。
在官方文档中https://developers.google.com/appengine/docs/python/dataprocessing/ ,有一个例子,但是:
- 应用程序使用 mapreduce.input_readers.BlobstoreZipInputReader,我想使用 mapreduce.input_readers.DatastoreInputReader。文档提到了 DatastoreInputReader 的参数,但没有提到发送回 map 功能的返回值....
- 应用程序“演示”(Helloworld 页面)有一个mapreduce.yaml 文件,该文件在应用程序中未使用 ???
所以我找到了http://code.google.com/p/appengine-mapreduce/ .这是一个包含 mapreduce.input_readers.DatastoreInputReader 的完整示例,但据说还不支持 reduce 阶段!
所以我想知道是否可以使用 DatastoreInputReader 实现第一种形式的 mapreduce,以执行真正的 map/reduce 以获得等效的 GROUP BY?
请您参考如下方法:
第二个示例来自早期版本,它确实只支持映射器阶段。但是,如第一个示例所示,完整的 map/reduce 功能现在已受支持并且已经支持了一段时间。 mapreduce.yaml 是那个早期版本的,现在不用了。
我不确定您的实际问题是什么。毫不奇怪,从 DatastoreInputReader 发送到映射函数的值是从被映射的种类中获取的单个实体。
