与 Dask 结合使用¶

导入¶

输入 [1]

import sparse

import dask.array as da

import numpy as np

import sparse import dask.array as da import numpy as np

创建数组¶

这里，我们创建了两个随机 sparse 数组并将它们移动到 Dask。

输入 [2]

rng = np.random.default_rng(42)
M, N = 10_000, 10_000
DENSITY = 0.0001
a = sparse.random((M, N), density=DENSITY)
b = sparse.random((M, N), density=DENSITY)

a_dask = da.from_array(a, chunks=1000)
b_dask = da.from_array(b, chunks=1000)

rng = np.random.default_rng(42) M, N = 10_000, 10_000 DENSITY = 0.0001 a = sparse.random((M, N), density=DENSITY) b = sparse.random((M, N), density=DENSITY) a_dask = da.from_array(a, chunks=1000) b_dask = da.from_array(b, chunks=1000)

正如我们在“数据类型”部分看到的那样，Dask 数组的每个分块仍然是稀疏的（sparse）。

输入 [3]

a_dask  # noqa: B018

a_dask # noqa: B018

输出[3]

数组 分块 形状 (10000, 10000) (1000, 1000) Dask 图 2 个图层中的 100 个分块 数据类型 float64 sparse.numba_backend._coo.core.COO

计算并检查结果¶

正如我们所看到的，从 Dask 获得的结果与从 sparse 获得的结果相符。

输入 [4]

assert sparse.all(a + b == (a_dask + b_dask).compute())

assert sparse.all(a + b == (a_dask + b_dask).compute())