Theano - 循環(huán)

import. 發(fā)布于2019-07-25 12:03 / 2427人閱讀

摘要：復(fù)發(fā)的一種常用形式，可以用于循環(huán)和是的特例可以根據(jù)一些輸出序列一個(gè)函數(shù)，每一步都會(huì)生成一個(gè)輸出可以查看之前步的輸出給定一個(gè)初始狀態(tài)可以通過函數(shù)計(jì)算一個(gè)列表的和通常一個(gè)循環(huán)可以用操作符進(jìn)行實(shí)現(xiàn)使用的優(yōu)點(diǎn)迭代次數(shù)為符號(hào)圖的一部分最大限度地減少傳

Scan

復(fù)發(fā)(Recurrence)的一種常用形式，可以用于循環(huán)(looping)

Reduction和map是scan的特例

可以根據(jù)一些輸出序列scan一個(gè)函數(shù)（function)，每一步都會(huì)生成一個(gè)輸出

可以查看之前k步的輸出

給定一個(gè)初始狀態(tài)z=0,可以通過scan函數(shù)z + x(i)計(jì)算一個(gè)列表的和sum(a_list)

通常一個(gè)for循環(huán)可以用scan()操作符進(jìn)行實(shí)現(xiàn)

使用scan的優(yōu)點(diǎn)：

迭代次數(shù)為符號(hào)圖的一部分

最大限度地減少GPU傳輸（如果用到了GPU）

通過序列步長(zhǎng)計(jì)算梯度

運(yùn)行速率比python內(nèi)置的for循環(huán)稍微快些

可以通過檢測(cè)需要的實(shí)際內(nèi)存量，來(lái)降低整體內(nèi)存使用量

例子：對(duì)應(yīng)元素計(jì)算tanh(x(t).dot(W) + b)

import theano
import theano.tensor as T
import numpy as np

# 定義張量變量
X = T.matrix("X")
W = T.matrix("W")
b_sym = T.vector("b_sym")

results, updates = theano.scan(lambda v: T.tanh(T.dot(v, W) + b_sym), sequences=X)
compute_elementwise = theano.function([X, W, b_sym], results)

# 測(cè)試
x = np.eye(2, dtype=theano.config.floatX)
w = np.ones((2, 2), dtype=theano.config.floatX)
b = np.ones((2), dtype=theano.config.floatX)
b[1] = 2

compute_elementwise(x, w, b)
# 和numpy相比較
np.tanh(x.dot(w) + b)

例子：計(jì)算序列x(t) = tanh(x(t-1).dot(W) + y(t).dot(U) + p(T-t).dot(V))

import theano
import theano.tensor as T
import numpy as np
# 定義張量變量
X = T.vector("X")
W = T.matrix("W")
b_sym = T.vector("b_sym")
U, Y, V, P = T.matrices("U", "Y", "V", "P")

result, update = theano.scan(lambda y, p, x_tml: T.tanh(T.dot(x_tml, W) + T.dot(y, U) + T.dot(p, V)),
                             sequences=[Y, P[::-1]], outputs_info=[X])

compute_seq = theano.function(inputs=[X, W, Y, U, P, V], outputs=result)

# 測(cè)試
x = np.zeros((2), dtype=theano.config.floatX)
x[1] = 1
w = np.ones((2, 2), dtype=theano.config.floatX)
y = np.ones((5, 2), dtype=theano.config.floatX)
y[0, :] = -3
u = np.ones((2, 2), dtype=theano.config.floatX)
p = np.ones((5, 2), dtype=theano.config.floatX)
p[0, :] = 3
v = np.ones((2, 2), dtype=theano.config.floatX)

print(compute_seq(x, w, y, u, p, v))

# 與Numpy對(duì)比
x_res = np.zeros((5, 2), dtype=theano.config.floatX)
x_res[0] = np.tanh(x.dot(w) + y[0].dot(u) + p[4].dot(v))
for i in range(1, 5):
    x_res[i] = np.tanh(x_res[i - 1].dot(w) + y[i].dot(u) + p[4-i].dot(v))
print(x_res)

例子：計(jì)算X的行范式

import theano
import theano.tensor as T
import numpy as np

# 定義張量變量
X = T.matrix("X")
results, updates = theano.scan(lambda x_i: T.sqrt((x_i ** 2)).sum(), sequences=[X])
compute_norm_lines = theano.function(inputs=[X], outputs=results)

# 測(cè)試
x = np.diag(np.arange(1, 6, dtype=theano.config.floatX), 1)
print(compute_norm_lines(x))

# 和Numpy對(duì)比
print(np.sqrt((x ** 2).sum(1)))

例子：計(jì)算X的列范式

import theano
import theano.tensor as T
import numpy as np

# 定義張量變量
X = T.matrix("X")
results, updates = theano.scan(lambda x_i: T.sqrt((x_i ** 2).sum()), sequences=[X.T])
compute_norm_cols = theano.function(inputs=[X], outputs=results)

# 測(cè)試
x = np.diag(np.arange(1, 6, dtype=theano.config.floatX), 1)
print(compute_norm_cols(x))

# 和Numpy對(duì)比
print(np.sqrt((x ** 2).sum(0)))