[TensorFlow] RNN으로 MNIST 학습

책에서 RNN이 나왔습니다.

RNN은 시계열 데이터에 적합하다고 하니까 사실 MNIST에는 맞지 않는게 아닌가 싶습니다.

대신 한 이미지를 여러줄로 나눠 윗줄부터 하나씩 입력한다는 형식으로 RNN과 호환성?을 맞췄습니다.

코드:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68

#-*- coding: utf-8 -*-   import tensorflow as tf import numpy as np   from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("./mnist/data/", one_hot=True)   learning_rate = 0.001 total_epoch = 30 batch_size = 128   n_input = 28 n_step = 28 n_hidden = 128 n_class = 10   X = tf.placeholder(tf.float32, [None, n_step, n_input]) Y = tf.placeholder(tf.float32, [None, n_class])   W = tf.Variable(tf.random_normal([n_hidden, n_class])) b = tf.Variable(tf.random_normal([n_class]))   cell = tf.nn.rnn_cell.BasicRNNCell(n_hidden) outputs, states = tf.nn.dynamic_rnn(cell, X, dtype=tf.float32)   outputs = tf.transpose(outputs, [1, 0, 2]) outputs = outputs[-1]   model = tf.matmul(outputs, W) + b   cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(     logits=model, labels=Y ))   optimizer = tf.train.AdamOptimizer(learning_rate).minimize(cost)   with tf.Session() as sess:     sess.run(tf.global_variables_initializer())       total_batch = int(mnist.train.num_examples / batch_size)       for epoch in range(total_epoch):         total_cost = 0           for i in range(total_batch):             batch_xs, batch_ys = mnist.train.next_batch(batch_size)             batch_xs = batch_xs.reshape((batch_size, n_step, n_input))               _, cost_val = sess.run([optimizer, cost],                 feed_dict={X: batch_xs, Y: batch_ys})             total_cost += cost_val           print('Epoch:', '%04d' % (epoch + 1),             'Avg. cost: {:.4}'.format(total_cost / total_batch))       print('완료!')       is_correct = tf.equal(tf.argmax(model, 1), tf.argmax(Y, 1))     accuracy = tf.reduce_mean(tf.cast(is_correct, tf.float32))       test_batch_size = len(mnist.test.images)     test_xs = mnist.test.images.reshape(test_batch_size, n_step, n_input)     test_ys = mnist.test.labels       print('정확도:', sess.run(accuracy, feed_dict={X: test_xs, Y: test_ys}))        Colored by Color Scripter

cs

결과:

Epoch: 0001 Avg. cost: 0.5843

Epoch: 0002 Avg. cost: 0.2325

Epoch: 0003 Avg. cost: 0.1764

Epoch: 0004 Avg. cost: 0.1496

Epoch: 0005 Avg. cost: 0.1416

Epoch: 0006 Avg. cost: 0.127

Epoch: 0007 Avg. cost: 0.113

Epoch: 0008 Avg. cost: 0.1103

Epoch: 0009 Avg. cost: 0.1104

Epoch: 0010 Avg. cost: 0.1051

Epoch: 0011 Avg. cost: 0.1027

Epoch: 0012 Avg. cost: 0.09198

Epoch: 0013 Avg. cost: 0.09334

Epoch: 0014 Avg. cost: 0.08347

Epoch: 0015 Avg. cost: 0.08728

Epoch: 0016 Avg. cost: 0.08686

Epoch: 0017 Avg. cost: 0.07748

Epoch: 0018 Avg. cost: 0.07774

Epoch: 0019 Avg. cost: 0.07834

Epoch: 0020 Avg. cost: 0.07777

Epoch: 0021 Avg. cost: 0.0727

Epoch: 0022 Avg. cost: 0.07147

Epoch: 0023 Avg. cost: 0.07416

Epoch: 0024 Avg. cost: 0.06339

Epoch: 0025 Avg. cost: 0.07249

Epoch: 0026 Avg. cost: 0.05846

Epoch: 0027 Avg. cost: 0.06268

Epoch: 0028 Avg. cost: 0.0692

Epoch: 0029 Avg. cost: 0.06698

Epoch: 0030 Avg. cost: 0.06667

완료!

정확도: 0.9755

10분만에 끝났네요 ㅠㅠ

맨날 몇시간 걸리다가 빨리 끝나니까 기분이 넘 좋습니다...

tf.nn.rnn_cell.BasicRNNCell로 기본적인 RNN 셀을 만들 수 있고

tf.nn.dynamic_rnn로 셀에 입력을 넣어 구동?시킬 수 있다고 합니다.

RNN의 가장 마지막 출력만 사용하기 위해서 transpose로 축 순서를 바꾸고 [-1]로 마지막 요소만 취한걸 볼 수 있습니다.

그리고 이걸 FC에 넣어 답을 냅니다.

코드는 별거없는데 RNN 이론적인 부분이 아직 이해가 안되네요.