1. apt-get install cloudflare-warpコマンド コマンドの実行のためにはdeb PackageのURLを取得する必要がある。取得の方法はデベロッパーサイトに記載されてある。

   Developers View all docs -> Warp Client -> OS clients -> Linux

   Cloudflare WARP packages

2. daemonが起動したことの確認とsocks5 Proxyの設定、動作確認

% sudo systemctl status warp-svc.service
● warp-svc.service - Cloudflare Zero Trust Client Daemon
     Loaded: loaded (/lib/systemd/system/warp-svc.service; enabled; preset: ena>
     Active: active (running) since Wed 2026-04-22 10:16:25 JST; 47s ago
   Main PID: 18151 (warp-svc)
      Tasks: 30 (limit: 9259)
        CPU: 209ms
     CGroup: /system.slice/warp-svc.service
             └─18151 /bin/warp-svc

% warp-cli registration new
Success

% warp-cli connect
Success

% warp-cli status
Status update: Connected
Network: healthy

% warp-cli mode proxy

% curl -x socks5h://127.0.0.1:40000 https://inet-ip.info/ip
104.28.xxx.xxx

1. Proxyを複数作成する

   warp-dockerを複数起動すればProxyを複数作成できる。

   curl --socks5-hostname 127.0.0.1:1080 https://cloudflare.com/cdn-cgi/trace
   

   cmj2002/warp-docker: Run Cloudflare WARP in Docker.

   smol machines

matplotlib付属のanimationとpillow(python image library-ish)

import numpy as np
import matplotlib.pyplot as plt
import gymnasium as gym
from matplotlib import animation

def display_frames_as_gif(frames):
    """
    Displays a list of frames as a gif
    """
    plt.figure(
        figsize=(frames[0].shape[1] / 72.0, frames[0].shape[0] / 72.0),
        dpi=72
    )
    patch = plt.imshow(frames[0])
    plt.axis('off')

    def animate(i):
        patch.set_data(frames[i])
        return patch,

    anim = animation.FuncAnimation(plt.gcf(), animate, frames=len(frames),
        interval=50)

    anim.save("movie_cartpole.gif", writer="pillow")
    plt.close()

# CartPole をランダムに動かす
frames = []

env = gym.make("CartPole-v1", render_mode="rgb_array")
observation, info = env.reset()

for step in range(200):
    frame = env.render()
    frames.append(frame)

    action = np.random.choice(2)
    observation, reward, terminated, truncated, info = env.step(action)

    if terminated or truncated:
        break

env.close()

# 動画を保存
display_frames_as_gif(frames)

1. framesには複数枚の画像に相当する数値データが格納されている
2. plt.figureでgifファイルの縦横の大きさがセットされる
3. plt.imshowで1枚の画像に相当するpatchが作成
4. patch.set_dataでpatchの中身が入れ替わる
5. animation.Funcanimationへanimate callback関数を登録すると連続画像のオブジェクトが生成
6. anim.saveでgif動画が保存される

matplotlib付属のmatplotlib.pyplotとPIL(python image library)

import matplotlib.pyplot as plt
import io
from PIL import Image

x_list = range(100)
y_list = [x_val**2 for x_val in x_list]

fig = plt.figure()

img_list = []
for x_val, y_val in zip(x_list, y_list):
    plt.xlim(x_list[0], x_list[-1])
    plt.ylim(min(y_list), max(y_list))
    plt.scatter(x_val, y_val, c="tab:blue")
    img_bytes = io.BytesIO()
    plt.savefig(img_bytes, format="png")
    img = Image.open(img_bytes)
    img_list.append(img)
    
img_list[0].save("pillow_sample2.gif", 
save_all=True, append_images=img_list[1:], optimize=True, duration=100, loop=0)

【matplotlib】PIL（Pillow）とBytesIOを使ってGIFアニメーションを作成する方法 3PySci

tf.data.Dataset使ってみる

Denseへの入力が4、Weightsによって行列積Mによって変換された出力が1であるNNを訓練する。 訓練データがN個あればdatasetは次のようになる。 WはYの初期値を得るために乱数を使って作る。

> N = 10; D = 4; M = 1
> X = tf.random.normal((N, D))
> X
> <tf.Tensor: shape=(10, 4), dtype=float32, numpy=
> array([[ 1.7476182 ,  0.76557606,  1.1793045 ,  0.6604082 ],
>   [-1.1182905 ,  1.2941122 , -0.45307   , -0.12836482],
>   [ 1.3309119 ,  1.3667184 ,  2.4617343 , -0.44162795],
>   [ 0.09327319,  0.90526474,  0.6416567 , -0.17305161],
>   [-1.4737343 , -2.0090747 , -0.1392107 ,  0.32674456],
>   [ 0.25767186, -0.19082204, -1.9285886 , -0.47859055],
>   [-0.67001045,  0.02660223, -0.6753374 ,  0.04300369],
>   [-0.26570737,  1.748417  , -0.41708243, -0.4584445 ],
>   [ 0.8148399 ,  0.22168487,  0.01016708, -0.8258183 ],
>   [-0.34755087,  0.21631955,  0.36211625, -1.142048  ]],
>  dtype=float32)>
> W = tf.random.normal((D, M))
> Y = tf.matmul(X, W)
> # ここまでが準備
> # Batch Size = 3とするとBatch #1, 2, 3, 4が出来る。最後の#4はBatch Size = 1
> ds_mini = tf.data.Dataset.from_tensor_slices((X, Y)).shuffle(N).batch(3)\
.prefetch(tf.data.AUTOTUNE)
> for x_batch, y_batch in ds_full:
> ...    print(x_batch)
> ...    print(y_batch)

tf.Tensor(
[[ 0.25767186 -0.19082204 -1.9285886  -0.47859055]
 [ 0.09327319  0.90526474  0.6416567  -0.17305161]
 [ 0.8148399   0.22168487  0.01016708 -0.8258183 ]], shape=(3, 4), dtype=float32)
tf.Tensor(
[[ 0.3514151 ]
 [-0.2899059 ]
 [ 0.49854147]], shape=(3, 1), dtype=float32)
 ...以下略

nn.learn(ds_mini)

> model = tf.keras.Sequential([
> ...  tf.keras.layers.Flatten(),
> ...  tf.keras.layers.Dense(10)
> ...])
> model.compile(optimizer='adam',
> ... loss='mean_squared_error',
> ... metrics=['mse'])
> model.fit(ds_mini, epochs=1)
> 4/4 ━━━━━━━━━━━━━━━━━━━━ 0s 1ms/step - loss: 2.2483 - mse: 2.2483
> <keras.src.callbacks.history.History object at 0x11e6c0e10>
> model.fit(ds_mini, epochs=2)
> Epoch 1/2
> 4/4 ━━━━━━━━━━━━━━━━━━━━ 0s 749us/step - loss: 2.2319 - mse: 2.2319
> Epoch 2/2
> 4/4 ━━━━━━━━━━━━━━━━━━━━ 0s 640us/step - loss: 2.2156 - mse: 2.2156
> <keras.src.callbacks.history.History object at 0x11e688050>

入力パイプラインはCPUとGPUを交互動作ではなく同時動作させる

TF1のコードスタイルですか？それともTF2ですか？それともTF1, TF2共通のコードスタイルですか？

tf.data: TensorFlow 入力パイプラインの構築 TensorFlow Core

train, test = tf.keras.datasets.fashion_mnist.load_data()

images, labels = train
images = images/255.0
labels = labels.astype(np.int32)
fmnist_train_ds = tf.data.Dataset.from_tensor_slices((images, labels))
fmnist_train_ds = fmnist_train_ds.shuffle(5000).batch(32)

model = tf.keras.Sequential([
  tf.keras.layers.Flatten(),
  tf.keras.layers.Dense(10)
])

model.compile(optimizer='adam',
  loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True), 
  metrics=['accuracy'])

model.fit(fmnist_train_ds, epochs=2)

理由（主なポイント）

• tf.keras.datasets.fashion_mnist.load_data() でデータを読み込んでいる → TF2の標準的なKeras API。
• tf.data.Dataset.from_tensor_slices() + .shuffle() + .batch() でデータパイプラインを作成している → TF2で強く推奨される効率的な入力パイプライン（TF1ではほとんど使われず、TF2以降の本流）。
• tf.keras.Sequential([…]) でモデル定義。
• model.compile() + model.fit(dataset, epochs=…) で訓練 → これがTF2の標準的な高レベルトレーニングAPI（eager execution前提）。

TF1時代は以下のような違いがありました：

• tf.Session() や tf.placeholder を明示的に使う
• tf.estimator や低レベルAPI（tf.train など）が主流
• Kerasは tf.keras として一部使えましたが、データ入力はNumPyを直接渡すことが多かった
• model.fit() に tf.data.Dataset を渡すスタイルはTF2で本格的に整備・推奨された

TF1スタイル

# TF1で動くように修正した例
import tensorflow as tf
import numpy as np

(train_images, train_labels), _ = tf.keras.datasets.fashion_mnist.load_data()

train_images = train_images / 255.0
train_labels = train_labels.astype(np.int32)

# tf.data を使わず、NumPy配列を直接渡す（TF1で最も安定）
model = tf.keras.Sequential([
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(10)
])

model.compile(optimizer='adam',
              loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
              metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=2, batch_size=32)

どちらが高速？

1. 入力パイプラインの違いによる速度比較

• TF1スタイル（NumPy配列を直接 model.fit(x, y) に渡す）
  • メリット：コードがシンプル。データがメモリにすべて載る小規模データセットではオーバーヘッドが少ない。
  • デメリット：毎エポックでTensorFlowが内部的にデータをコピーしたり、GPUへの転送が非効率になりやすい。特にGPU使用時や複数エポックで入力がボトルネックになる。
• TF2スタイル（tf.data.Dataset + shuffle + batch）
  • メリット：TensorFlow公式が強く推奨する理由があり、入力パイプラインが大幅に最適化される。
    • 非同期データ読み込み（prefetch）
    • 効率的なバッチ処理とシャッフル
    • GPU/CPU間のデータ転送が最適化されやすい
  • 特にGPUを使っている場合や、エポック数が多いときに入力待ち時間が減り、GPU利用率が向上して全体のトレーニングが速くなる。

1. 実行モードの影響（TF2特有）TF2のmodel.fit()はデフォルトでeager executionですが、内部的にグラフ最適化（tf.function相当）も一部使っています。

• 純粋なTF1（静的グラフ + Session）は、シンプルなモデルではまだ高速な場合があります（特に古いベンチマークではTF1が勝つ例あり）。
• しかし、現代のTF2.10以降では、tf.data + tf.functionの組み合わせがTF1時代の静的グラフを上回るか同等以上の性能を出せるよう最適化が進んでいます。

「強化学習」を学びたい人が最初に読む本 日経ソフトウエア
日経ソフトウエア2021-07に連載開始され、2021-11に出版された本
書籍「強化学習を学びたい人が最初に読む本」が出版されます M-note　プログラムと電子工作
著者のブログ
itoshin-tech/memoryRL
ブログの強化学習連載で解説されているソース

tensorflow-metalインストールに失敗

tensorflow-metalをpipでインストールしようとしてもpythonのversionが新しすぎて失敗する。

$python --version
Python 3.13.2
$mkdir foo;cd foo
$python -m venv .
$source bin/activate
(foo)$pip install tensorflow-metal
ERROR: Could not find a version that satisfies the requirement tensorflow-metal (from versions: none)

uvを使ってみる

venvとは別のPackage管理ツールuvを使ってみる。こいつはPackageだけでなくPythonのVersionも管理できる。uv officialからinstall.shを入手してgeminiに読んでもらった。するとscriptのusageにインストール先が記載されている。zprofileやzshrcを書き換えて、恒久的なPATH変更は行わずsource ~/.local/bin/envすればuvバイナリにPATHが通る。

$sh install.sh
$source ~/.local/bin/env
$uv python install 3.10 # or uv python pin 3.10, if already installed.
$mkdir metal; cd metal
$uv init .
$uv add tensorflow-metal
$uv add tensorflow==2.19
$uv run python
>>> import tensorflow as tf
>>> tf.config.list_physical_devices('GPU') # device_type文字列を与えると配列が返る
[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
>>> tf.config.list_physical_devices('TPU')
[]

Python 3.9以降でないとtensorflow-metalはインストール出来ない。tensorflowは最新版2.21ではNGだったので2.19をチョイス。

インストールには成功している様だ。

Tensorflow Plugin - Metal - Apple Developer

astral-sh/uv: An extremely fast Python package and project manager, written in Rust.

uv とは何か？その設計思想と再現性ある環境構築のためのガイド #Rust - Qiita

Install Python with UV · Mac Install Guide · 2026

使ってみる

次のコード(memory usage 7.2GB, CPU Time 30min)でGPUが使われるのかを検証してみる

import tensorflow as tf

cifar = tf.keras.datasets.cifar100
(x_train, y_train), (x_test, y_test) = cifar.load_data()
model = tf.keras.applications.ResNet50(
    include_top=True,
    weights=None,
    input_shape=(32, 32, 3),
    classes=100,)

loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=False)
model.compile(optimizer="adam", loss=loss_fn, metrics=["accuracy"])
model.fit(x_train, y_train, epochs=5, batch_size=64)

アクティビティ・モニタからはGPUが使用されていることが見て取れる

$uv run python chk_metal.py
2026-03-09 21:01:43.181899: I metal_plugin/src/device/metal_device.cc:1154] Metal device set to: Apple M1 Pro
2026-03-09 21:01:43.182098: I metal_plugin/src/device/metal_device.cc:296] systemMemory: 16.00 GB
2026-03-09 21:01:43.182106: I metal_plugin/src/device/metal_device.cc:313] maxCacheSize: 5.92 GB
WARNING: All log messages before absl::InitializeLog() is called are written to STDERR
I0000 00:00:1773057703.182527 79553837 pluggable_device_factory.cc:305] Could not identify NUMA node of platform GPU ID 0, defaulting to 0. Your kernel may not have been built with NUMA support.
I0000 00:00:1773057703.182920 79553837 pluggable_device_factory.cc:271] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 0 MB memory) -> physical PluggableDevice (device: 0, name: METAL, pci bus id: <undefined>)
Epoch 1/5
2026-03-09 21:01:49.654876: I tensorflow/core/grappler/optimizers/custom_graph_optimizer_registry.cc:117] Plugin optimizer for device_type GPU is enabled.
782/782 ━━━━━━━━━━━━━━━━━━━━ 380s 439ms/step - accuracy: 0.0773 - loss: 4.7684
(to be ommited)

上記コードをepoch=2としてGPU使用の効果を確認してみる
無し: uv run python resNet50.py 2153.51s user 233.24s system 352% cpu 11:17.82 total
有り: uv run python resNet50.py 599.40s user 271.22s system 147% cpu 9:50.82 total
実行時間は87%にしかならん。GPU(M1 Pro)の能力が低いからか？

$sw_vers
ProductName:            macOS
ProductVersion:         26.2
BuildVersion:           25C56

GPUの使用のOn/Off

ソースコードの改変が必要だ。環境変数による制御は効かない。

export TF_DISABLE_METAL=1          # 最近のtensorflow-metalで有効な場合あり
# またはもっと強力に
export CUDA_VISIBLE_DEVICES=""     # Metalでも一部効くケースがある（互換性のため）
python your_script.py

次のコードの断片ではGPU Offとはならない

import tensorflow as tf
tf.debugging.set_log_device_placement(True)
# Create some tensors
with tf.device('/CPU:0'):
  a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
  b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])

c = tf.matmul(a, b)
print(c)

2026-03-09 13:14:44.256613: I tensorflow/core/common_runtime/eager/execute.cc:1754] Executing op MatMul in device /job:localhost/replica:0/task:0/device:GPU:0
tf.Tensor(
[[22. 28.]
 [49. 64.]], shape=(2, 2), dtype=float32)

次のコードはGPU Offとなる例である(courtesy of Grok)

Module: tf.config TensorFlow v2.16.1

import tensorflow as tf

# これを最初（他のtf操作より前）に実行
tf.config.set_visible_devices([], 'GPU')

# 確認用（GPUが消えているはず）
print(tf.config.list_physical_devices())          # GPUが[]になる
print(tf.config.list_physical_devices('GPU'))     # []

tf.debugging.set_log_device_placement(True)

# 以降のコード
a = tf.constant([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]])
b = tf.constant([[1.0, 2.0], [3.0, 4.0], [5.0, 6.0]])

c = tf.matmul(a, b)
print(c)

2026-03-09 13:33:55.970195: I tensorflow/core/common_runtime/eager/execute.cc:1754] Executing op MatMul in device /job:localhost/replica:0/task:0/device:CPU:0
tf.Tensor(
[[22. 28.]
 [49. 64.]], shape=(2, 2), dtype=float32)

GPUを活用したPythonコード

Apple M4 MacでTensorFlowが爆速！GPU有効化etcで機械学習が10倍速くなる方法を解説 #AI - Qiita

自分用にコンテナの種類をまとめる #初心者 - Qiita

状態変数@Stateの値を変えるにはコンテナViewではないView、例えばButton, Toggle, TextField, Picker, Stepper, Slider…がある。(Swiftポケットリファレンス第三版 Chapter6 2024)

コンテナViewではないViewにはコンテンツを表示するText, Image, Shape, List, Table…がある。Viewの全リストはXcodeを起動しDeveloper Documentationを開きView Protocolを検索すれば取得できる。検索結果の下の方のConforming Typesにアルファベット順に記載されている。この中にはDisclosureGroupの様な珍しいViewも現れる。

ここではNavigationStackの再描画、つまり画面遷移を状態変数pathを使って行う例を示す。コンテナViewの中にはToggleとButtonが入っている。空のpathコレクションに値が投入されると画面再描画が発生し画面遷移が起こる。戻るButtonが押下されるとpathコレクションの中身はpopされ空の状態に戻る。

遷移先はnavigationDestinationモディファイアで指定する。closureにはpathに投入された値がセットされる。navigationDestinationモディファイアには、セットされる値の型までは知らされない。型情報も同時に引数に与えて教える必要がある。

遷移先として指定されているVStackに付与されているframeモディファイアはTextに付与しても良い。

struct ContentView: View {
  @State var path: NavigationPath = NavigationPath()
  @State var vibrateOnRing : Bool = false

  var body: some View{
    NavigationStack(path: $path){
        Toggle(
          "Vibrate on Ring",
          systemImage: "dot.radiowaves.left.and.right",
          isOn: $vibrateOnRing
        ).toggleStyle(.switch)
          .onChange(of: vibrateOnRing) { _, newValue in
            path.append(1)
          }
        Button("遷移する"){
            path.append(0)
//          withAnimation { path.append(0) }
        }
      .navigationTitle("ホーム")
      .navigationDestination(for: Int.self) { e in
        VStack {
//          Color.clear // 背景を広げるために入れても良い
          Text("hoge\(e)")
        }
        .frame(maxWidth: .infinity, maxHeight: .infinity, alignment: .center)
      }
    }
  }
}

NavigationStackを一番活かす人（SwiftUI） #iOS - Qiita

SwiftUI TableでRowをDrag&Dropする SmallDeskSoftware

【SwiftUI】Listの行削除 カピ通信

コード解説

要素の移動、削除の際に呼び出されるonMove, onDeleteに引数で渡ってくる値、引数に渡さないといけない値は全く異なる。同じにしておいてくれれば良いのだが。onDeleteでは削除後にCallbackされるメソッドを引数に与える。メソッドにセットされる引数はListのIndex番号(IndexSet型)だ。onDeleteはListのCellを2本指Swipeすれば呼び出せるのだが、ContextMenuを使う方が簡単だ。ContextMenuはListにセットするのではなくListに表示されるCellにセットする。

要素の追加にはalart Dialogを使うのだが、ListにセットしてもListを格納したVStackにセットしても機能するようだ。alart Dialog表示/非表示の制御にはView状態管理変数＠State変数を使えば良い。alart Dialogで受け取ったItem構造体のメンバー(タイトル、値)がViewに伝わる様にView状態管理変数@Stateが同じく使われる。

追加によって要素がWindow Sizeを超えて表示されない場合でもScroll Barが自動で付加されるのが嬉しい。

import SwiftUI

struct Item: Identifiable, Equatable {
  let id = UUID()
  let title:String
  let value: Int
}

struct ContentView: View {
  @State var listItems = [Item(title: "Item1", value: 9), Item(title: "Item2", value: 12), Item(title: "Item3", value: 15)]
  @State private var showingAddDialog = false
  @State private var newTitle: String = ""
  @State private var newValueText: String = ""

  var body: some View {
    VStack {
      List {
        ForEach(listItems, id: \.id) { item in
          HStack {
            Text(item.title)
            Text("\(item.value)")
          }
          .frame(height: 30)
          .contextMenu {
            Button(role: .destructive) {
              if let index = listItems.firstIndex(of: item) {
                listItems.remove(at: index)
              }
            } label: {
              Label("Delete", systemImage: "trash")
            }
          }
        }
        .onMove { indexSet, dest in
          listItems.move(fromOffsets: indexSet, toOffset: dest)
        }
        .onDelete(perform: deleteItems)
      }
      .animation(.default, value: listItems)
      .toolbar {
          Button {
            newTitle = ""
            newValueText = ""
            showingAddDialog = true
          } label: {
            Image(systemName: "plus")
          }
      }
      .navigationTitle("Items")
      .alert("Add Item", isPresented: $showingAddDialog) {
        TextField("Title", text: $newTitle)
        TextField("Value", text: $newValueText)
        Button("Add") {
          if let intValue = Int(newValueText.trimmingCharacters(in: .whitespacesAndNewlines)), !newTitle.trimmingCharacters(in: .whitespacesAndNewlines).isEmpty {
            listItems.append(Item(title: newTitle, value: intValue))
          }
        }
        Button("Cancel", role: .cancel) { }
      } message: {
        Text("Enter a title and a numeric value.")
      }
    }
  }
  func deleteItems(at offsets: IndexSet) {
    listItems.remove(atOffsets: offsets)
  }
}

Listを使わずForEachだけでDrag’N’Dropが出来るのだが実装が複雑そうだ。

【SwiftUI】シンプルにドラッグで並び替えできる List を 作りたい #Swift - Qiita

第一印象はムズい本だというものだったが、ソースコードを追う内に解ってきた。状態s、行動aは理解が容易なのだが、方策π、パラメータθが解らん。これが最初に出てきて、気になって読み進めないのだ。

しかし、コードを解読していくと著者が難しい概念を頑張って解説していると気がついた。強化学習はLLMで採用されているTransformerやSelf-Attentionよりムズい。

まず3x3の迷路を方策勾配法で解くコードの解読をするまで、本の文字の部分が意味不明だった。サポートページに式の正誤が掲載されている事に気が付かないと、数式も意味不明だ。

πとはテーブルの事でセルには確率が入っている。テーブルの縦軸(行)は状態(迷路の位置)で横軸(列)は行動の種別(上右下左)だ。θはSoftmaxを使ってπに変換されるものでNNのOutputの様なもの、あるいはWeightの様なものだ。誤解を招く表現が本の中ではなされていてtheta_0 = [[NAN, 1, 1,…といったコードを見て1に何か意味があるのだと間違った解釈をしてしまった。1の部分は乱数を使って決めても良いのだ。

3x3の迷路問題だけでなくAtari Breakoutゲームの攻略アルゴリズムも掲載されている。Laptopで11.5hrで学習完了しAWS GPUインスタンスを使うと3hrだったと紹介されている。Laptopは16GBメモリ、core i7 7500@2.7GHz GPU無しモデルでAWSはオハイオリージョンを使い0.9ドル/hrのコストで走らせている(原稿執筆当時)。pp. 224 - 225

強化学習の歴史は古く、学習するネズミ(Skinnerの実験)の様子から機械も学習可能だとの連想に繋がって行った様だ。

補足:

オリジナルのソースはIPython環境での実行を想定している。次のようなコードはTerminal環境では動作しない。

def animate(i):
    '''フレームごとの描画内容'''
    state = state_history[i]  # 現在の場所を描く
    x = (state % 3) + 0.5  # 状態のx座標は、3で割った余り+0.5
    y = 2.5 - int(state / 3)  # y座標は3で割った商を2.5から引く
    line.set_data(x, y)
    return (line,)
#　初期化関数とフレームごとの描画関数を用いて動画を作成する
anim = animation.FuncAnimation(fig, animate, init_func=init, frames=len(
    state_history), interval=200, repeat=False)

HTML(anim.to_jshtml())

ソースが作成された時代(2018)以来matplotlibが改良されており2箇所の変更で動画を保存できる。不思議な事にソース中にpillowのimportが不要だ。set_dataメソッドの引数がscalarからlistへ変更しなと下記のエラーが発生する。

-    line.set_data(x, y)
+    line.set_data([x], [y])

- HTML(anim.to_jshtml())
+ anim.save(filename="maze_pgrad.gif", writer="pillow")

Animations using Matplotlib — Matplotlib 3.10.8 documentation

Traceback (most recent call last):

...
  File "/Users/tanaka/Documents/junk/python/test01/maze_pgrad.py", line 226, in animate
    line.set_data(x, y)
    ~~~~~~~~~~~~~^^^^^^
  File "/Users/tanaka/Documents/junk/python/test01/lib/python3.13/site-packages/matplotlib/lines.py", line 680, in set_data
    self.set_xdata(x)
    ~~~~~~~~~~~~~~^^^
  File "/Users/tanaka/Documents/junk/python/test01/lib/python3.13/site-packages/matplotlib/lines.py", line 1304, in set_xdata
    raise RuntimeError('x must be a sequence')
RuntimeError: x must be a sequence

...

強化学習とは?

AIが経験から学ぶアルゴリズム。報酬をなるべく低コストで得る手法を学ぶアルゴリズム。アルゴリズムを採用すると最低コストの手法が得られる訳では無いが、少なくとも人間よりも賢いアルゴリズムである。(アルファ碁解体新書、初版 pp. 122)

e.g.

1. 囲碁の盤面の次の一手は最善とは限らないが、人間が考える一手よりもベターなものが強化学習から得られる。
2. 自動運転の判断は最善とは限らないが、人間の運転よりは安全。

「意義あるDRL」Deep Reinforcement Learning that Mattersのアブストラクトには世間に流布されている報告には再現性に乏しい報告があるので、再現性を担保するためのガイドラインの提案がなされている。アルゴリズムの中に乱数が採用されているので厳密な再現性は元々無いのだ。(pp. 236)

変更点

本の出版後の2022年にPython Package Gymのメンテナンスが行われなくなり、Farama Foundationが新たにGymnasium Packageのメンテを始めている。

Announcing The Farama Foundation - The future of open source reinforcement learning: The Farama Foundation

そのため本に掲載のソースは動かなくなっている。

YutaroOgawa/Deep-Reinforcement-Learning-Book: 書籍「つくりながら学ぶ！深層強化学習」のサポートリポジトリです

GymからGymnasiumへの移行ガイドが用意されている。

Gym Migration Guide - Gymnasium Documentation

必要なPackageのInstallコマンドは

python -m pip install "gymnasium[classic-control]"

や

python -m pip install "gymnasium[atari]"
python -m pip install ale-py

であり Agentが動き回るEnvironmentを作るコードは

ENV = "ALE/Breakout-v5"
env = gym.make(ENV, render_mode="rgb_array")

や

ENV = "CartPole-v1"
env = gym.make(ENV, render_mode="rgb_array")

となってる。こういった情報は次の掲示板で拾った。Gymnasiumの公式ページでAtariゲームのENV変数の与え方を探したが今のところ発見できない。

Cannot find Atari Breakout environment in Gym library - Other Questions / OpenAI - Latenode Official Community

なお、Breakoutを使った学習プログラムの出発点は次の様になる。

import numpy as np
import matplotlib.pyplot as plt
import gymnasium as gym
import ale_py

ENV = "ALE/Breakout-v5"

env = gym.make(ENV, render_mode="rgb_array")
print(env.observation_space)
print(env.action_space)
print(env.unwrapped.get_action_meanings())

observation, info = env.reset()

frame = env.render()      # ← 画像はここから取る
plt.imshow(frame)
plt.axis("off")
plt.show()

env.close()

1. Rubyプロジェクト作り方

$bundle init
$echo "gem 'mysql2'" > Gemfile
$bundle config set path vendor
$bundle install
Fetching gem metadata from https://rubygems.org/..
Resolving dependencies...
Fetching bigdecimal 4.0.1
Installing bigdecimal 4.0.1 with native extensions
Fetching mysql2 0.5.7
Installing mysql2 0.5.7 with native extensions
Bundle complete! 1 Gemfile dependency, 3 gems now installed.
Bundled gems are installed into `./vendor`
$echo "require 'mysql2'" > a.rb
$bundle exec ruby a.rb # no error

errorの例

$ruby a.rb
<internal:/opt/homebrew/Cellar/ruby/3.4.2/lib/ruby/3.4.0/rubygems/core_ext/kernel_require.rb>:136:in 'Kernel#require': cannot load such file -- mysql2 (LoadError)
...

2. Pythonプロジェクトの作り方

$mkdir workingTree ; cd workingTree; python -m venv .
$source bin/activate
$python -m pip install numpy
$echo "import numpy as np
x = np.array([1, 2, 3])
print(str(x))
" > a.py
$python a.py # [1 2 3]
$deactivate

3. Python依存パッケージの確認

$pip freeze > requirements.txt

依存ファイルリストを使ってインストール

$python -m pip install -r requirements.txt

PytorchをInstallすればMetal対応のが自動的にInstallされる。約500MBのDiskを消費する。

(test02) [13675@5:13]$python
Python 3.13.2 (main, Feb  4 2025, 14:51:09) [Clang 16.0.0 (clang-1600.0.26.6)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> import numpy as np
... # create a 3D tensor from NumPy array
... ary3d = np.array([[[1, 2], [3, 4]],
...                   [[5, 6], [7, 8]]])
... tensor3d_2 = torch.tensor(ary3d)  # Copies NumPy array
>>> print(tensor3d_2)
tensor([[[1, 2],
         [3, 4]],

        [[5, 6],
         [7, 8]]])
>>> print(torch.backends.mps.is_available()) # Metal Performance Shader
... print(torch.__version__)
True
2.9.1
>>> import os
>>> os.system('du -sh')
543M	.

LLMs-from-scratch/appendix-A/01_main-chapter-code/code-part1.ipynb at main · rasbt/LLMs-from-scratch

Scientific Computing in Python: Introduction to NumPy and Matplotlib: Sebastian Raschka, PhD

PyTorch documentation — PyTorch 2.9 documentation

frameモディファイアで設定できるminWidth, minHeighはWindow Resize時には有効なのだが…

AppKitでは出来る起動時のWindow Size指定がSwiftUI@macOS 26では出来ない様だ。

App起動時にNSWindowのインスタンスを取得

起動の順番はApp▶️Scene▶️ContentView。ContentViewがWindowを生成する直前(onAppearイベント)にNSWindowのインスタンスが取得できる。

import SwiftUI
import AppKit
@main
struct Bg_GeometryApp: App {
  var body: some Scene {
    WindowGroup {
      ContentView()
        .onAppear {
          DispatchQueue.main.async {
            if let window = NSApplication.shared.windows.first {
              let fixedSize = NSSize(width: 500, height: 200)
              window.setContentSize(fixedSize)
//              window.center()
            }
          }
        }
    }
  }
}

おまけ: 起動後にWindowサイズを制限する

frameモディファイアでidealWidth, idealHeightを設定しても起動時のWindowサイズは固定できない。下記のコードではWindowサイズをResize時にwindowSizeプロパティに設定するコードも合わせて加えられている。
frameが返すViewのサイズ、つまりWindow全体に広がったView(maxWidht: .infinity, maxHeight: .infinity)のサイズはViewのbackgroundにあるGeometryReader(これもView)のサイズがそれだ。

import SwiftUI
struct ContentView: View {
  @State var windowSize: CGSize = .zero
  var body: some View {
    Text("Fixed window size: \(String(format: "%.0f %.0f", windowSize.width, windowSize.height))")
      .frame(minWidth: 500, maxWidth: .infinity, minHeight: 200, maxHeight: .infinity)
//      .frame(minWidth: 500, idealWidth: 500, maxWidth: .infinity, minHeight: 200,
//             idealHeight: 200, maxHeight: .infinity)
      .background(
        GeometryReader { geometry in
          Color.blue
            .onChange(of: geometry.size) { _, newSize in
              print("window size:\(newSize.width) \(newSize.height)")
              windowSize = newSize
            }
        }
      )
  }
}

Linux BoxのBootドライブ兼Rootドライブ120GBのシステムバックアップ/リストアを行った。Linux BoxのRootファイルシステムはインストール直後という事もあって7GBしかDiskを消費していない。Linux BoxからDiskを取り外し、SATA-USB3変換アダプタを使ってもう一台のLinux Boxのdd, dd+gzip, partclone, partclone+gzipを使ってバックアップファイルを作成し、ファイルの大きさを比較してみた。4種の最後の方法が劇的にファイルサイズが小さい。

バックアップコマンドdd、partcloneの比較

どんなパーティション・スキーム(スタイル)、ファイル・システムでもファイル化できるddコマンドにも弱点がある。

1. Disk容量と同じファイルが出来てしまう。USB Pendriveなら許容できるが、どでかいHDDをバックアップしようとするとどでかいファイルが出来てしまう。gzipを併用してもせいぜい半分にしかサイズを縮小できない。
2. リストアするには同じサイズのDiskか、更に大きい容量のDiskを用意せざるをえない。

partcloneは大抵のソースファイル・システム(バックアップ元のパーティションのファイル・システム)に対応し、ntfs、hfs+、apfsを読み出して、Imageファイル化できる。もちろんImageファイルの書き戻しに対応している。弱点は

1. Diskのパーティション・スキームを保存しない。fdiskでスキーム情報をテキストファイル化してImageと共に保存しておけばスキームの再現ができるのでリストアが簡単にできる。システムが起動する際にDisk-IDを元にRootファイルシステム が格納されたパーティションを探すBoot Loadもあるのでスキーム情報が無ければシステムディスクをリストアできないという事態が生じてしまう。 スキーム情報とは次のパーティション情報をテキスト化したものである。

   $sudo fdisk /dev/sda
      
   Welcome to fdisk (util-linux 2.38.1).
   Changes will remain in memory only, until you decide to write them.
   Be careful before using the write command.
      
   Command (m for help): p
      
   Disk /dev/sda: 476.94 GiB, 512110190592 bytes, 1000215216 sectors
   Disk model:
   Units: sectors of 1 * 512 = 512 bytes
   Sector size (logical/physical): 512 bytes / 4096 bytes
   I/O size (minimum/optimal): 4096 bytes / 4096 bytes
   Disklabel type: dos
   Disk identifier: 0x42208722
      
   Device     Boot   Start        End   Sectors   Size Id Type
   /dev/sda1          8192    1056767   1048576   512M  c W95 FAT32 (LBA)
   /dev/sda2       1056768 1000215215 999158448 476.4G 83 Linux
      
   Command (m for help):
   

同じソースをddして出来上がるターゲット・ファイルの大きさ比較

📅2025/10/28Tu 🔹dd % sudo time dd if=/dev/sdb of=/mnt/win10/bkc.dd bs=16MB conv=sparse status=progress

pi@is ~ % ls -lh /mnt/win10 合計 182G -rw-r–r– 1 root root 1.6K 10月 28 12:21 00memo.md -rw-r–r– 1 root root 112G 10月 28 11:01 bkc.dd -rw-r–r– 1 root root 69G 10月 28 10:33 bkp.dd.gz drwx—— 2 root root 16K 10月 28 09:47 lost+found -rw-r–r– 1 root root 198 10月 28 11:46 ti_lan.fdisk -rw——- 1 root root 68M 10月 28 11:48 ti_lan_p1.img -rw——- 1 root root 6.9G 10月 28 12:01 ti_lan_p2.img -rw-r–r– 1 root root 2.2G 10月 28 11:54 ti_lan_p2.img.gz pi@is ~ % 「dd | gzip」 はそこまでだ！「dd | pigz」にするだけで20倍速くなった件 #Linux - Qiita

🔹Partclone pi@is ~ % sudo time bash a.sh

partclone.ext4 -d -c -s /dev/sdb2 | pigz > /mnt/win10/ti_lan_p2.img.gz

Partclone v0.3.17 http://partclone.org Starting to clone device (/dev/sdb2) to image (-) Reading Super Block Calculating bitmap… Please wait… Elapsed: 00:00:01, Remaining: 00:00:00, Completed: 100.00% Total Time: 00:00:01, 100.00% completed! done! File system: EXTFS Device size: 119.5 GB = 29173110 Blocks Space in use: 7.4 GB = 1801286 Blocks Free Space: 112.1 GB = 27371824 Blocks Block size: 4096 Byte Elapsed: 00:01:20, Remaining: 00:00:00, Completed: 100.00%, Rate: 5.53GB/min, current block: 28841362, total block: 29173110, Complete: 100.00% Total Time: 00:01:20, Ave. Rate: 5.5GB/min, 100.00% completed! Syncing… OK! Partclone successfully cloned the device (/dev/sdb2) to the image (-) Cloned successfully. 267.55user 10.68system 1:20.89elapsed 343%CPU (0avgtext+0avgdata 12356maxresident)k 15214360inputs+4490504outputs (9major+3999minor)pagefaults 0swaps

「スマート」パーティションバックアップを作成するためのpartcloneの使用方法
🔸restore gzip -c -d /mnt/win10/ti_lan_p2.img.gz | sudo partclone.ext4 -d -r -o /dev/sdb2