Docker in Docker (DinD) 和 RabbitMQ 解決大量資料方法小記

2020-01-12 352 words 2 minutes

Contents

最近做大量資料處理
我想使用 RabbitMQ 處理大量資料
不過這個方式 RabbitMQ 會遇到 Work 需要一開始常駐
不能做到自動調整控制 Work 數量
所已採用 DinD 觀念去實作

DIND 就是 Docker in Docker

1

docker run --rm -v /var/run/docker.sock:/var/run/docker.sock docker:latest version

然後容器裡面的 Container 可以跟 docker.sock 做溝通
相關可以控制方法 (Docker )

更多 Unix-socket 方式可以參考
Engine API v1.24 | Docker Documentation
Docker Engine API v1.40 Reference

看到這個方式突然想到之前 COSCUP 有看到 Serverless 方式去做

但由於要限制 docker 執行數量
可以使用 Redis 用程式邏輯限制數量
不過要如何實作，這篇不是重點

php 使用 socket 方式連 docker

參考官網文章

1
2
3


curl --unix-socket /var/run/docker.sock -H "Content-Type: application/json" \
  -d '{"Image": "alpine", "Cmd": ["echo", "hello world"]}' \
  -X POST http:/v1.24/containers/create

發現 curl 需要 7.4 以上才有 unix-socket 連結功能
但使用 php curl 沒有這個問題

可以看到以下參考
使用前請記得 docker pull alpine

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12


<?php
$file_p = stream_socket_client("unix:///var/run/docker.sock", $errno, $errstr, 30);
if (!$file_p) {
    echo "$errstr ($errno)<br />\n";
} else {
    fwrite($file_p, "POST /containers/create HTTP/1.1\nHost: v1.24\nContent-Type: application/json\nContent-Length: 51\nConnection: Close\n\n{\"Image\": \"alpine\", \"Cmd\": [\"echo\", \"hello world\"]}");
    while (!feof($file_p)) {
        echo fgets($file_p, 1024);
    }
    fclose($file_p);
}
?>