CoreOS + kubernetesクラスタの設定中にFlannelが動作していないようです

Question

4台のPCにcoreOSベアメタルをインストールしました。私はすべてのマシンに静的IPを設定しました。私はcoreOS + kubernetesの公式のcoreOS tutorialに従った。

私は静的なネットワーク構成を持っていて、マルチノードのetcdクラスタを持っているので、私はブートストラップetcdのために次のようにtutorialを追跡しました。私はすべてのPC上でスクリプトを実行し、etcdctl member listを使用しています。すべてのノード（PC）がetcdクラスタに存在することがわかります。

次に、手順2（Deploy Kubernetes Master Node（s））に移動し、手順をステップごとに実行しました。

私はここで問題に遭遇しました：

curl -X PUT -d "value={\"Network\":\"$POD_NETWORK\",\"Backend\":{\"Type\":\"vxlan\"}}" "$ETCD_SERVER/v2/keys/coreos.com/network/config" 

私はETCD_SERVERとしてデフォルトPOD_NETWORK（ステップ1で述べたように）とETCD_ENDPOINTSのいずれかを使用しました。しかし、私がカールすると、接続は確立されますが、私は返信404 page not foundを取得します。

問題はflannelやetcd（おそらくetcd）のいずれかであると仮定します。私がちょうどcurl $ETCD_SERVERであっても、私はページが見つかりません。数日後に私は迷っています。何が間違っているのか、それをどう修正するのか本当に分かりません。詳細が必要な場合は、私に知らせてください。私がこの問題を解決できるように、あなたが正しい方向に私を向けると、私はそれを感謝します。ありがとう

編集： 私が見つけた場合私はcurl "${ETCD_SERVER}/version"私は正しい回答（{"etcdserver":"2.3.7","etcdcluster":"2.3.0"}）、それが役立つ場合。

更新： 私は間違ったポート（2380ではなく2379）にETCD_SERVERを設定するので、私は、CURLは動作しませんでしたがわかってきました。それは今働く。ただし、flanneldサービスはまだ起動せず、エラーが返されます。 Job for flanneld.service failed because the control process exited with error code.ここ はoutpoutあるjournalctl -xe

-- Subject: Unit flannel-docker-opts.service has failed 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flannel-docker-opts.service has failed. 
-- 
-- The result is failed. 
Mar 08 08:43:26 kubernetes-4 systemd[1]: flannel-docker-opts.service: Unit entered failed state. 
Mar 08 08:43:26 kubernetes-4 systemd[1]: flannel-docker-opts.service: Failed with result 'exit-code'. 
Mar 08 08:43:30 kubernetes-4 sudo[27594]:  kub : TTY=pts/2 ; PWD=/home/kub ; USER=root ; COMMAND=/bin/systemctl start flanneld 
Mar 08 08:43:30 kubernetes-4 sudo[27594]: pam_unix(sudo:session): session opened for user root by kub(uid=0) 
Mar 08 08:43:30 kubernetes-4 sudo[27594]: pam_systemd(sudo:session): Cannot create session: Already running in a session 
Mar 08 08:43:36 kubernetes-4 systemd[1]: flanneld.service: Service hold-off time over, scheduling restart. 
Mar 08 08:43:36 kubernetes-4 systemd[1]: Stopped flannel - Network fabric for containers (System Application Container). 
-- Subject: Unit flanneld.service has finished shutting down 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flanneld.service has finished shutting down. 
Mar 08 08:43:36 kubernetes-4 systemd[1]: Starting flannel - Network fabric for containers (System Application Container)... 
-- Subject: Unit flanneld.service has begun start-up 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flanneld.service has begun starting up. 
Mar 08 08:43:36 kubernetes-4 rkt[27608]: rm: unable to resolve UUID from file: open /var/lib/coreos/flannel-wrapper.uuid: no such file or directory 
Mar 08 08:43:36 kubernetes-4 rkt[27608]: rm: failed to remove one or more pods 
Mar 08 08:43:36 kubernetes-4 flannel-wrapper[27625]: + exec /usr/bin/rkt run --uuid-file-save=/var/lib/coreos/flannel-wrapper.uuid --trust-keys-from-https --mount volume=notify,target=/run/systemd/notify 
Mar 08 08:43:36 kubernetes-4 flannel-wrapper[27625]: run: discovery failed 
Mar 08 08:43:36 kubernetes-4 systemd[1]: flanneld.service: Main process exited, code=exited, status=254/n/a 
Mar 08 08:43:36 kubernetes-4 rkt[27652]: stop: unable to resolve UUID from file: open /var/lib/coreos/flannel-wrapper.uuid: no such file or directory 
Mar 08 08:43:36 kubernetes-4 systemd[1]: Failed to start flannel - Network fabric for containers (System Application Container). 
-- Subject: Unit flanneld.service has failed 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flanneld.service has failed. 
-- 
-- The result is failed. 
Mar 08 08:43:36 kubernetes-4 systemd[1]: flanneld.service: Unit entered failed state. 
Mar 08 08:43:36 kubernetes-4 systemd[1]: flanneld.service: Failed with result 'exit-code'. 
Mar 08 08:43:36 kubernetes-4 sudo[27594]: pam_unix(sudo:session): session closed for user root 
Mar 08 08:43:36 kubernetes-4 systemd[1]: Starting flannel docker export service - Network fabric for containers (System Application Container)... 
-- Subject: Unit flannel-docker-opts.service has begun start-up 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flannel-docker-opts.service has begun starting up. 
Mar 08 08:43:36 kubernetes-4 rkt[27659]: rm: unable to resolve UUID from file: open /var/lib/coreos/flannel-wrapper2.uuid: no such file or directory 
Mar 08 08:43:36 kubernetes-4 rkt[27659]: rm: failed to remove one or more pods 
Mar 08 08:43:36 kubernetes-4 flannel-wrapper[27674]: + exec /usr/bin/rkt run --uuid-file-save=/var/lib/coreos/flannel-wrapper2.uuid --trust-keys-from-https --net=host --volume run-flannel,kind=host,source 
Mar 08 08:43:38 kubernetes-4 flannel-wrapper[27674]: run: discovery failed 
Mar 08 08:43:38 kubernetes-4 systemd[1]: flannel-docker-opts.service: Main process exited, code=exited, status=254/n/a 
Mar 08 08:43:38 kubernetes-4 systemd[1]: Failed to start flannel docker export service - Network fabric for containers (System Application Container). 
-- Subject: Unit flannel-docker-opts.service has failed 
-- Defined-By: systemd 
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel 
-- 
-- Unit flannel-docker-opts.service has failed. 
-- 
-- The result is failed. 
Mar 08 08:43:38 kubernetes-4 systemd[1]: flannel-docker-opts.service: Unit entered failed state. 
Mar 08 08:43:38 kubernetes-4 systemd[1]: flannel-docker-opts.service: Failed with result 'exit-code'. 
Mar 08 08:43:39 kubernetes-4 sudo[27708]:  kub : TTY=pts/2 ; PWD=/home/kub ; USER=root ; COMMAND=/bin/journalctl -xe 
Mar 08 08:43:39 kubernetes-4 sudo[27708]: pam_unix(sudo:session): session opened for user root by kub(uid=0) 
Mar 08 08:43:39 kubernetes-4 sudo[27708]: pam_systemd(sudo:session): Cannot create session: Already running in a session 

アップデート2：

systemctl cat flannel-docker-opts出力（flanneldとフランネル-ドッカー-OPTSサービスの追加systemctl出力）：

# /usr/lib/systemd/system/flannel-docker-opts.service 
[Unit] 
Description=flannel docker export service - Network fabric for containers (System Application Container) 
Documentation=https://github.com/coreos/flannel 
PartOf=flanneld.service 
Before=docker.service 

[Service] 
Type=oneshot 
TimeoutStartSec=60 

Environment="FLANNEL_IMAGE_TAG=v0.6.2" 
Environment="RKT_RUN_ARGS=--uuid-file-save=/var/lib/coreos/flannel-wrapper2.uuid" 
Environment="FLANNEL_IMAGE_ARGS=--exec=/opt/bin/mk-docker-opts.sh" 

ExecStartPre=-/usr/bin/rkt rm --uuid-file=/var/lib/coreos/flannel-wrapper2.uuid 
ExecStart=/usr/lib/coreos/flannel-wrapper -d /run/flannel/flannel_docker_opts.env -i 
ExecStop=-/usr/bin/rkt stop --uuid-file=/var/lib/coreos/flannel-wrapper2.uuid 

[Install] 
WantedBy=multi-user.target 

systemctl cat flanneld出力：

# /usr/lib/systemd/system/flanneld.service 
[Unit] 
Description=flannel - Network fabric for containers (System Application Container) 
Documentation=https://github.com/coreos/flannel 
After=etcd.service etcd2.service etcd-member.service 
Before=docker.service flannel-docker-opts.service 
Requires=flannel-docker-opts.service 

[Service] 
Type=notify 
Restart=always 
RestartSec=10s 
LimitNOFILE=40000 
LimitNPROC=1048576 

Environment="FLANNEL_IMAGE_TAG=v0.6.2" 
Environment="FLANNEL_OPTS=--ip-masq=true" 
Environment="RKT_RUN_ARGS=--uuid-file-save=/var/lib/coreos/flannel-wrapper.uuid" 
EnvironmentFile=-/run/flannel/options.env 

ExecStartPre=/sbin/modprobe ip_tables 
ExecStartPre=/usr/bin/mkdir --parents /var/lib/coreos /run/flannel 
ExecStartPre=-/usr/bin/rkt rm --uuid-file=/var/lib/coreos/flannel-wrapper.uuid 
ExecStart=/usr/lib/coreos/flannel-wrapper $FLANNEL_OPTS 
ExecStop=-/usr/bin/rkt stop --uuid-file=/var/lib/coreos/flannel-wrapper.uuid 

[Install] 
WantedBy=multi-user.target 

# /etc/systemd/system/flanneld.service.d/40-ExecStartPre-symlink.conf 
[Service] 
ExecStartPre=/usr/bin/ln -sf /etc/flannel/options.env /run/flannel/options.env 

アップデート3：journalctl -xerこれは便利であれば、私は、新しいエラーが出る使用 ：Etcdノードのいずれか、またはノードのいずれかから

Mar 09 08:39:15 kubernetes-4 locksmithd[1147]: Unlocking old locks failed: [etcd.service etcd2.service] are inactive. Retrying in 5m0s. 
Mar 09 08:39:15 kubernetes-4 locksmithd[1147]: [etcd.service etcd2.service] are inactive 

Answer 1

をあなたはしてunning Etcdある場合プロキシモードを使用します。また、試してみてください

member ce2a822cea30bfca is healthy: got healthy result from http://10.129.69.201:2379 
cluster is healthy 

：

etcdctl cluster-health 

は次のように表示する必要があります：etcdctlバイナリは、クラスタの状態を調べるためにCoreOSに含まれて使用してみてください

etcdctl set /coreos.com/network/config '{"Network":"$POD_NETWORK", "Backend": {"Type": "vxlan"}}