Karpenter Setup

このセクションでは、Inferentiaおよび Trainium EC2インスタンスの作成を可能にするようにKarpenterを構成します。Karpenterはinf2またはtrn1インスタンスを必要とする保留中のPodを検出できます。その後、Karpenterは必要なインスタンスを起動してPodをスケジュールします。

ヒント

Karpenterの詳細については、このワークショップで提供されているKarpenterモジュールで学ぶことができます。

KarpenterはEKSクラスターにインストールされており、デプロイメントとして実行されています：

~$kubectl get deployment -n kube-system

NAME        READY   UP-TO-DATE   AVAILABLE   AGE

...

karpenter   2/2     2            2           11m

Karpenterはノードをプロビジョニングするために NodePool を必要とします。これは作成する Karpenter の NodePool です：

~/environment/eks-workshop/modules/aiml/inferentia/nodepool/nodepool.yaml

apiVersion: karpenter.sh/v1
kind: NodePool
metadata:
  name: aiml
spec:
  template:
    metadata:
      labels:
        instanceType: "neuron"
        provisionerType: "karpenter"
    spec:
      requirements:
        - key: karpenter.sh/capacity-type
          operator: In
          values:
            - on-demand
        - key: karpenter.k8s.aws/instance-family
          operator: In
          values:
            - inf2
            - trn1
      nodeClassRef:
        group: karpenter.k8s.aws
        kind: EC2NodeClass
        name: aiml
---
apiVersion: karpenter.k8s.aws/v1
kind: EC2NodeClass
metadata:
  name: aiml
spec:
  amiFamily: AL2023
  amiSelectorTerms:
    - alias: al2023@latest
  blockDeviceMappings:
    - deviceName: /dev/xvda
      ebs:
        deleteOnTermination: true
        volumeSize: 100Gi
        volumeType: gp3
        iops: 16000
        throughput: 1000
  role: ${KARPENTER_NODE_ROLE}
  userData: |
    MIME-Version: 1.0
    Content-Type: multipart/mixed; boundary="//"

    --//
    Content-Type: text/x-shellscript; charset="us-ascii"

    #!/bin/bash
    sed -i "s/^max_concurrent_downloads_per_image = .*$/max_concurrent_downloads_per_image = 10/" /etc/soci-snapshotter-grpc/config.toml
    sed -i "s/^max_concurrent_unpacks_per_image = .*$/max_concurrent_unpacks_per_image = 10/" /etc/soci-snapshotter-grpc/config.toml

    --//
    Content-Type: application/node.eks.aws

    apiVersion: node.eks.aws/v1alpha1
    kind: NodeConfig
    spec:
      featureGates:
        FastImagePull: true
    --//
  securityGroupSelectorTerms:
    - tags:
        karpenter.sh/discovery: ${EKS_CLUSTER_NAME}
  subnetSelectorTerms:
    - tags:
        karpenter.sh/discovery: ${EKS_CLUSTER_NAME}
  tags:
    app.kubernetes.io/created-by: eks-workshop

A

このセクションでは、このNodePoolがプロビジョニングできるインスタンスを割り当てます

B

ここでは、このNodePoolがinf2およびtrn1インスタンスのみを作成できるように設定していることがわかります

NodePoolとEC2NodeClassマニフェストを適用します：

~$kubectl kustomize ~/environment/eks-workshop/modules/aiml/inferentia/nodepool \

| envsubst | kubectl apply -f-

これでNodePoolがトレーニングとインフェレンスPodの作成準備が整いました。