eBPF की मदद से कर्नेल को बड़ा करना

एक्सटेंडेड बर्कले पैकेट फ़िल्टर (ईबीपीएफ़), कर्नल में मौजूद एक वर्चुअल मशीन है. यह कर्नल की सुविधाओं को बढ़ाने के लिए, उपयोगकर्ता के दिए गए ईबीपीएफ़ प्रोग्राम चलाती है. इन प्रोग्राम को कर्नेल में मौजूद प्रोब या इवेंट से जोड़ा जा सकता है. साथ ही, इनका इस्तेमाल कर्नेल के काम के आंकड़े इकट्ठा करने, मॉनिटर करने, और डीबग करने के लिए किया जा सकता है. bpf(2) syscall का इस्तेमाल करके, कर्नेल में एक प्रोग्राम लोड किया जाता है. इसे उपयोगकर्ता, eBPF मशीन के निर्देशों के बाइनरी ब्लॉब के तौर पर उपलब्ध कराता है. Android बिल्ड सिस्टम में, C प्रोग्राम को eBPF में कंपाइल करने की सुविधा मौजूद है. इसके लिए, इस दस्तावेज़ में बताए गए आसान बिल्ड फ़ाइल सिंटैक्स का इस्तेमाल किया जाता है.

eBPF के इंटरनल और आर्किटेक्चर के बारे में ज़्यादा जानकारी, ब्रेंडन ग्रेग के eBPF पेज पर देखी जा सकती है.

Android में एक eBPF लोडर और लाइब्रेरी शामिल होती है. यह बूट टाइम पर eBPF प्रोग्राम लोड करती है.

Android BPF लोडर

Android बूट के दौरान, /system/etc/bpf/ पर मौजूद सभी eBPF प्रोग्राम लोड किए जाते हैं. ये प्रोग्राम, बाइनरी ऑब्जेक्ट होते हैं. इन्हें Android बिल्ड सिस्टम, C प्रोग्राम से बनाता है. साथ ही, Android सोर्स ट्री में इनके साथ Android.bp फ़ाइलें भी होती हैं. बिल्ड सिस्टम, जनरेट किए गए ऑब्जेक्ट को /system/etc/bpf पर सेव करता है. साथ ही, ये ऑब्जेक्ट सिस्टम इमेज का हिस्सा बन जाते हैं.

Android eBPF C प्रोग्राम का फ़ॉर्मैट

eBPF C प्रोग्राम का फ़ॉर्मैट ऐसा होना चाहिए:

#include <bpf_helpers.h>

/* Define one or more maps in the maps section, for example
 * define a map of type array int -> uint32_t, with 10 entries
 */
DEFINE_BPF_MAP(name_of_my_map, ARRAY, int, uint32_t, 10);

/* this also defines type-safe accessors:
 *   value * bpf_name_of_my_map_lookup_elem(&key);
 *   int bpf_name_of_my_map_update_elem(&key, &value, flags);
 *   int bpf_name_of_my_map_delete_elem(&key);
 * as such it is heavily suggested to use lowercase *_map names.
 * Also note that due to compiler deficiencies you cannot use a type
 * of 'struct foo' but must instead use just 'foo'.  As such structs
 * must not be defined as 'struct foo {}' and must instead be
 * 'typedef struct {} foo'.
 */

DEFINE_BPF_PROG("PROGTYPE/PROGNAME", AID_*, AID_*, PROGFUNC)(..args..) {
   <body-of-code
    ... read or write to MY_MAPNAME
    ... do other things
   >
}

LICENSE("GPL"); // or other license

जगह:

  • name_of_my_map आपके मैप वैरिएबल का नाम है. इस नाम से, बीपीएफ़ लोडर को यह जानकारी मिलती है कि किस तरह का मैप बनाना है और किन पैरामीटर के साथ बनाना है. इस स्ट्रक्चर की परिभाषा, शामिल किए गए bpf_helpers.h हेडर से मिलती है.

  • PROGTYPE/PROGNAME से प्रोग्राम का टाइप और प्रोग्राम का नाम पता चलता है. प्रोग्राम का टाइप, इस टेबल में दी गई सूची में से कोई भी हो सकता है. जब किसी प्रोग्राम का टाइप नहीं दिया जाता है, तो प्रोग्राम के नाम के लिए कोई तय नियम नहीं होता. प्रोग्राम का नाम सिर्फ़ उस प्रोसेस को पता होना चाहिए जो प्रोग्राम को अटैच करती है.

  • PROGFUNC एक फ़ंक्शन है. कंपाइल होने पर, इसे नतीजे वाली फ़ाइल के एक सेक्शन में रखा जाता है.

kprobe kprobe इन्फ़्रास्ट्रक्चर का इस्तेमाल करके, कर्नल के निर्देश पर हुक PROGFUNC करता है. PROGNAME, कर्नल फ़ंक्शन का नाम होना चाहिए. kprobes के बारे में ज़्यादा जानने के लिए, kprobe kernel documentation देखें.
ट्रेसपॉइंट PROGFUNC को ट्रेसपॉइंट पर हुक करता है. PROGNAME का फ़ॉर्मैट SUBSYSTEM/EVENT होना चाहिए. उदाहरण के लिए, शेड्यूलर के कॉन्टेक्स्ट स्विच इवेंट में फ़ंक्शन अटैच करने के लिए, ट्रेसपॉइंट सेक्शन SEC("tracepoint/sched/sched_switch") होगा. इसमें sched, ट्रेस सबसिस्टम का नाम है और sched_switch, ट्रेस इवेंट का नाम है. ट्रेसपॉइंट के बारे में ज़्यादा जानकारी के लिए, ट्रेस इवेंट कर्नेल दस्तावेज़ देखें.
skfilter यह प्रोग्राम, नेटवर्किंग सॉकेट फ़िल्टर के तौर पर काम करता है.
schedcls यह प्रोग्राम, नेटवर्क ट्रैफ़िक को क्लासिफ़ायर के तौर पर काम करता है.
cgroupskb, cgroupsock यह प्रोग्राम तब चलता है, जब किसी CGroup में मौजूद प्रोसेस, AF_INET या AF_INET6 सॉकेट बनाती हैं.

लोडर के सोर्स कोड में अन्य टाइप देखे जा सकते हैं.

उदाहरण के लिए, यहां दिया गया myschedtp.c प्रोग्राम, किसी सीपीयू पर चलने वाले टास्क के सबसे नए पीआईडी के बारे में जानकारी जोड़ता है. यह प्रोग्राम, मैप बनाकर और tp_sched_switch फ़ंक्शन को तय करके अपना लक्ष्य हासिल करता है. इस फ़ंक्शन को sched:sched_switch ट्रेस इवेंट से अटैच किया जा सकता है. ज़्यादा जानकारी के लिए, ट्रेसपॉइंट से प्रोग्राम अटैच करना लेख पढ़ें.

#include <linux/bpf.h>
#include <stdbool.h>
#include <stdint.h>
#include <bpf_helpers.h>

DEFINE_BPF_MAP(cpu_pid_map, ARRAY, int, uint32_t, 1024);

struct switch_args {
    unsigned long long ignore;
    char prev_comm[16];
    int prev_pid;
    int prev_prio;
    long long prev_state;
    char next_comm[16];
    int next_pid;
    int next_prio;
};

DEFINE_BPF_PROG("tracepoint/sched/sched_switch", AID_ROOT, AID_SYSTEM, tp_sched_switch)
(struct switch_args *args) {
    int key;
    uint32_t val;

    key = bpf_get_smp_processor_id();
    val = args->next_pid;

    bpf_cpu_pid_map_update_elem(&key, &val, BPF_ANY);
    return 1; // return 1 to avoid blocking simpleperf from receiving events
}

LICENSE("GPL");

LICENSE मैक्रो का इस्तेमाल यह पुष्टि करने के लिए किया जाता है कि प्रोग्राम, कर्नेल के लाइसेंस के साथ काम करता है या नहीं. ऐसा तब किया जाता है, जब प्रोग्राम, कर्नेल से मिले बीपीएफ़ हेल्पर फ़ंक्शन का इस्तेमाल करता है. अपने प्रोग्राम के लाइसेंस का नाम स्ट्रिंग फ़ॉर्म में बताएं. जैसे, LICENSE("GPL") या LICENSE("Apache 2.0").

Android.bp फ़ाइल का फ़ॉर्मैट

Android बिल्ड सिस्टम को eBPF .c प्रोग्राम बनाने के लिए, आपको प्रोजेक्ट की Android.bp फ़ाइल में एक एंट्री बनानी होगी. उदाहरण के लिए, bpf_test.c नाम का eBPF C प्रोग्राम बनाने के लिए, अपने प्रोजेक्ट की Android.bp फ़ाइल में यह एंट्री करें:

bpf {
    name: "bpf_test.o",
    srcs: ["bpf_test.c"],
    cflags: [
        "-Wall",
        "-Werror",
    ],
}

यह एंट्री, C प्रोग्राम को कंपाइल करती है. इससे /system/etc/bpf/bpf_test.o ऑब्जेक्ट बनता है. बूट होने पर, Android सिस्टम bpf_test.o प्रोग्राम को कर्नेल में अपने-आप लोड कर देता है.

sysfs में उपलब्ध फ़ाइलें

बूट के दौरान, Android सिस्टम /system/etc/bpf/ से सभी eBPF ऑब्जेक्ट अपने-आप लोड करता है. साथ ही, प्रोग्राम के लिए ज़रूरी मैप बनाता है. इसके बाद, लोड किए गए प्रोग्राम को उसके मैप के साथ BPF फ़ाइल सिस्टम में पिन करता है. इसके बाद, इन फ़ाइलों का इस्तेमाल eBPF प्रोग्राम के साथ आगे इंटरैक्ट करने या मैप पढ़ने के लिए किया जा सकता है. इस सेक्शन में, इन फ़ाइलों के नाम रखने के लिए इस्तेमाल किए जाने वाले नियमों और sysfs में उनकी जगहों के बारे में बताया गया है.

ये पोस्ट बनाई और पिन की गई हैं:

  • लोड किए गए किसी भी प्रोग्राम के लिए, मान लें कि प्रोग्राम का नाम PROGNAME है और eBPF C फ़ाइल का नाम FILENAME है. ऐसे में, Android लोडर हर प्रोग्राम को /sys/fs/bpf/prog_FILENAME_PROGTYPE_PROGNAME पर बनाता है और पिन करता है.

    उदाहरण के लिए, myschedtp.c में दिए गए sched_switch ट्रेसपॉइंट के पिछले उदाहरण के लिए, एक प्रोग्राम फ़ाइल बनाई जाती है और उसे /sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch पर पिन किया जाता है.

  • बनाए गए किसी भी मैप के लिए, मान लें कि MAPNAME मैप का नाम है और FILENAME, eBPF C फ़ाइल का नाम है. Android लोडर, हर मैप को /sys/fs/bpf/map_FILENAME_MAPNAME पर बनाता है और पिन करता है.

    उदाहरण के लिए, myschedtp.c में पिछले sched_switch ट्रेसपॉइंट के उदाहरण के लिए, एक मैप फ़ाइल बनाई जाती है और उसे /sys/fs/bpf/map_myschedtp_cpu_pid_map पर पिन किया जाता है.

  • Android BPF लाइब्रेरी में मौजूद bpf_obj_get(), पिन की गई /sys/fs/bpf फ़ाइल से फ़ाइल डिस्क्रिप्टर दिखाता है. इस फ़ाइल डिस्क्रिप्टर का इस्तेमाल, अन्य कार्रवाइयों के लिए किया जा सकता है. जैसे, मैप पढ़ना या किसी प्रोग्राम को ट्रेसपॉइंट से अटैच करना.

Android BPF लाइब्रेरी

Android बीपीएफ़ लाइब्रेरी का नाम libbpf_android.so है और यह सिस्टम इमेज का हिस्सा है. यह लाइब्रेरी, उपयोगकर्ता को eBPF की बुनियादी सुविधाएं देती है. इनकी ज़रूरत मैप बनाने और उन्हें पढ़ने, जांच करने वाले टूल, ट्रेसपॉइंट, और परफ़ बफ़र बनाने के लिए होती है.

ट्रेसपॉइंट में प्रोग्राम अटैच करना

ट्रेसपॉइंट प्रोग्राम, बूट के समय अपने-आप लोड हो जाते हैं. लोड होने के बाद, ट्रेसपॉइंट प्रोग्राम को चालू करने के लिए, यह तरीका अपनाएं:

  1. पिन की गई फ़ाइल की जगह से प्रोग्राम fd पाने के लिए, bpf_obj_get() को कॉल करें. ज़्यादा जानकारी के लिए, sysfs में उपलब्ध फ़ाइलें देखें.
  2. BPF लाइब्रेरी में bpf_attach_tracepoint() को कॉल करें. साथ ही, इसे प्रोग्राम fd और ट्रेसपॉइंट का नाम पास करें.

नीचे दिए गए कोड सैंपल में, यह दिखाया गया है कि पिछली myschedtp.c सोर्स फ़ाइल में तय किए गए sched_switch ट्रेसपॉइंट को कैसे अटैच किया जाता है. इसमें गड़बड़ी की जांच करने का तरीका नहीं दिखाया गया है:

  char *tp_prog_path = "/sys/fs/bpf/prog_myschedtp_tracepoint_sched_sched_switch";
  char *tp_map_path = "/sys/fs/bpf/map_myschedtp_cpu_pid";

  // Attach tracepoint and wait for 4 seconds
  int mProgFd = bpf_obj_get(tp_prog_path);
  int mMapFd = bpf_obj_get(tp_map_path);
  int ret = bpf_attach_tracepoint(mProgFd, "sched", "sched_switch");
  sleep(4);

  // Read the map to find the last PID that ran on CPU 0
  android::bpf::BpfMap<int, int> myMap(mMapFd);
  printf("last PID running on CPU %d is %d\n", 0, myMap.readValue(0));

मैप से जानकारी पढ़ना

बीपीएफ़ मैप, आर्बिट्रेरी कॉम्प्लेक्स की और वैल्यू स्ट्रक्चर या टाइप के साथ काम करते हैं. Android BPF लाइब्रेरी में एक android::BpfMap क्लास शामिल होती है. यह C++ टेंप्लेट का इस्तेमाल करके, सवाल में दिए गए मैप के लिए कुंजी और वैल्यू टाइप के आधार पर BpfMap को इंस्टैंशिएट करती है. पिछले कोड सैंपल में, BpfMap का इस्तेमाल करके, कुंजी और वैल्यू को पूर्णांक के तौर पर दिखाया गया है. पूर्णांक, आर्बिट्रेरी स्ट्रक्चर भी हो सकते हैं.

इसलिए, टेंप्लेट वाली BpfMap क्लास की मदद से, किसी खास मैप के लिए कस्टम BpfMap ऑब्जेक्ट तय किया जा सकता है. इसके बाद, मैप को कस्टम-जनरेट किए गए फ़ंक्शन का इस्तेमाल करके ऐक्सेस किया जा सकता है. ये फ़ंक्शन टाइप के बारे में जानते हैं. इससे कोड ज़्यादा साफ़ होता है.

BpfMap के बारे में ज़्यादा जानकारी के लिए, Android सोर्स देखें.

गड़बड़ियाँ ठीक करने के लिए

बूट होने के दौरान, BPF लोड होने से जुड़े कई मैसेज लॉग किए जाते हैं. अगर किसी वजह से लोड होने की प्रोसेस पूरी नहीं हो पाती है, तो logcat में लॉग मैसेज की पूरी जानकारी दी जाती है. bpf के हिसाब से logcat लॉग को फ़िल्टर करने पर, सभी मैसेज और लोड होने के समय होने वाली गड़बड़ियों की पूरी जानकारी दिखती है. जैसे, eBPF वेरिफ़ायर से जुड़ी गड़बड़ियां.

Android में eBPF के उदाहरण

एओएसपी में मौजूद ये प्रोग्राम, ईबीपीएफ़ का इस्तेमाल करने के अन्य उदाहरण देते हैं:

  • Android में नेटवर्किंग डेमॉन (netd), netd eBPF प्रोग्राम का इस्तेमाल कई कामों के लिए करता है. जैसे, सॉकेट फ़िल्टर करना और आंकड़े इकट्ठा करना. इस प्रोग्राम का इस्तेमाल कैसे किया जाता है, यह देखने के लिए eBPF ट्रैफ़िक मॉनिटर के सोर्स देखें.

  • time_in_state eBPF C प्रोग्राम यह हिसाब लगाता है कि Android ऐप्लिकेशन, अलग-अलग सीपीयू फ़्रीक्वेंसी पर कितना समय बिताता है. इसका इस्तेमाल पावर का हिसाब लगाने के लिए किया जाता है.

  • Android 12 में, gpu_mem eBPF C प्रोग्राम हर प्रोसेस और पूरे सिस्टम के लिए, जीपीयू मेमोरी के कुल इस्तेमाल को ट्रैक करता है. इस प्रोग्राम का इस्तेमाल, जीपीयू मेमोरी की प्रोफ़ाइलिंग के लिए किया जाता है.

statsd के लिए, कम ओवरहेड वाले कर्नल मेमोरी मैनेजमेंट और पावर लेटेंसी हिस्टोग्राम को इकट्ठा करने के लिए, eBPF का इस्तेमाल करने के बारे में ज़्यादा जानने के लिए, eBPF की मदद से कर्नल टेलीमेट्री इकट्ठा करना लेख पढ़ें.