基于亚博K210开发板——物体分类测试

开发板

亚博K210开发板

实验目的

本次测试主要学习 K210 如何物体分类，然后通过 LCD 显示屏实时显示当前物体的分类名称。本节采用百度出的 PaddlePaddle 平台开发。

实验元件

OV2640 摄像头/OV9655 摄像头/GC2145 摄像头、LCD 显示屏

硬件连接

K210 开发板出厂默认已经安装好摄像头和显示器，只需要使用 type-C 数据线连接 K210 开发板与电脑即可。

实验原理

Kendryte K210 具备机器视觉能力，是零门槛机器视觉嵌入式解决方案。它可以在低功耗情况下进行卷积神经网络计算。相关介绍请看前面所述。

• 百度大脑 AI Studio 是针对 AI 开发者的在线一体化开发平台。 该平台集成了 AI 教程, 深度学习样例工程, 各领域典数据集,强大的云端算力资源及存储资源, 从而解决开发者在 AI 学习过程中的一系列难题, 例如样例代码难以直接应用, 高质量的数据集不易获得,以及本地环境难以使用大体量数据集进行模型训练等等.
• 百度 AI Studio 平台已经为使用者预置了 Python 语言环境, 以及百度PaddlePaddle 深度学习开发框架.
• 同时该平台还提供了 PaddlePi-K210 开发套件官方项目，开发者只需要复制相应的项目，重新训练，即可获取模型。您也可以修改成自己的数据集，进行训练, 以适配您的应用场景。

  AI Studio 基本使用可以参考百度 AI 官网。

  这是官方其他用户的：

  https://aistudio.baidu.com/projectdetail/59854

  亚博测试通过的项目：

  https://aistudio.baidu.com/aistudio/projectdetail/403452?shared=1

  

  • 点击上图网址的“运行一下”。会弹出登录，大家自行注册百度账号或者 github账号登录。
  • 登录完成可以选择 fork 到自己项目中，或者直接运行，点击启动环境，可以选择 CPU 或者 GPU 版本，GPU

    是需要算力卡的，一般每天会有 12 个小时使用，一般不追加速度直接选择 CPU 即可。如下图：

    

  • 启动环境需要一段时间，启动完成会提示环境启动成功，点击进入即可。

    为了简单起见，在此训练一个花的五分类模型。

    1、fork 过来的项目已经带有 flower_photos.zip 数据集作为训练数据。
    2、数据存储在 data/data2815/ 目录下，以压缩包的形式存在。
    3、开发者只需要按顺序执行 cell 的代码，就能生成 paddle 模型，为了能在亚
    博 K210 开发板上运行，cell8 开始是模型转换相关代码。
    4、执行模型转换的相关代码后会在左边的根目录产生 mobilenet.kmodel 模型。
    模型生成完成后，需要把模型运行到亚博 K210 开发板上。
    5、下载 kmodel 到本机电脑上等待后续开发板调用。
    

    

    实验步骤

    1. 代码流程

       系统内部初始化部分：

    系统时钟初始化
    串口初始化
    硬件引脚初始化
    IO 电压设置
    系统中断初始化
    Flash 初始化
    

    外部硬件初始化

    Lcd 初始化
    Ov2640 初始化
    

    物体分类初始化

    在这里插入代码片
    

    物体分类业务逻辑层

    等待摄像头采集完成
    传入摄像头采集的图像到 KPU 运行模型
    等待 KPU 处理完成
    获取 KPU 最终处理的结果
    把 KPU 处理的结果带入区域层计算最终标记分类结果
    

    1. 核心代码如下

    int main()
    {
        /* Set CPU and dvp clk */
        sysctl_pll_set_freq(SYSCTL_PLL0, 800000000UL);
        sysctl_pll_set_freq(SYSCTL_PLL1, 400000000UL);
        sysctl_pll_set_freq(SYSCTL_PLL2, 45158400UL);
        sysctl_clock_enable(SYSCTL_CLOCK_AI);
        //uarths_init();
        plic_init();
        io_set_power();
        io_init();
        
        /* LCD init */
        printf("LCD init\n");
        lcd_init();
        lcd_set_direction(DIR_YX_LRUD);
        lcd_clear(BLACK);
        lcd_draw_picture_half(0, 0, 320, 240, logo);
        lcd_draw_string(70, 40, "Hello Yahboom!", RED);
        lcd_draw_string(70, 60, "5flower classification demo!", BLUE);
        sleep(1);
          /* DVP init */
        printf("DVP init\n");
        dvp_init(8);
        dvp_sccb_set_clk_rate(1000000);//为了兼容GC2145不能太高的速率
        dvp_set_xclk_rate(24000000);
        dvp_enable_burst();
        dvp_set_output_enable(0, 1);
        dvp_set_output_enable(1, 1);
        dvp_set_image_format(DVP_CFG_RGB_FORMAT);
        dvp_set_image_size(320, 240);
        int OV_type;
        OV_type=OVxxxx_read_id();
        /* 初始化摄像头 */
        if(OV_type == OV_9655)
        {
            ov9655_init();
        }   
        else if(OV_type == OV_2640) 
        {
            ov2640_init();
        }
        else //读取gc2145摄像头
        {
            uint16_t device_id;
            gc2145_read_id(&device_id);
            printf("device_id:0x%04x\n", device_id);
            if(device_id != GC2145_ID)
            {
                printf("Camera failure\n");
                return 0;//打不开摄像头，结束
            }
            printf("This is the GC2145 camera\n");
            gc2145_init();//初始化
        }
        kpu_image.pixel = 3;
        kpu_image.width = 320;
        kpu_image.height = 240;
        image_init(&kpu_image);
        
        display_image.pixel = 2; //2->3 LIUSEN
        display_image.width = 320;
        display_image.height = 240;
        image_init(&display_image);
        
        crop_image.pixel = 3;
        crop_image.width = 224;
        crop_image.height = 224;
        image_init(&crop_image);
        //存放AI图像的地址，供AI模块进行算法处理（红色、绿色、蓝色/分量地址）
        dvp_set_ai_addr((uint32_t)kpu_image.addr, (uint32_t)(kpu_image.addr + 320 * 240), (uint32_t)(kpu_image.addr + 320 * 240 * 2));
        //设置采集图像在内存中的存放地址，可以用来显示
        dvp_set_display_addr((uint32_t)display_image.addr);
        //图像开始采集中断| 图像结束采集中断
        dvp_config_interrupt(DVP_CFG_START_INT_ENABLE | DVP_CFG_FINISH_INT_ENABLE, 0);
        //禁用自动接收图像模式
        dvp_disable_auto();
        /* DVP interrupt config */
        printf("DVP interrupt config\n");
        plic_set_priority(IRQN_DVP_INTERRUPT, 1);               //设置中断优先级
        plic_irq_register(IRQN_DVP_INTERRUPT, dvp_irq, NULL);   //注册外部中断函数
        plic_irq_enable(IRQN_DVP_INTERRUPT);                    //使能外部中断
        /* init model */
        //加载 kmodel，需要与 nncase 配合使用
        if (kpu_load_kmodel(&task1, model_data) != 0)
        {
            printf("Cannot load kmodel.\n");
            exit(-1);
        }
        
        sysctl_enable_irq();
          
        /* system start */
        printf("System start\n");
        while (1)
        {
            g_dvp_finish_flag = 0;
            dvp_clear_interrupt(DVP_STS_FRAME_START | DVP_STS_FRAME_FINISH);
            dvp_config_interrupt(DVP_CFG_START_INT_ENABLE | DVP_CFG_FINISH_INT_ENABLE, 1);
            while (g_dvp_finish_flag == 0)
                ;
                
            image_crop(&kpu_image, &crop_image, 48, 8);
            g_ai_done_flag = 0;
            if (kpu_run_kmodel(&task1, crop_image.addr, DMAC_CHANNEL5, ai_done, NULL) != 0)
            {
                printf("Cannot run kmodel.\n");
                exit(-1);
            }
    		while (!g_ai_done_flag);
            float *features;
            size_t output_size;
            // 获取 KPU 最终处理的结果  KPU任务句柄  结果的索引值  结果  大小（字节）
            kpu_get_output(&task1, 0, &features, &output_size);
            size_t cls = argmax(features, 5);
            const char *text = NULL;
            
            switch (cls)
            {
                case 0:
                    text = "daisy";
                    break;
                case 1:
                    text = "dandelion";
                    break;
                case 2:
                    text = "roses";
                    break;
                case 3:
                    text = "sunflowers";
                    break;
                case 4:
                    text = "tulip";
                    break;
            }
            
            /* display pic*/
            if (features[cls] > PROB_THRESH)
    			ram_draw_string(display_image.addr, 150, 20, text, RED);
    		lcd_draw_picture(0, 0, 320, 240, (uint32_t *)display_image.addr);
        }
        
    }
    

    1. 编译调试，烧录运行

       进入自己项目 build目录，运行以下命令编译。

    cmake .. -DPROJ=watchdog -G "MinGW Makefiles"
    make
    

    1. 代码烧录方法

       打开 kflash 将 object_detection.bin 文件烧录到 K210 开发板上。

       如果想把代码和模型文件分开烧录，需要修改代码

    #define  LOAD_KMODEL_FROM_FLASH  0
    

    改为

    #define  LOAD_KMODEL_FROM_FLASH  1
    

    然后重新生成 bin 文件，这个时候我们需要把模型文件和 bin 文件打包成一个kfpkg 文件在烧录

    实验现象

    LCD 显示器先显示图片 logo 和文字，一秒后打开摄像头采集的画面，并且实时检测 20 种物体并标记位置和显示识别的结果。

    实验总结

    • 物体分类使用的是百度人工智能 paddlepaddle 的平台。
    • 基于 paddlepaddle 平台可以比较轻松实现物体分类的功能。