乐聚社区

标题: 在 Scratch 中玩转机器人:Python、Deep Learning、Posenet and Robot! [打印本页]

作者: 草莓干    时间: 2020-12-10 16:21
标题: 在 Scratch 中玩转机器人:Python、Deep Learning、Posenet and Robot!
本帖最后由 草莓干 于 2020-12-10 16:21 编辑

开场视频:先打个响指(打响指控制机器人)




Codelab-Scratch3 与 Python

Scratch 是一门编程语言,上榜过编程语言 Top 20,实际它是一门少儿编程语言(如果你成年了请先不要急着走)。Scratch 基于图形化的编程,通过拖拉搭积木的方式进行编程,整个过程就像是在玩乐高积木,其实 Scratch 项目受到乐高的赞助,乐高与 Scratch 之间可以说是互相影响。

一个正经的程序员,在看到 Scratch 的卡通界面和图形化编程风格时,可能会嗤之以鼻,认为它看上去不像是严肃的编程语言,低龄化或者太简单了。刚开始我对 Scratch 的认知亦是如此。

@wwj718 在 Scratch3 上做了大量出色的工作,Scratch3 原本不支持运行 Python,利用 Scratch3 原生的插件拓展机制,采用 Websocket 来传递消息,这就像一个间谍,负责 Scratch 内部与外部的通信。消息源源不断地以话题/订阅的方式在网络中传播,这就让 Scratch 不再受限于浏览器网页中。我终于意识到,Scratch 可以做任何事!

(, 下载次数: 275)


人体姿态估计:Posenet

Javascript 版 PoseNet 是 TensorFlow 与谷歌创意实验室合作一款机器学习模型,可以在浏览器中实时估计人体姿态。只要电脑或手机有摄像头,就可以直接在网页浏览器中体验这一有趣的技术。Scratch3 也是纯网页端的,所以将 PoseNet 做成插件的话,Scratch 积木块就具有视觉的能力!

(, 下载次数: 1146)


手势控制演示

手势控制机器人前后左右翻滚

(, 下载次数: 232)


姿态模仿演示

(, 下载次数: 211)


文章来源:乐聚机器人 王松博士

相关链接

Kill-Math

Aelos Edu Robot

scratch3.codelab.club

codelab-adapter-docs.codelab.club

Pose Detection in the Browser

codelab_adapter_extensions/pull/13

codelab_adapter_extensions/pull/14

 

鸣谢

@jinbo 的 OSMO;

@yucong 的手抖式拍摄;

@jianhong 的专业动作调试;

@dongming 的无线 Dongle;

@carlos 的响指(我打不响,囧);








欢迎光临 乐聚社区 (https://bbs.lejurobot.com/) Powered by Discuz! X3.4