31人参与 • 2025-03-30 • Ruby
存储库:https://github.com/ray-d-song/guesslang-js
演示:https://ray-d-song.github.io/guesslang-js/
最近在做一个叫echorss的项目,有一个非常想要的功能,就是拦截订阅中的外部链接(阅读全文、引用等)并直接显示在当前页面上。
存在返回的html代码块丢失语言标注的问题(或者原代码块中的pre和code标签上没有标注语言),因此无法使用shiki或prism.js等工具进行高亮显示。
我找到了三种检测代码语言的解决方案:
这是一个部署在服务器上的ruby项目,github使用它来检测存储库的语言构成。如果你需要极高的精度并且可以在服务器上计算,这是最好的解决方案。
highlight.js 是一个非常著名的网页代码高亮库,也是唯一提供自动代码检测的库。
原理很简单,就是枚举该语言的关键词,然后将它们与文本一一匹配,最后看哪一个匹配度最高。
hljs 有四个问题。
guesslang是一个基于tensorflow.js的机器学习项目。
微软在2021年将此项目移植到node.js,并在vscode中添加了自动语言检测功能。
三年前有个越南小伙hieplpvip也把这个项目移植到浏览器上,但是也存在三个问题:
这家伙还没有维护这个项目,三月份支持esm的壮举请求也没有得到回复。
于是我从hljs中提取了检测模块,并fork了guesslang-js来修复上述问题,最终guesslang获胜,结果是这样的:
https://github.com/ray-d-song/guesslang-js
我觉得说的太多了,也许以后有人需要,所以我就发一下。
如果有人了解tensorflow.js,希望能推荐一些学习资料,我想进一步修改为web gpu计算以提高效率。
以上就是如何检测浏览器中的代码语言的详细内容,更多请关注代码网其它相关文章!
您想发表意见!!点此发布评论
版权声明:本文内容由互联网用户贡献,该文观点仅代表作者本人。本站仅提供信息存储服务,不拥有所有权,不承担相关法律责任。 如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2386932994@qq.com 举报,一经查实将立刻删除。
发表评论