it-swarm-ko.tech

웹 사이트에서 끊어진 링크를 찾는 방법

웹 사이트에서 끊어진 링크를 찾는 데 어떤 기술이나 도구가 권장됩니까?

로그 파일에 액세스 할 수 있으므로 404 오류를 찾는 이들을 구문 분석 할 수는 있지만 사이트의 모든 링크를 따르거나 따르려고 자동화 된 것을 원합니다.

43
Ian Nelson

Chrome 확장의 경우 hexometer

Firefox의 경우 LinkChecker 를 참조하십시오.

Mac OS의 경우 Integrity 도구가있어 링크가 끊어진 URL을 확인할 수 있습니다.

Windows의 경우 Xenu 's Link Sleuth 가 있습니다.

36
jrudolph

원하는 것을하는 wget 스크립트를 찾았습니다.

wget --spider  -o wget.log  -e robots=off --wait 1 -r -p http://www.example.com

이에 대한 크레딧은 이 페이지 로 이동합니다.

25
wjbrown

W3C 링크 검사기 를 좋아합니다.

10
Paul Reiners

linkchecker 도구를 참조하십시오.

LinkChecker는 무료 GPL 라이센스 웹 사이트 검사기입니다. LinkChecker는 웹 문서 또는 전체 웹 사이트의 링크를 확인합니다.

7
Roman Romanchuck

로그 파일을 구문 분석하고 '깨진 링크'보고서를 제공하는 도구 (예 : Analog 또는 Google Webmaster Tools )를 사용하거나 웹 사이트를 스파이더 링하는 도구를 실행하십시오. 끊어진 링크를보고합니다 (예 : W3C 링크 검사기 ).

2
Peter Hilton

.NET 응용 프로그램에서 IIS를 설정하여 모든 요청을 ASP.NET에 전달한 다음 전역 오류 처리기에서 404 오류를 포착하고 기록 할 수 있습니다. 내부에 누락 된 링크가 있는지 확인하기 위해 사이트를 스파이더 링하는 경우 다른 사이트에서 끊어진 링크를 찾은 다음 올바른 페이지로 301 리디렉션하여 링크를 수정할 수 있습니다.

내부 테스트를 돕기 위해 Microsoft SEO 툴킷도 있습니다.

물론 최고의 기술은 컴파일 타임에 문제를 피하는 것입니다! ASP.NET에서는 각 페이지의 정적 메소드에서 모든 링크를 생성하도록하여 특정 URL이 생성되는 위치가 하나만 있어야하므로이 정보에 접근 할 수 있습니다. 예 : http://www.codeproject.com/KB/aspnet/StronglyTypedPages.aspx

완전한 C # 크롤러를 원한다면 여기에 하나 있습니다 :- http://blog.abodit.com/2010/03/a-simple-web-crawler-in-c-using-htmlagilitypack/

1
Ian Mercer

상용 제품 DeepTrawl 이 작업은 Windows/Mac 모두에서 사용할 수 있습니다.

공개 : 저는 DeepTrawl의 수석 개발자입니다.

1
Jonathan

가장 좋은 방법은 선택한 스크립팅 언어로 자신의 거미를 두드리는 것입니다.

// Pseudo-code to recursively check for broken links
// logging all errors centrally
function check_links($page)
{
    $html = fetch_page($page);
    if(!$html)
    {
        // Log page to failures log
        ...
    }
    else
    {
        // Find all html, img, etc links on page
        $links = find_links_on_page($html);
        foreach($links as $link)
        {
            check_links($link);
        }
    }
}

귀하의 사이트가 Google로부터 특정 수준의 관심을 받고 나면 웹 마스터 도구 는 사용자가 접할 수있는 깨진 링크를 표시하는 데 매우 중요하지만, 반응이 빠릅니다. 죽은 링크는 몇 주 동안있을 수 있습니다. Google이 색인을 생성하고 웹 마스터 패널에 404를 기록하기 전에.

위와 같이 직접 스크립트를 작성하면 Google (웹 마스터 도구) 또는 사용자 (액세스 로그의 404)가 걸려 넘어 질 때까지 기다리지 않고도 가능한 모든 끊어진 링크가 표시됩니다.

0
ConroyP

LinkTiger 이 작업을 수행하는 매우 세련된 서비스는 아니지만 무료입니다. 나는 그것을 사용하지 않고 아직 언급되지 않았기 때문에 추가하고 싶었습니다.

0
akauppi